🤖 machine learning

ReLaX: Reasoning with Latent Exploration for Large Reasoning Models

Le papier présente ReLaX, un cadre innovant qui améliore l'exploration et les capacités de raisonnement des grands modèles de raisonnement en régulant leurs dynamiques latentes via la théorie de l'opérateur de Koopman et une nouvelle métrique de dispersion spectrale dynamique, surpassant ainsi les méthodes existantes axées sur les tokens.

Auteurs originaux : Shimin Zhang, Xianwei Chen, Yufan Shen, Ziyuan Ye, Jibin Wu

Publié 2026-03-23

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Shimin Zhang, Xianwei Chen, Yufan Shen, Ziyuan Ye, Jibin Wu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧠 ReLaX : Apprendre aux IA à ne pas se "figer" dans leur pensée

Imaginez que vous essayez d'enseigner à un élève très intelligent (une IA) comment résoudre des problèmes de mathématiques ou des énigmes complexes.

1. Le Problème : L'élève qui a peur de se tromper

Aujourd'hui, on utilise une méthode appelée Apprentissage par Renforcement (comme un jeu vidéo où l'IA gagne des points pour les bonnes réponses).

Au début, l'IA essaie plein de choses différentes, comme un enfant qui explore un nouveau terrain de jeu. C'est ce qu'on appelle l'exploration.
Mais très vite, l'IA découvre une méthode qui marche "à peu près" bien. Pour maximiser ses points, elle arrête d'essayer d'autres choses et répète exactement la même solution, même si elle n'est pas parfaite.
Le résultat : L'IA devient trop sûre d'elle, trop rigide. Elle a "oublié" comment explorer de nouvelles idées. C'est ce que les chercheurs appellent l'effondrement de l'entropie (une façon scientifique de dire : "elle a perdu sa créativité et sa flexibilité").

C'est comme si un chef cuisinier, après avoir réussi une seule recette de pâtes, décidait de ne jamais essayer autre chose, même si un plat plus délicieux existe juste à côté.

2. La Solution habituelle (et pourquoi elle échoue)

Jusqu'à présent, les chercheurs essayaient de forcer l'IA à être plus créative en surveillant ses mots (les "tokens").

L'analogie : C'est comme si un professeur surveillait l'élève en lui disant : "Tu as utilisé le mot 'le' trop souvent, essaie d'utiliser 'un' ou 'ce' !"
Le problème : Cela ne change pas la façon dont l'élève pense. Il change juste ses mots pour faire plaisir au prof, mais son cerveau reste bloqué dans la même logique rigide. Pour les IA qui voient des images et lisent du texte (modèles multimodaux), c'est encore pire : on ne peut pas juste regarder les mots, il faut comprendre ce qui se passe dans l'image et le raisonnement caché.

3. La Révolution ReLaX : Regarder dans la "tête" de l'IA

L'équipe derrière ReLaX (Reasoning with Latent eXploration) a eu une idée géniale : au lieu de surveiller les mots, surveillons la dynamique cachée de la pensée de l'IA.

Imaginez que la pensée de l'IA n'est pas une suite de mots, mais un orchestre invisible qui joue une symphonie dans sa "tête" (l'espace latent).

Quand l'IA est rigide, l'orchestre joue toujours la même note, monotone et ennuyeuse.
Quand l'IA explore, l'orchestre joue une mélodie riche, avec des variations, des hauts et des bas.

ReLaX utilise une "loupe mathématique" (la théorie de l'opérateur de Koopman) pour transformer cette symphonie complexe en une partition simple et lisible.

Grâce à cette loupe, ils peuvent mesurer un indicateur appelé DSD (Dispersion Spectrale Dynamique).
Le DSD, c'est comme un compteur de "variété musicale". Si le score est bas, l'IA est ennuyeuse et rigide. Si le score est haut, l'IA est créative et flexible.

4. Comment ça marche en pratique ?

ReLaX ajoute une petite règle au jeu de l'IA :

"Si tu trouves une solution qui rapporte des points ET que ton 'orchestre intérieur' joue une mélodie variée (DSD élevé), alors tu as un bonus énorme !"

Cela force l'IA à rester flexible dans sa façon de penser, même quand elle essaie de gagner des points. Elle ne se contente plus de répéter la même chose ; elle continue d'explorer de nouvelles façons de résoudre le problème, ce qui mène à de meilleures réponses.

5. Les Résultats : Un super-héros de la logique

Les tests montrent que ReLaX est bien meilleur que les anciennes méthodes :

Pour les modèles de texte : Ils résolvent mieux les problèmes de mathématiques complexes.
Pour les modèles qui voient (Images + Texte) : C'est là que ReLaX brille vraiment. Là où les autres modèles confondent les images ou ratent des détails visuels parce qu'ils sont trop rigides, ReLaX maintient une flexibilité qui lui permet de comprendre la nuance entre une photo de chat et une photo de chien, même si le texte est le même.

En résumé

ReLaX, c'est comme donner à l'IA un coach de vie qui lui dit : "Ne te contente pas de la première idée qui te vient à l'esprit. Garde ton esprit ouvert, explore plusieurs chemins dans ta tête, et c'est seulement là que tu trouveras la vraie solution brillante."

Au lieu de forcer l'IA à varier ses mots (la surface), ReLaX force l'IA à varier sa pensée (le fond), ce qui la rend plus intelligente, plus robuste et plus capable de résoudre des problèmes difficiles.

1. Problématique et Contexte

Les modèles de raisonnement à grande échelle (LRM), qu'ils soient textuels (LLM) ou multimodaux (MLLM), bénéficient considérablement de l'apprentissage par renforcement avec récompenses vérifiables (RLVR). Cependant, une limitation fondamentale de cette approche réside dans la tendance du modèle de politique à converger prématurément vers des comportements trop déterministes.

Effondrement de l'entropie : Sans intervention explicite, l'apprentissage par renforcement (RL) concentre la distribution de la politique, réduisant l'entropie et confinant le gradient de politique dans un sous-espace étroit. Cela conduit à une exploration inefficace et à une performance sous-optimale.
Limites des méthodes actuelles : Les solutions existantes tentent de maintenir une haute entropie au niveau des tokens (les mots sortis). Cependant, ces méthodes sont souvent en conflit avec la nature même du RL qui favorise la déterminité. De plus, pour les modèles multimodaux, les feedbacks au niveau des tokens ne reflètent pas fidèlement les calculs internes complexes et hétérogènes nécessaires au traitement croisé des modalités (vision-langage).
Hypothèse centrale : L'effondrement de l'entropie n'est que le symptôme superficiel d'une pathologie plus profonde : la perte de flexibilité des dynamiques latentes internes qui gouvernent la génération de tokens. Le papier postule que l'espace latent continu encode une structure computationnelle plus riche et plus stable que l'espace discret des tokens.

2. Méthodologie : ReLaX

Pour résoudre ce problème, les auteurs proposent ReLaX (Reasoning with Latent eXploration), un cadre qui régule l'exploration en intervenant directement sur les dynamiques latentes du modèle plutôt que sur les tokens de sortie.

A. Théorie de l'Opérateur de Koopman

Pour rendre les dynamiques non linéaires et de haute dimension des LRM analytiquement traitables, l'article s'appuie sur la théorie de l'opérateur de Koopman.

Cette théorie permet de représenter l'évolution non linéaire des états cachés du modèle comme une évolution linéaire dans un espace de fonctions de dimension infinie (l'espace des observables).
Les auteurs utilisent ResKoopNet (une extension de ResDMD) pour apprendre un dictionnaire neuronal qui projette les états cachés de la dernière couche dans cet espace linéaire. Ce dictionnaire est appris une seule fois au début et figé pendant l'entraînement de la politique.

B. Métrique : Dispersion Spectrale Dynamique (DSD)

Sur la base de cette représentation linéaire, les auteurs introduisent une nouvelle métrique appelée Dynamic Spectral Dispersion (DSD).

Définition : Le DSD mesure la variance des magnitudes des valeurs propres de l'opérateur de Koopman approximé pour une trajectoire donnée.
Signification : Un DSD élevé indique une hétérogénéité riche dans les dynamiques latentes (spectre dispersé), ce qui signifie que le modèle maintient une flexibilité computationnelle et évite de tomber dans des schémas rigides et répétitifs. Un DSD faible signale un effondrement vers des modes dégénérés.

C. Objectif d'Optimisation ReLaX

Le DSD est intégré directement dans la fonction de perte de l'algorithme GRPO (Group Relative Policy Optimization), l'état de l'art pour le RLVR.

Régularisation basée sur le DSD : Une pénalité est ajoutée pour décourager la convergence vers des dynamiques homogènes. La formule utilise une moyenne log-exp pour lisser les gradients.
Mise en forme de l'avantage (Advantage Shaping) : Pour éviter une exploration inutile ou nuisible, la régularisation DSD est pondérée par la partie positive de l'avantage (les trajectoires qui rapportent une récompense positive). Cela force le modèle à être flexible uniquement sur les trajectoires prometteuses.
Régularisation KL Adaptative : Une contrainte KL est appliquée de manière adaptative uniquement aux trajectoires présentant une divergence dynamique excessive (DSD trop élevé), assurant ainsi la stabilité de l'entraînement sans étouffer l'exploration nécessaire.

L'objectif global $J(\theta)$ combine l'objectif GRPO standard, le terme de régularisation DSD pondéré par l'avantage, et la pénalité KL adaptative.

3. Contributions Clés

Métrique DSD : Introduction d'une métrique fondamentale pour quantifier l'hétérogénéité des dynamiques de raisonnement latentes, offrant une caractérisation plus profonde de l'exploration que les statistiques de surface des tokens.
Cadre ReLaX : Développement d'un nouveau paradigme d'entraînement qui utilise la régularisation basée sur les dynamiques latentes pour équilibrer l'exploration et l'exploitation, atténuant la saturation des performances du RLVR.
Validation Expérimentale : Démonstration que ReLaX surpasse systématiquement les méthodes basées sur l'entropie des tokens, en établissant de nouveaux records (SOTA) sur des benchmarks de raisonnement textuel et multimodal.

4. Résultats Expérimentaux

Les expériences ont été menées sur des modèles de 3B et 7B paramètres (Qwen2.5, Llama3.2) dans des configurations textuelles et multimodales.

Raisonnement Multimodal (VLM) :
- ReLaX-VL-7B atteint une précision moyenne de 53.2 sur 7 benchmarks multimodaux (MMMU, MathVista, etc.), surpassant le précédent état de l'art (VL-Rethinker-7B à 52.5).
- À l'échelle 3B, ReLaX surpasse des modèles de 7B d'autres approches, démontrant une efficacité accrue.
- Les dynamiques d'entraînement montrent que ReLaX maintient une entropie et une diversité latente (DSD) élevées, évitant l'effondrement observé avec le GRPO standard.
Raisonnement Mathématique Textuel (LLM) :
- Sur les benchmarks MATH500, AMC, AIME, ReLaX améliore significativement les performances par rapport au GRPO de base et aux variantes avancées (DAPO, KL-Cov, FR3E).
- Par exemple, sur Qwen2.5-7B-Math, ReLaX obtient une moyenne de 49.1, surpassant le précédent SOTA (FR3E à 42.8).
Analyse Qualitative :
- Les études de cas montrent que ReLaX génère des vérifications de raisonnement plus pertinentes (ex: utilisation de principes mathématiques corrects) contrairement aux méthodes basées sur les tokens qui peuvent générer du code inutile ou halluciné simplement pour augmenter l'entropie.
- ReLaX démontre une meilleure robustesse face aux variations visuelles dans les tâches multimodales.

5. Signification et Conclusion

L'article ReLaX marque un changement de paradigme dans l'amélioration des capacités de raisonnement des grands modèles. Il démontre que l'intervention au niveau de l'espace latent, via la compréhension des dynamiques sous-jacentes (modélisées par l'opérateur de Koopman), est plus efficace que la simple manipulation de l'entropie des tokens.

Impact : Cette approche résout le compromis exploration-exploitation de manière plus fondamentale, permettant aux modèles de maintenir une flexibilité computationnelle nécessaire pour résoudre des problèmes complexes sans sacrifier la stabilité de l'apprentissage.
Futur : Le travail ouvre la voie à l'utilisation de l'espace latent comme frontière scalable pour l'avancement des capacités des LRM, suggérant que la richesse des dynamiques internes est la clé pour atteindre une intelligence de raisonnement plus générale.

En résumé, ReLaX prouve que pour faire évoluer le raisonnement des IA, il ne suffit pas de diversifier les mots sortis, mais il faut diversifier et réguler la "pensée" interne du modèle.