🤖 machine learning

LaDi-RL: Latent Diffusion Reasoning Prevents Entropy Collapse in Reinforcement Learning

Le papier propose LaDi-RL, un cadre d'apprentissage par renforcement qui utilise des modèles de diffusion latente pour générer des trajectoires de raisonnement structurées et emploie des déroulés hiérarchiques latent-texte pour découpler la qualité de la planification latente des erreurs de décodage textuel, empêchant ainsi l'effondrement de l'entropie et surpassant nettement l'apprentissage par renforcement au niveau des tokens traditionnel sur les tâches de raisonnement en code et en mathématiques.

Auteurs originaux : Haoqiang Kang, Yizhe Zhang, Nikki Lijing Kuang, Yi-An Ma, Lianhui Qin

Publié 2026-05-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Haoqiang Kang, Yizhe Zhang, Nikki Lijing Kuang, Yi-An Ma, Lianhui Qin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un étudiant très intelligent mais légèrement entêté (un Modèle de Langage de Grande Taille) comment résoudre des énigmes complexes, comme écrire du code informatique ou résoudre des problèmes mathématiques avancés.

Pendant longtemps, la meilleure façon d'enseigner à cet étudiant a été l'Apprentissage par Renforcement (RL). Imaginez cela comme un jeu où l'étudiant tente de résoudre un problème, et s'il a raison, il reçoit une étoile dorée. S'il se trompe, il reçoit un « réessayez ».

Cependant, l'ancienne méthode d'enseignement présente un gros défaut. Elle force l'étudiant à réfléchir mot par mot. C'est comme demander à un chef étoilé de planifier tout un banquet en décidant uniquement du tout prochain ingrédient à hacher.

Le Problème : L'étudiant se perd à se concentrer sur des détails minuscules (comme utiliser le mot « donc » au lieu de « par conséquent ») et oublie la vue d'ensemble. Il commence à répéter les mêmes quelques stratégies encore et encore, ignorant d'autres façons astucieuses de résoudre le problème. Dans l'article, ils appellent cela « l'Effondrement de l'Entropie ». C'est comme un étudiant qui n'apprend à résoudre un problème de mathématiques qu'en additionnant des nombres, même lorsque la soustraction ou la multiplication seraient plus rapides. Finalement, il arrête d'essayer de nouvelles choses, et sa créativité meurt.

La Nouvelle Idée : LaDi-RL (L'Étudiant qui « Rêve »)

Les auteurs de cet article, LaDi-RL, proposent une autre façon d'enseigner à l'étudiant. Au lieu de le faire décider mot par mot, ils laissent l'étudiant « rêver » toute la solution d'abord dans un espace caché et abstrait, puis simplement l'écrire.

Voici comment cela fonctionne, en utilisant une analogie simple :

1. Le « Plan » vs la « Maison »

Ancienne Méthode (Niveau Token) : L'étudiant construit une maison brique par brique, décidant de la couleur de chaque brique au fur et à mesure. S'il fait une erreur tôt, toute la maison pourrait être de travers.
Nouvelle Méthode (Diffusion Latente) : L'étudiant dessine d'abord un plan (une « trajectoire latente ») dans son esprit. Ce plan représente la logique et la stratégie de la solution, pas les mots spécifiques.
- Imaginez ce plan comme un « nuage de pensée ». C'est une représentation continue et fluide de l'idée.
- L'étudiant utilise un outil spécial appelé un Modèle de Diffusion. Imaginez cet outil comme un sculpteur qui commence avec un bloc d'argile (du bruit aléatoire) et enlève lentement l'excédent jusqu'à ce qu'une statue parfaite (la stratégie de solution) émerge. Cela permet à l'étudiant d'explorer de nombreux types de stratégies différents (par exemple, « essayons la géométrie » contre « essayons l'algèbre ») avant de s'engager sur des mots spécifiques.

2. Le Problème du « Traducteur »

Il y a un piège. Le « rêve » de l'étudiant (le plan) est dans un langage secret qu'il comprend, mais la réponse finale doit être écrite en anglais clair (ou en code).

Le Risque : Parfois, l'étudiant a un plan brillant, mais le « traducteur » (la partie qui transforme le plan en texte) gâche la traduction. Si l'étudiant reçoit une mauvaise note, comment savoir si l'idée était mauvaise, ou simplement la traduction ?
La Solution (Déroulements Hiérarchiques) : L'article introduit une solution ingénieuse. Au lieu de juger le plan sur la base d'une seule traduction, l'étudiant génère plusieurs traductions pour le même plan.
- Analogie : Imaginez qu'un chef a une excellente recette (le plan). Au lieu de la cuisiner une fois et de juger le plat, il le cuisine cinq fois. Si quatre plats sur cinq sont délicieux, nous savons que la recette est bonne, même si un plat a été brûlé par accident. Cela donne à l'enseignant un signal beaucoup plus clair sur le fait que la stratégie de l'étudiant était réellement intelligente.

3. Garder la Fête Diversifiée

Pour s'assurer que l'étudiant ne devient pas paresseux et ne s'en tient qu'à un seul plan, les auteurs ajoutent une « Force de Répulsion ».

Analogie : Imaginez un groupe d'explorateurs essayant de trouver un trésor. S'ils suivent tous le même chemin, ils pourraient manquer une grotte cachée. La « Force de Répulsion » est comme une légère poussette qui dit : « Hé, tu es trop près de ton ami ! Va explorer une direction différente ! »
Cela force l'étudiant à générer des plans structurellement différents les uns des autres, garantissant qu'ils explorent une grande variété de solutions.

Que Ont-ils Découvert ?

L'article a testé cette nouvelle méthode sur deux défis difficiles : écrire du code et résoudre des problèmes mathématiques.

Meilleure Précision : L'« Étudiant Rêveur » (LaDi-RL) a obtenu significativement plus de problèmes corrects du premier coup par rapport à l'ancien étudiant « Brique par Brique ».
- En codage, ils ont amélioré la précision de 9,4 %.
- En mathématiques, ils ont amélioré de 5,7 %.
Plus de Créativité : L'ancien étudiant a fini par arrêter d'essayer de nouvelles choses (Effondrement de l'Entropie). Le nouvel étudiant a continué à trouver des solutions diverses et créatives. Même lorsqu'on lui demandait de générer 100 réponses différentes, les réponses du nouvel étudiant étaient toutes uniques et correctes, tandis que celles de l'ancien étudiant commençaient à se ressembler et à empirer.
Efficacité : Le nouvel étudiant n'avait pas besoin d'écrire des milliers de mots de « réflexion à voix haute » pour obtenir la réponse. Il a compressé sa pensée en un court et efficace « plan », économisant du temps et de la puissance de calcul.

La Conclusion

LaDi-RL change la façon dont l'IA apprend à raisonner. Au lieu de forcer l'IA à réfléchir par étapes minuscules et rigides (mot par mot), il permet à l'IA d'explorer d'abord le paysage des idées (en utilisant un processus de diffusion) puis de traduire ces idées en mots. Cela empêche l'IA de se coincer dans une routine, maintient la diversité de ses solutions et l'aide à résoudre des problèmes plus difficiles avec plus de précision.

Résumé Technique : LaDi-RL

Énoncé du Problème

L'apprentissage par renforcement (RL) est devenu un paradigme dominant pour améliorer les capacités de raisonnement des grands modèles de langage (LLM), en particulier grâce à l'optimisation des trajectoires de raisonnement. Cependant, les méthodes existantes optimisent principalement les politiques sur des séquences de tokens discrets. Cette approche crée un décalage fondamental : les décisions de raisonnement critiques sont souvent sémantiques, globales et au niveau de la trajectoire, tandis que l'optimisation au niveau du token repose sur des perturbations locales.

Ce décalage entraîne un effondrement de la diversité, un phénomène où la politique du modèle concentre la masse de probabilité sur un ensemble restreint de schémas de raisonnement, supprimant les stratégies alternatives. Bien que l'exploration au niveau du token puisse générer des variantes lexicales (par exemple, remplacer « donc » par « ainsi »), elle peine à découvrir des stratégies sémantiquement distinctes (par exemple, passer d'un raisonnement algébrique à un raisonnement géométrique). Par conséquent, les modèles ajustés par RL améliorent souvent le pass@1 (précision sur un seul échantillon) mais échouent à maintenir ou améliorer les performances pass@k pour de grands $k$ , indiquant une perte de trajectoires correctes diversifiées.

De plus, déplacer l'exploration vers des espaces latents continus introduit un défi d'attribution du crédit. Dans le RL en espace latent, la politique agit dans un espace latent continu, mais les récompenses ne sont observées qu'après que la trajectoire latente a été décodée en texte. Une stratégie de défilement naïve (naive rollout) entremêle la qualité du raisonnement latent avec la qualité du décodage textuel. Une faible récompense pourrait provenir d'une trajectoire latente défectueuse ou simplement d'une réalisation textuelle imparfaite d'un latent sain, créant un signal d'apprentissage bruyant et trompeur.

Méthodologie : LaDi-RL

Les auteurs proposent le Raisonnement par Diffusion Latente avec Apprentissage par Renforcement (LaDi-RL), un cadre qui reformule l'exploration dans un espace latent continu en utilisant des modèles de diffusion pour prévenir l'effondrement de l'entropie.

1. Politique de Diffusion Latente

Au lieu de générer le raisonnement token par token, LaDi-RL encode une trajectoire de raisonnement complète dans un bloc latent continu compact (par exemple, 64 tokens) en utilisant un Autoencodeur Variationnel (VAE). La politique est paramétrée comme un modèle de diffusion sur ces représentations de trajectoires.

Mécanisme : En partant du bruit, la politique débruite itérativement vers une trajectoire de raisonnement latente. Ce processus permet une exploration structurée et une modélisation expressive de la distribution, soutenant naturellement des stratégies de raisonnement multi-modales.
Guidage de la Diversité : Pour prévenir davantage l'effondrement, les auteurs introduisent un mécanisme de guidage basé sur la répulsion. Pendant le processus de débruitage, une force répulsive est appliquée aux trajectoires latentes voisines, les encourageant à se séparer dans l'espace latent. Cela agit comme une régularisation géométrique locale, préservant explicitement la diversité sans dépendre uniquement de l'entropie de la politique.

2. Défilements Hiérarchiques Latent-Texte

Pour répondre au défi de l'attribution du crédit, LaDi-RL emploie une stratégie de défilement hiérarchique $N \times M$ :

Échantillonnage Latent ( $N$ ) : Pour une requête donnée, la politique de diffusion échantillonne $N$ trajectoires de raisonnement latentes distinctes.
Décodage Textuel ( $M$ ) : Pour chaque trajectoire latente échantillonnée, la politique de texte génère $M$ textes de réponse candidats.
Récompense Marginalisée par le Décodeur : Les récompenses des $M$ complétions de texte sont agrégées (moyennées) pour estimer l'utilité de la trajectoire latente sous-jacente. Cette estimation « marginalisée par le décodeur » isole la qualité du raisonnement latent de la stochasticité du décodage textuel, fournissant un signal de récompense plus propre et à variance réduite pour l'optimisation de la politique de diffusion.

3. Optimisation Jointe

Le cadre optimise deux politiques hétérogènes simultanément en utilisant l'Optimisation de Politique Relative par Groupes (GRPO) :

Politique Latente : Optimisée en utilisant la récompense moyenne des $M$ textes associés à chaque bloc latent. L'objectif encourage le modèle de diffusion à explorer des modes de raisonnement diversifiés et de haute qualité.
Politique de Texte : Optimisée en utilisant les différences relatives parmi les $M$ textes générés à partir du même bloc latent. Cela force la politique de texte à trouver la réalisation textuelle optimale pour une stratégie de raisonnement donnée, la découplant de l'exploration de nouvelles stratégies.
Fonction de Perte : Une somme pondérée des pertes latente et textuelle assure que la politique latente explore des chaînes de pensée diversifiées tandis que la politique de texte reste un générateur fidèle et efficace.

Résultats Clés

Les auteurs ont évalué LaDi-RL sur des benchmarks de génération de code et de raisonnement mathématique, en le comparant à des baselines de RL au niveau du token (par exemple, GRPO Vanilla, GRPO avec avantages d'entropie) et à d'autres méthodes de raisonnement latent.

Gains de Performance : LaDi-RL a réalisé des améliorations absolues de pass@1 de +9,4 % sur la génération de code et de +5,7 % sur le raisonnement mathématique par rapport aux baselines de RL au niveau du token.
Préservation de la Diversité : Contrairement au GRPO vanilla, qui présente un effondrement de la diversité (où le pass@k chute en dessous du modèle de base pour de grands $k$ ), LaDi-RL a constamment surpassé les performances pass@k du modèle de base sur tous les benchmarks. Par exemple, sur AIME 2025, il a réalisé une amélioration absolue de +13,4 en pass@128.
Efficacité : En compressant le raisonnement dans un bloc latent (64 tokens) avant le décodage, LaDi-RL a réduit considérablement le nombre de tokens générés (par exemple, de ~3 447 tokens dans le GRPO standard à ~422 tokens dans LaDi-RL pour les tâches de code), entraînant une réduction de 33 % du temps d'inférence de bout en bout.
Études d'Ablation :
- Trajectoire vs Niveau de Token : L'exploration dans l'espace des trajectoires latentes a produit une diversité sémantique nettement supérieure (0,52 contre 0,18–0,22 pour le niveau de token) et de meilleures performances.
- Diffusion vs VAE : La politique basée sur la diffusion a surpassé un échantillonneur VAE en une seule étape, démontrant l'importance du débruitage itératif pour apprendre des distributions complexes de raisonnement latent.
- Défilements Hiérarchiques : La structure $N \times M$ était critique ; l'augmentation de $N$ (diversité latente) a stimulé la diversité sémantique, tandis que l'augmentation de $M$ (moyenne textuelle) a fourni des signaux de récompense plus propres.

Importance et Revendications

L'article revendique que LaDi-RL offre une alternative fondée sur des principes au RL au niveau du token pour améliorer le raisonnement des LLM. Sa signification principale réside dans :

Atténuation de l'Effondrement de la Diversité : En déplaçant l'exploration des perturbations locales de tokens vers une diffusion globale au niveau de la trajectoire, la méthode maintient un ensemble diversifié de stratégies de solution, empêchant la politique de converger vers des minima locaux sous-optimaux.
Résolution de l'Attribution du Crédit : Le défilement hiérarchique et l'estimation de récompense marginalisée par le décodeur dissocient efficacement la qualité du raisonnement du bruit de décodage, permettant une optimisation stable des politiques latentes.
Efficacité et Qualité : L'approche atteint des performances de pointe tant en précision (pass@1) qu'en diversité (pass@k) tout en réduisant considérablement la surcharge computationnelle grâce à la compression latente.

Les auteurs concluent que la diffusion latente offre un mécanisme robuste pour une exploration structurée, permettant aux modèles de découvrir des stratégies de raisonnement sémantiquement distinctes que les méthodes au niveau du token manquent, débloquant ainsi des limites de raisonnement supérieures sans sacrifier la diversité des solutions.