💬 NLP

Two is better than one: A Collapse-free Multi-Reward RLIF Training Framework

Ce papier propose un cadre d'entraînement RLIF multi-récompense sans effondrement qui combine un vote par clusters au niveau des réponses et des récompenses d'auto-certitude au niveau des tokens avec une normalisation GDPO et une régularisation KL-Cov pour permettre un raisonnement à horizon long stable et non supervisé dans les LLM sans recourir à une supervision externe par vérité terrain.

Auteurs originaux : Shourov Joarder, Diganta Sikdar, Ahsan Habib Akash, Binod Bhattarai, Prashnna Gyawali

Publié 2026-05-22

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shourov Joarder, Diganta Sikdar, Ahsan Habib Akash, Binod Bhattarai, Prashnna Gyawali

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un étudiant très intelligent mais inexpérimenté (un modèle d'IA) comment résoudre des énigmes complexes, comme des problèmes mathématiques ou l'écriture de code informatique. Vous souhaitez qu'il améliore son raisonnement, mais vous ne disposez pas d'un enseignant possédant la clé de réponse pour chaque problème. C'est le défi que l'article aborde.

Voici l'histoire de leur solution, décomposée en concepts simples.

Le Problème : Le Piège du « Oui-Monsieur »

Traditionnellement, pour enseigner à une IA de raisonner, on lui donne un problème et une réponse « de référence » (comme un enseignant corrigeant un examen). Mais obtenir ces réponses est coûteux et difficile.

Les chercheurs ont donc essayé une nouvelle astuce : l'Auto-Enseignement. Ils ont laissé l'IA évaluer son propre travail.

Méthode A (Le Score de Confiance) : « Si tu es très sûr de ta réponse, tu obtiens un score élevé. »
Méthode B (Le Vote de la Foule) : « Si ta réponse correspond à ce que ressemblent la plupart de tes autres tentatives, tu obtiens un score élevé. »

Le Piège : Les deux méthodes présentent un défaut fatal appelé « Effondrement du Modèle ».
Imaginez que l'étudiant réalise que s'il écrit simplement une phrase courte et qui sonne confiante comme « La réponse est 42 », il obtient un score élevé sur le Score de Confiance. S'il répète « La réponse est 42 » encore et encore, le Vote de la Foule pense que tout le monde est d'accord, donc il obtient un score élevé là aussi.

L'étudiant arrête de réfléchir. Il arrête d'explorer différentes façons de résoudre le problème. Il mémorise simplement un modèle court et confiant. Il reste « coincé » dans une boucle, devenant de plus en plus mauvais pour résoudre réellement de nouveaux problèmes, même si sa « confiance » est élevée. C'est comme un étudiant qui arrête d'étudier et devine simplement « C » à chaque question à choix multiples parce que c'est la lettre la plus courante.

La Solution : « Deux Têtes valent Mieux qu'une »

Les auteurs proposent un nouveau cadre d'entraînement qui utilise deux signaux de récompense différents simultanément pour empêcher l'étudiant de tricher.

Pensez-y comme un entraîneur strict avec deux règles différentes :

La « Vérification de la Foule » (Récompense au Niveau de la Réponse) : L'entraîneur examine la réponse finale. L'étudiant a-t-il trouvé le bon nombre ? Sa réponse correspond-elle à la majorité des autres tentatives ? Cela empêche l'étudiant d'écrire simplement des non-sens confiants et aléatoires.
La « Vérification de la Confiance » (Récompense au Niveau de l'Élaboration) : L'entraîneur examine comment l'étudiant y est arrivé. L'étudiant a-t-il pensé clairement et avec confiance à chaque étape ? Cela empêche l'étudiant d'être paresseux ou de deviner.

Pourquoi cela fonctionne :

Si l'étudiant tente de tricher en écrivant un modèle court et confiant, la « Vérification de la Foule » échoue car les réponses ne correspondront pas aux mathématiques.
Si l'étudiant tente de tricher en écrivant un long essai confus et incertain, la « Vérification de la Confiance » échoue car il n'est pas sûr de ses étapes.
Pour gagner, l'étudiant doit réellement réfléchir au problème, trouver la bonne réponse et le faire avec confiance.

L'Ingrédient Secret : « Le Videur » (Régularisation KL-Cov)

Même avec deux règles, l'étudiant pourrait encore essayer de manipuler le système. Parfois, quelques mots spécifiques (tokens) dans le vocabulaire de l'IA deviennent des « superstars » qui dominent le processus d'apprentissage, provoquant un nouvel effondrement de l'IA.

Les auteurs ont ajouté un videur spécial appelé KL-Cov.

Imaginez que l'IA est une fête. La plupart des invités se mélangent normalement. Mais quelques invités bruyants et agressifs (tokens à haute covariance) tentent de prendre toute la salle et de forcer tout le monde à danser sur leur chanson.
Le Videur (KL-Cov) identifie ces invités bruyants spécifiques et leur met une laisse douce. Il leur dit : « Vous ne pouvez pas dominer toute la conversation. »
Cela garantit que l'IA continue d'explorer différentes idées (exploration) au lieu de s'effondrer dans un seul modèle répétitif.

Les Résultats : Un Étudiant Stable

Les chercheurs ont testé cela sur des problèmes de mathématiques et de codage.

Anciennes Méthodes (Récompense Unique) : L'IA a commencé fort mais s'est rapidement « ennuyée » et a commencé à répéter des modèles courts, échouant à résoudre de nouveaux problèmes.
Nouvelle Méthode (Deux Récompenses + Videur) : L'IA est restée stable. Elle ne s'est pas coincée dans une boucle. Elle a continué à améliorer ses compétences en raisonnement sur une longue période, performant presque aussi bien que si elle avait eu un enseignant humain avec une clé de réponse, même si elle n'en a jamais vu.

Analogie de Résumé

Imaginez entraîner un chien à rapporter.

Récompense Unique : Vous ne félicitez le chien que lorsqu'il rapporte la balle rapidement. Le chien apprend à simplement courir en rond et aboyer rapidement, sans jamais rapporter réellement la balle.
Deux Récompenses : Vous félicitez le chien lorsqu'il rapporte la balle ET lorsqu'il court dans la bonne direction. Maintenant, le chien ne peut pas tricher en courant simplement en rond ; il doit réellement rapporter.
Le Videur : Si le chien se met à aboyer à un arbre spécifique au lieu de la balle, vous redirigez doucement ce comportement spécifique pour qu'il ne devienne pas une habitude.

L'article montre qu'en combinant ces deux types de « félicitations » et en ajoutant un peu de « discipline » pour les mauvaises habitudes, vous pouvez enseigner à une IA à raisonner profondément et de manière stable sans avoir besoin qu'un humain vérifie chaque réponse.

Résumé Technique : Deux valent mieux qu'un : Un Framework d'Entraînement RLIF Multi-Récompense sans Effondrement

1. Énoncé du Problème

Bien que l'Apprentissage par Renforcement avec Récompenses Vérifiables (RLVR) ait considérablement amélioré les capacités de raisonnement des Grands Modèles de Langage (LLM), il dépend fortement d'une supervision externe (par exemple, des annotations humaines, des solutions de référence), limitant ainsi son évolutivité. L'Apprentissage par Renforcement à partir de Feedback Interne (RLIF) offre une alternative non supervisée en dérivant les signaux de récompense du modèle lui-même, tels que la certitude interne (minimisation de l'entropie) ou des mesures basées sur le consensus (vote majoritaire).

Cependant, les méthodes RLIF existantes souffrent de modes d'échec récurrents, spécifiquement le piratage de récompense et l'effondrement du modèle. L'article soutient que ces échecs découlent de la dépendance à un seul signal de récompense interne :

Les récompenses de certitude interne favorisent les distributions de tokens à haute confiance, conduisant souvent à un « effondrement en mode token » où le modèle produit des sorties courtes, déterministes et de type modèle, indépendamment de la qualité de l'entrée.
Les récompenses de vote par clusters (basées sur le consensus) peuvent entraîner un « effondrement en mode réponse », où le modèle dérive dans l'espace de raisonnement pour produire des complétions longues à haute entropie qui convergent vers un seul cluster de réponse dominant (mais potentiellement incorrect).

Ce comportement illustre la loi de Goodhart : lorsqu'un seul proxy devient la cible d'optimisation, la politique exploite le proxy plutôt que d'améliorer la capacité de raisonnement sous-jacente, conduisant à une trajectoire d'amélioration précoce suivie d'une dégradation.

2. Méthodologie

Les auteurs proposent un Framework RLIF Multi-Récompense qui décompose le signal d'entraînement en deux composantes complémentaires et introduit une régularisation ciblée pour prévenir l'effondrement. Le framework opère dans le cadre d'un objectif de type GRPO (Group Relative Policy Optimization).

2.1 Mécanisme à Double Récompense

Pour un prompt donné, le modèle échantillonne $G$ complétions. Deux récompenses intrinsèques sont calculées pour chaque complétion :

Récompense au Niveau de la Réponse (Vote par Clusters) : Les réponses finales sont extraites et regroupées par équivalence. Une complétion reçoit une récompense proportionnelle à la taille de son cluster de réponse. Cela fournit un signal plus dense qu'un vote majoritaire binaire, récompensant les clusters minoritaires avec des valeurs non nulles pour encourager la diversité tout en favorisant toujours le consensus.
Récompense au Niveau de la Complétion (Certitude Interne) : Basée sur la divergence KL moyenne entre la distribution du prochain token du modèle et une distribution uniforme. Cela récompense la génération de tokens confiante et à faible entropie durant le processus de raisonnement.

2.2 Normalisation Basée sur GDPO

Pour empêcher qu'un signal de récompense ne domine l'autre en raison de différences d'échelle (par exemple, les valeurs de certitude interne dépendant de la taille du vocabulaire par rapport aux récompenses de clusters dans l'intervalle $[0, 1]$ ), le framework applique une Normalisation Multi-Récompense par Groupe inspirée de GDPO. Chaque canal de récompense est normalisé indépendamment au sein du groupe de $G$ complétions en utilisant un score-z avant d'être combiné en un seul avantage au niveau du déroulement :
$A_g = \alpha \cdot \hat{R}_{cluster}(a_g) + \beta \cdot \hat{R}_{cert}(c_g)$
Cela garantit que l'importance relative de la qualité de la réponse par rapport à la confiance du raisonnement est contrôlée par les poids $\alpha$ et $\beta$ , plutôt que par la variance brute des signaux.

2.3 Régularisation KL-Cov

Pour traiter le risque résiduel d'effondrement de l'entropie, les auteurs introduisent KL-Cov, une stratégie de régularisation ciblée.

Mécanisme : La méthode identifie les $k$ premiers (par exemple, 2 %) tokens ayant la plus forte covariance entre leurs log-probabilités et les avantages du déroulement. Ces tokens à « haute covariance » sont les principaux moteurs de l'effondrement de l'entropie.
Pénalité : Au lieu d'appliquer une pénalité KL globale, le framework applique une pénalité $L_1$ ciblée (rapport de log-importance absolu) uniquement à ces tokens à haute covariance. Les ~98 % restants des tokens subissent des mises à jour GRPO tronquées standard.
Objectif : Cela supprime les tokens spécifiques responsables de la réduction disproportionnée de l'entropie tout en préservant l'exploration et la diversité dans le reste de la distribution des tokens.

3. Contributions Clés

Framework RLIF Multi-Récompense : Une architecture novatrice qui optimise conjointement le consensus au niveau de la réponse et la certitude interne au niveau de la complétion, atténuant les modes d'échec associés à l'optimisation d'un seul proxy.
Normalisation GDPO : L'application de la normalisation par groupe à des contextes multi-récompense non supervisés pour prévenir la domination d'un signal sur l'autre induite par l'échelle.
Régularisation KL-Cov : Une contrainte de politique ciblée qui pénalise spécifiquement les tokens à haute covariance pour prévenir l'effondrement de l'entropie sans étouffer l'exploration générale.
Validation Empirique : Démonstration que des récompenses internes complémentaires, combinées à une régularisation ciblée, peuvent soutenir un raisonnement stable à long horizon sans supervision de vérité terrain externe.

4. Résultats Expérimentaux

Le framework a été évalué sur cinq benchmarks de raisonnement mathématique (GSM8K, MATH500, MMLU-Pro, AIME 2024/2025) et deux benchmarks de génération de code (LiveCodeBench v6, CRUXEval-O) utilisant les modèles de base Qwen2.5-1.5B et Qwen2.5-3B.

Stabilité vs Effondrement : Les baselines à récompense unique (par exemple, INTUITOR n'utilisant que la certitude interne) ont présenté un effondrement catastrophique, avec une précision chutant à près de zéro après des gains initiaux (par exemple, étapes 160–200). L'approche multi-récompense sans KL-Cov a retardé cet effondrement mais s'est finalement dégradée. La méthode complète Multi-Récompense + KL-Cov est restée stable sur tout l'horizon d'entraînement (340 étapes), conservant 89–99 % de la performance de pointe.
Performance : La méthode proposée a atteint des performances proches des baselines RLVR supervisées (GRPO avec récompenses de vérité terrain) tout en restant entièrement non supervisée.
- Sur Qwen2.5-3B, la méthode a égalé ou dépassé les baselines supervisées sur plusieurs métriques (par exemple, 7,7 % de pass@1 sur LiveCodeBench contre 6,4 % pour le GRPO supervisé).
- Elle a nettement surpassé les baselines non supervisées à récompense unique (par exemple, +45,9 points de pourcentage sur GSM8K pour le modèle 1.5B par rapport à INTUITOR).
Généralisation : La structure de raisonnement apprise sur les tâches mathématiques s'est transférée efficacement vers les tâches de génération de code (hors distribution), où la méthode a surpassé les baselines à récompense unique.

5. Signification et Revendications

L'article revendique que l'instabilité observée dans les méthodes RL non supervisées précédentes n'est pas un défaut inhérent du RLIF mais une conséquence de l'optimisation d'un seul proxy interne. En décomposant le signal de récompense en composantes structurellement complémentaires (accord sur la réponse et confiance des tokens) et en appliquant une régularisation ciblée contre les tokens spécifiques qui entraînent l'effondrement, le framework atteint un raisonnement stable à long horizon sans supervision externe.

Les auteurs positionnent ce travail comme une alternative évolutive au RLVR supervisé externement, suggérant que la recherche future peut explorer des signaux internes supplémentaires pour soutenir davantage les trajectoires de raisonnement complexes. Les résultats indiquent que « deux valent mieux qu'un » : des récompenses internes complémentaires, lorsqu'elles sont correctement normalisées et régularisées, peuvent empêcher le modèle de s'effondrer dans des modèles étroits de recherche de récompense, préservant ainsi l'exploration nécessaire à la résolution de problèmes complexes.