🤖 AI

Credit Assignment with Resets in Language Model Reasoning

Ce papier propose l'optimisation de politique à réinitialisation aléatoire et à auto-réinitialisation (RRPO et SRPO) pour améliorer le raisonnement des modèles de langage en permettant une attribution précise du crédit par réinitialisation vers des états intermédiaires et rééchantillonnage des continuations, SRPO obtenant des performances supérieures en localisant et en corrigeant automatiquement les étapes erronées sans supervision externe.

Auteurs originaux : Ankur Samanta, Akshayaa Magesh, Ayush Jain, Youliang Yu, Daniel Jiang, Kavosh Asadi, Daniel Jiang, Kaveh Hassani, Paul Sajda, Jalaj Bhandari, Yonathan Efroni

Publié 2026-05-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ankur Samanta, Akshayaa Magesh, Ayush Jain, Youliang Yu, Daniel Jiang, Kavosh Asadi, Daniel Jiang, Kaveh Hassani, Paul Sajda, Jalaj Bhandari, Yonathan Efroni

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un élève comment résoudre un problème mathématique complexe ou écrire un morceau de code. Dans les méthodes traditionnelles, si l'élève obtient une réponse finale erronée, l'enseignant pourrait dire : « Vous avez échoué », et demander à l'élève de réécrire l'intégralité de la solution à partir de zéro, en espérant qu'il réussira la prochaine fois. Le problème avec cette approche est que l'élève ne sait pas quelle étape précise a causé l'échec. A-t-il fait une erreur dès la toute première phrase ? Ou s'est-il perdu trois paragraphes plus tard ?

Ce papier introduit une méthode plus intelligente pour enseigner aux modèles d'IA (spécifiquement les grands modèles de langage) comment raisonner. Elle s'appelle l'Attribution de Crédits avec Réinitialisation.

Voici la décomposition de leurs idées à l'aide d'analogies simples :

1. Le Problème : La « Punition Uniforme »

Actuellement, lorsqu'une IA échoue à une tâche de raisonnement multi-étapes, les méthodes d'entraînement standard considèrent chaque mot généré par l'IA comme étant également responsable de l'échec.

L'Analogie : Imaginez une course de relais où l'équipe perd parce que le coureur du 3ᵉ relais a laissé tomber le témoin. Mais l'entraîneur crie après toute l'équipe, obligeant le premier coureur, le deuxième coureur et le quatrième coureur à faire tous des tours supplémentaires. Le premier coureur n'a rien fait de mal, mais il est puni quand même. C'est inefficace et confus.

2. La Solution : Le « Bouton Réinitialisation »

Les auteurs proposent un mécanisme appelé Réinitialisation. Au lieu de repartir du début, l'IA est renvoyée à un point spécifique au milieu de la tentative échouée. À partir de ce point, elle tente de générer une nouvelle fin (une continuation « contrefactuelle ») pour voir si un choix différent mène au succès.

L'Analogie : Imaginez que vous conduisez et prenez un mauvais virage, vous perdant. Au lieu de faire tout le chemin jusqu'à votre maison pour repartir, vous vous arrêtez à l'intersection exacte où vous avez fait l'erreur. Vous dites : « D'accord, je n'aurais pas dû tourner à gauche ici ; essayons de tourner à droite à la place. » Vous ne roulez à nouveau que la partie du trajet qui compte.

3. Deux Façons de Trouver l'Erreur

Le papier propose deux méthodes pour décider où appuyer sur le bouton de réinitialisation :

RRPO (Réinitialisation Aléatoire) : C'est comme deviner. L'IA choisit une étape au hasard dans la chaîne échouée et réessaie à partir de là.
- L'Analogie : Un enseignant choisit au hasard une page dans la copie échouée d'un élève et dit : « Réécrivons à partir d'ici. » Cela peut fonctionner, mais c'est surtout une question de chance.
SRPO (Auto-Réinitialisation) : C'est la star du spectacle. L'IA examine sa propre tentative échouée et se demande : « Où exactement ai-je fait une erreur ? » Elle identifie la pensée ou l'étape spécifique où la logique s'est brisée et réinitialise juste là.
- L'Analogie : L'élève relit sa propre copie, repère la phrase exacte où la logique est devenue floue, et dit : « Ah, je vois le problème. Je vais réécrire en commençant par cette phrase. » Cela ne nécessite aucune aide extérieure ; l'IA le fait elle-même.

4. Pourquoi Cela Fonctionne Mieux (L'« Attribution de Crédits »)

En réinitialisant au point d'erreur spécifique et en essayant plusieurs nouvelles fins, l'IA peut clairement voir : « Si j'avais choisi le chemin A au lieu du chemin B à ce moment précis, j'aurais réussi. »

Le Résultat : L'IA apprend à corriger la mauvaise habitude spécifique plutôt que de simplement mémoriser toute la solution. C'est comme un chirurgien qui retire une tumeur plutôt que d'amputer tout le membre.

5. Les Résultats : Plus Rapide et Plus Intelligent

Les chercheurs ont testé cela sur des problèmes de mathématiques, des questions de sciences et des tâches de codage.

Les Constats : La méthode SRPO (où l'IA trouve elle-même son erreur) a constamment surpassé les méthodes standards et la méthode de « devinette aléatoire ».
Vitesse : Dans les tâches de codage, SRPO a appris 2 à 3 fois plus vite que les méthodes standards. Elle a atteint un taux de réussite plus élevé car elle ne perdait pas de temps à réapprendre des étapes qu'elle savait déjà correctes.
Auto-correction : Le papier a révélé que lorsque l'IA identifiait correctement l'erreur (un « préfixe » propre), elle pouvait résoudre le problème près de deux fois plus souvent que lorsqu'elle devinait le mauvais endroit. Cela prouve que savoir où réinitialiser est la clé du succès.

Résumé

Considérez ce papier comme enseignant à une IA à être sa propre meilleure critique. Au lieu de réessayer aveuglément des tâches entières, l'IA apprend à repérer le moment exact où elle s'est écartée de la voie, à appuyer sur le bouton « réinitialisation » et à essayer un chemin différent à partir de ce moment précis. Cela rend l'apprentissage beaucoup plus efficace, précis et performant, en particulier pour des tâches complexes comme les mathématiques et le codage.

Résumé Technique : Attribution de Crédits avec Réinitialisations dans le Raisonnement des Modèles de Langage

Énoncé du Problème

Les méthodes contemporaines d'Apprentissage par Renforcement avec Récompenses Vérifiables (RLVR) pour l'entraînement postérieur de modèles de langage sur des tâches de raisonnement multi-étapes propagent généralement une récompense de résultat unique de manière uniforme sur tous les tokens d'une trajectoire. Cette approche d'"attribution de crédits uniforme" obscurcit quels étapes de raisonnement spécifiques ont contribué au succès ou à l'échec. Par conséquent, les mises à jour de la politique sont appliquées indistinctement à l'ensemble de la trajectoire, même lorsqu'un sous-ensemble d'étapes est défaillant. Cette inefficacité est particulièrement problématique pour les tâches de raisonnement à long horizon où le rapport signal/bruit pour l'apprentissage est faible.

L'article postule que l'amélioration de l'attribution de crédits nécessite des mécanismes pour isoler et affiner des étapes de raisonnement défaillantes spécifiques plutôt que de mettre à jour des trajectoires entières. S'inspirant de systèmes biologiques qui rétablissent des points de décision à fort impact pour apprendre à partir de résultats contrefactuels "et si", les auteurs proposent d'utiliser des réinitialisations comme primitive pour l'attribution de crédits. Une réinitialisation réintroduit un état précédemment visité et rééchantillonne une continuation, permettant d'attribuer les différences de résultats spécifiquement aux décisions prises à partir de cet état.

Méthodologie

L'article introduit deux méthodes d'entraînement postérieur RLVR basées sur les réinitialisations, toutes deux opérant au niveau de la pensée (où chaque action est une étape de raisonnement sémantiquement cohérente) plutôt qu'au niveau du token. Les deux méthodes construisent un tampon d'entraînement contenant un groupe de base de déroulements standards et un "groupe de préfixe partagé" de déroulements rééchantillonnés à partir d'un état de réinitialisation spécifique $x^*$ dérivé d'une trajectoire échouée.

1. Optimisation de Politique à Réinitialisation Aléatoire (RRPO)

RRPO correspond à une réalisation pratique de l'Itération de Politique Conservatrice (CPI) avec réinitialisations aléatoires (CPI-RR).

Mécanisme : Lors de la rencontre d'une trajectoire échouée (la "graine"), l'état de réinitialisation $x^*$ est choisi uniformément au hasard parmi les étapes de raisonnement de cette graine.
Processus : Plusieurs continuations de suffixe sont échantillonnées à partir de $x^*$ . Le gradient de politique est appliqué uniquement aux tokens du suffixe, tandis que le préfixe partagé est masqué.
Objectif : Approximer la base théorique CPI-RR où les états de réinitialisation sont tirés uniformément à partir de la distribution sur la politique.

2. Optimisation de Politique à Auto-Réinitialisation (SRPO)

SRPO correspond à une réalisation pratique de la CPI avec un Oracle d'Attribution de Crédits à Réinitialisation (CPI-CARO).

Mécanisme : Au lieu d'une sélection aléatoire, le modèle s'auto-localise la première pensée erronée dans la trajectoire de graine échouée. Cette auto-localisation agit comme un proxy pour l'oracle théorique d'attribution de crédits, qui identifie les états admettant une action strictement meilleure (états améliorables).
Processus : Le modèle analyse sa propre trace de raisonnement pour identifier l'index de la première erreur. L'état de réinitialisation $x^*$ est défini comme le préfixe précédant immédiatement cette erreur. Plusieurs continuations de suffixe sont ensuite échantillonnées à partir de ce préfixe vérifié comme correct.
Caractéristique Clé : SRPO ne nécessite aucune supervision externe au niveau de l'étape (par exemple, des Modèles de Récompense de Processus ou des annotations humaines) ; il exploite la capacité propre du modèle à détecter sa première erreur, une capacité soutenue par des travaux antérieurs (Samanta et al., 2026).

Cadre Théorique

Les auteurs analysent ces méthodes dans le cadre de l'Itération de Politique Conservatrice (CPI). Ils introduisent une variante théorique, CPI-CARO, qui utilise un oracle d'attribution de crédits pour échantillonner des états de réinitialisation uniquement à partir d'"états améliorables" (états où une action existe avec un avantage supérieur à un seuil $\tau$ ).

Résultat Théorique : L'article prouve que CPI-CARO réalise une amélioration de la complexité en échantillons de $1/p_\pi^2$ et un gain d'amélioration par itération de $1/p_\pi$ par rapport à la CPI-RR standard (réinitialisations aléatoires), où $p_\pi$ est la probabilité sur la politique d'atteindre un état améliorable.
Implication : En concentrant les réinitialisations sur des états ayant un potentiel d'amélioration, l'algorithme évite de diluer le signal d'apprentissage avec des états non améliorables.

Contributions Clés

Conceptuelle : L'article présente les réinitialisations comme une primitive fondamentale d'attribution de crédits pour l'entraînement postérieur. Il soutient que les différences de résultats à travers des suffixes rééchantillonnés à partir d'un état améliorable lient le crédit spécifiquement aux décisions prises à cet état.
Théorique : Il étend le cadre CPI avec un oracle d'attribution de crédits, fournissant des garanties prouvables que la concentration des réinitialisations sur des états améliorables produit une complexité en échantillons et un gain d'amélioration par itération supérieurs aux réinitialisations aléatoires.
Algorithmique et Empirique : Il propose SRPO, une méthode sans entraînement qui utilise l'auto-localisation pour piloter les réinitialisations. SRPO démontre que les modèles de langage peuvent efficacement s'auto-localiser les erreurs pour piloter l'auto-correction sans supervision externe.

Résultats Expérimentaux

Les auteurs ont évalué SRPO et RRPO sur deux modèles de base (Qwen2.5-14B-Instruct et OLMo-3-7B-Instruct) entraînés sur NuminaMath-Olympiads et testés sur une suite de 10 benchmarks couvrant le raisonnement mathématique, scientifique, stratégique et de bon sens, ainsi qu'un benchmark de codage (LiveCodeBench).

Raisonnement Général : SRPO a constamment surpassé les GRPO et RRPO standards. Sur le modèle Qwen2.5-14B, SRPO a obtenu les meilleurs résultats sur 7 tâches sur 10 ; sur OLMo-3-7B, il a été le meilleur sur 6 tâches sur 10. Notamment, ces gains se sont produits sur des benchmarks hors distribution (science, stratégie, bon sens) malgré un entraînement uniquement sur des données mathématiques.
Tâches de Codage : Dans LiveCodeBench, SRPO a convergé vers un taux de réussite plus élevé et a appris 2 à 3 fois plus vite que GRPO et RRPO.
Stratégie d'Échantillonnage : Une étude d'ablation sur le ratio de déroulements de base par rapport aux déroulements de préfixe partagé (par exemple, 1×4 vs 2×4 vs 1×8) a révélé qu'une répartition 1×4 (4 déroulements de base, 4 suffixes à partir d'un préfixe auto-localisé) offrait le meilleur équilibre entre la couverture de la politique de base et la profondeur du préfixe partagé.
Qualité de l'Auto-Localisation : L'analyse du mécanisme d'auto-localisation a révélé qu'il est un proxy imparfait mais efficace pour l'oracle. Lorsque le modèle localisait correctement l'erreur (créant un préfixe "propre"), le taux de correction était près de 2 fois plus élevé (28,7 % contre 16,3 %) par rapport au cas où la localisation dépassait dans la région erronée.

Signification et Revendications

L'article revendique que les réinitialisations auto-localisées représentent une avancée significative dans l'entraînement postérieur par RL pour le raisonnement. En s'éloignant de l'attribution de crédits uniforme, SRPO permet un apprentissage plus efficace en ciblant les étapes spécifiques responsables de l'échec.

Efficacité : La méthode atteint des performances supérieures avec moins d'échantillons par rapport au GRPO standard, en particulier dans les tâches de codage où la convergence est accélérée.
Autosuffisance : SRPO opère sans supervision externe au niveau de l'étape, reposant uniquement sur la capacité interne du modèle à identifier sa première erreur. Cela rend l'approche évolutive et applicable à des domaines où l'annotation humaine ou les Modèles de Récompense de Processus sont indisponibles.
Alignement Théorique : Le succès empirique de SRPO valide le postulat théorique selon lequel la concentration des mises à jour de politique sur des "états améliorables" (via un oracle d'attribution de crédits) produit des gains prouvables par rapport aux stratégies d'exploration aléatoire.

Les auteurs concluent que bien que l'auto-localisation ne soit pas parfaite, elle est suffisante pour piloter des améliorations significatives. Un travail futur est suggéré pour se concentrer sur l'amélioration de la qualité de l'auto-localisation (par exemple, via des localisateurs dédiés) et sur l'extension de ces mécanismes d'attribution de crédits basés sur les réinitialisations à des tâches agentiques à plus long horizon et à des dialogues multi-tours.