🤖 AI

RREDCoT: Segment-Level Reward Redistribution for Reasoning Models

L'article introduit RREDCoT, une nouvelle méthode qui exploite le modèle de raisonnement lui-même pour approximer la redistribution optimale des récompenses au niveau des segments pour les traces de Chain-of-Thought, abordant ainsi la variance élevée et l'inefficacité computationnelle de l'attribution de crédit par Monte Carlo traditionnelle dans l'apprentissage par renforcement fin (RL fine-tuning).

Auteurs originaux : Mykyta Ielanskyi, Kajetan Schweighofer, Lukas Aichberger, Sepp Hochreiter

Publié 2026-06-05

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mykyta Ielanskyi, Kajetan Schweighofer, Lukas Aichberger, Sepp Hochreiter

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : La "Boîte Noire" du Raisonnement

Imaginez que vous enseigniez à un élève comment résoudre un problème de mathématiques très difficile. L'élève écrit un long processus de réflexion étape par étape (une "Chaîne de Pensée" ou Chain of Thought) avant de donner enfin la réponse.

Dans les méthodes d'entraînement actuelles de l'IA, l'enseignant ne donne un retour qu'à la toute fin.

L'Élève : Écrit 50 pages de réflexion, fait une erreur à la page 10, mais continue, et finit par trouver la bonne réponse à la page 50.
L'Enseignant : Dit : "Beau travail ! Tu as trouvé la bonne réponse."
Le Résultat : L'élève se dit : "Wow, mon erreur à la page 10 était en fait utile !" ou "Je ne sais pas quelle partie de mes 50 pages était réellement utile."

C'est ce qu'on appelle le problème de la récompense différée. Parce que l'IA ne sait pas quels pensées spécifiques ont mené au succès, elle apprend lentement et de manière inefficace. C'est comme essayer d'apprendre à conduire une voiture en receant seulement un signal "Bon travail" ou "Mauvais travail" une fois que vous êtes garé, sans savoir si vous avez tourné le volant trop tôt ou si vous avez freiné trop tard.

La Solution : RREDCoT (L'outil "Reculer et Redistribuer")

Les auteurs ont créé une nouvelle méthode appelée RREDCoT (Reward REDistribution for Chain of Thoughts - Redistribution de la récompense pour les chaînes de pensée).

Voyez RREDCoT comme un éditeur intelligent qui surveille le brouillon de 50 pages de l'élève. Au lieu de simplement noter la réponse finale, l'éditeur revient en arrière et attribue un "score" à chaque paragraphe.

Paragraphe 1-5 : "Bonne mise en contexte, mais pas critique." (Score faible)
Paragraphe 10 : "C'était un mauvais tournant, mais tu t'es rattrapé." (Score négatif)
Paragraphe 25 : "C'était l'intuition clé qui a résolu l'énigme !" (Score élevé)
Paragraphe 50 : "Réponse correcte." (Score bonus)

En attribuant le mérite (ou le blâme) à des parties spécifiques du processus de réflexion, l'IA apprend beaucoup plus vite quelles pensées sont réellement utiles.

Comment ça marche (Sans les mathématiques)

L'article explique que les méthodes précédentes tentaient de résoudre cela de deux manières, toutes deux présentant des défauts :

Le "Jeu de Devinettes" (Échantillonnage Monte Carlo) : L'IA génère le même problème 100 fois pour voir quels pas mènent habituellement au succès. C'est précis, mais cela prend une éternité (comme courir un marathon 100 fois juste pour trouver le meilleur itinéraire).
Le "Jeu de l'Accusation" (Attribution) : Observer l' "attention" interne de l'IA pour deviner ce qui était important. L'article soutient que cela est souvent trompeur car cela regarde ce que l'IA a regardé, et non ce qui a réellement fonctionné.

L'astuce de RREDCoT :
Au lieu de faire tourner l'IA 100 fois ou de deviner aveuglément, RREDCoT utilise la propre connaissance de l'IA pour estimer la valeur de chaque étape.

Elle examine la "Solution de Référence" (le chemin correct).
Elle demande : "Si j'avais suivi cette étape spécifique, à quel point me serais-je rapproché de la bonne réponse ?"
Elle utilise un raccourci mathématique ingénieux (inspiré de la façon dont nous prédisons le mot suivant dans une phrase) pour calculer cela instantanément, sans avoir besoin de générer 100 versions supplémentaires de l'histoire.

La "Segmentation Hybride" (Couper le gâteau)

Pour que cela fonctionne, l'IA doit savoir où une "pensée" s'arrête et où une autre commence. On ne peut pas simplement regarder chaque lettre (token) car cela génère trop de données.

L'idée de l'article : Ils utilisent une stratégie de "Segmentation Hybride". Imaginez couper un long gâteau.
- D'abord, ils coupent aux endroits évidents (comme de nouveaux paragraphes ou des mots-clés comme "Attendez" ou "Par conséquent").
- Ensuite, ils regardent la "confusion" (l'entropie) du texte. Si l'IA était très incertaine de ce qu'elle devait écrire ensuite, c'est un bon endroit pour couper le gâteau.
- Cela crée des "blocs" de pensée logiques qui sont faciles à noter.

Ce qu'ils ont trouvé (Les Résultats)

Les chercheurs ont testé cela sur des problèmes mathématiques (comme les jeux de données AIME et MATH).

Apprentissage plus rapide : Les modèles utilisant RREDCoT ont appris à résoudre des problèmes mieux et plus rapidement que les modèles utilisant la méthode standard (GRPO).
Meilleure efficacité : Ils ont obtenu de meilleurs résultats même lorsque l'IA générait des chaînes de pensée très longues (jusqu'à 25 000 tokens).
Pas de modèles supplémentaires nécessaires : Contrairement à d'autres méthodes qui nécessitent une seconde IA "juge" pour noter le travail, RREDCoT utilise l'IA principale elle-même pour effectuer la notation, économisant ainsi du temps et des ressources.

Le Bémol (Limites)

L'article est honnête sur les points où cette méthode pourrait éprouver des difficultés :

Vous avez besoin du corrigé : RREDCoT fonctionne mieux lorsque vous connaissez déjà le chemin de la solution correcte (ou du moins un bon indice de celle-ci). Si vous essayez de résoudre un problème où la solution est inconnue ou si la "bonne voie" est vague, cette méthode ne peut pas beaucoup aider.
Cela coûte un peu plus cher : Cela nécessite environ 1,5 à 2 fois plus de puissance de calcul que la méthode standard, mais les auteurs affirment que c'est un compromis équitable pour la vitesse d'apprentissage qu'elle procure.

Résumé

RREDCoT est une nouvelle façon d'entraîner l'IA à mieux réfléchir. Au lieu d'attendre la fin pour dire "Bon travail", elle décompose le processus de réflexion en petits blocs et indique à l'IA exactement quelles pensées étaient utiles et lesquelles étaient des distractions. Elle le fait de manière rapide et efficace, permettant à l'IA d'acquérir des capacités de raisonnement complexes bien plus vite qu'auparavant.

Résumé Technique : RREDCoT – Redistribution de Récompense au Niveau des Segments pour les Modèles de Raisonnement

Énoncé du Problème

Les progrès récents des modèles de langage de raisonnement reposent fortement sur l'ajustement fin par apprentissage par renforcement (RL), en particulier en utilisant l'algorithme Group Relative Policy Optimization (GRPO) combiné au paradigme de l'Apprentissage par Renforcement avec Récompenses Vérifiables (RLVR). Dans ce cadre, les modèles génèrent une trace de Chaîne de Pensée (CoT) avant de produire une réponse finale. Cependant, un goulot d'étranglement critique existe : le signal de récompense est généralement attribué uniquement après que l'intégralité de la trace CoT est complétée et que la réponse finale est vérifiée. Cela crée un problème de récompense différée.

Les approches standard comme GRPO correspondent à des méthodes de Monte Carlo en RL, qui souffrent d'une variance élevée car la récompense est distribuée uniformément sur l'ensemble de la trajectoire, ne fournissant aucune supervision directe pour les étapes de raisonnement individuelles. Bien que l'échantillonnage de Monte Carlo (MCS) puisse estimer les valeurs des états intermédiaires, il nécessite la génération de multiples complétions pour chaque segment, ce qui entraîne une charge de calcul prohibitive pour une attribution de crédit à haute granularité dans des contextes longs. Les alternatives existantes, telles que l'utilisation de modèles juges pour l'analyse étape par étape ou l'extraction de l'utilité intermédiaire à partir des statistiques du modèle, introduisent souvent du bruit ou nécessitent des ressources de calcul supplémentaires.

Méthodologie : RREDCoT

Les auteurs proposent RREDCoT (Reward REDistribution for Chain of Thoughts), une méthode qui adapte les principes de l'algorithme RUDDER à la structure spécifique de la génération de CoT. L'objectif central est de redistribuer la récompense finale aux segments intermédiaires de la trace CoT afin de fournir des signaux d'apprentissage plus denses sans nécessiter de modèles supplémentaires ou d'étapes de génération supplémentaires.

1. Formulation MDP

Le processus de génération de CoT est modélisé comme un Processus de Décision de Markov (MDP) où l'état $s_t$ consiste en la requête originale et la séquence de segments générés jusqu'à $t-1$ . L'espace d'action est partitionné en :

$Y$ (Réponse) : Actions qui déclenchent la sortie finale.
$U$ (Continuation) : Actions qui génèrent de nouveaux segments de CoT.
La récompense immédiate pour la génération d'une pensée est nulle ; la récompense n'est réalisée qu'en générant une réponse finale correcte.

2. Redistribution Optimale de la Récompense

RREDCoT dérive une redistribution de récompense optimale $\sigma$ basée sur la différence entre les rendements attendus entre des états consécutifs. La méthode utilise le modèle de langage générateur lui-même pour approximer la fonction de valeur, évitant ainsi le besoin d'un LSTM auxiliaire (tel qu'utilisé dans le RUDDER original) ou d'un échantillonnage extensif.

La redistribution est calculée comme suit :
$\sigma_t \propto \hat{R}_{t+1} - \hat{R}_t + \hat{v}_{t+1} - \hat{v}_t$
Où :

$\hat{R}_t$ est l'estimation de la récompense immédiate (probabilité de la réponse de référence étant donné la trace actuelle).
$\hat{v}_t$ est la valeur estimée de l'état (utilité attendue des complétions futures).

Pour estimer ces valeurs efficacement, les auteurs emploient un estimateur de Récompense de Probabilité (PR) utilisant l'échantillonnage par importance sur un ensemble de chemins de solutions de référence ( $Y^\star, U^\star$ ). Cela permet au modèle d'agir comme une fonction de dynamique (modèle de monde) pour estimer la probabilité d'atteindre un état de haute utilité à partir du segment actuel.

3. Stratégie de Segmentation Hybride

Pour rendre l'attribution de crédit traitable, RREDCoT introduit une stratégie de segmentation hybride par mots-clés et entropie :

Division Initiale : La trace est divisée par des mots-clés génériques (ex: sauts de ligne).
Fusion Itérative : Les segments consécutifs présentant l'entropie combinée la plus faible sont fusionnés jusqu'à atteindre un nombre cible de segments.
Raisonnement : Les jetons à haute entropie représentent des points de pluralité élevée (points de décision) et servent de points de sortie naturels pour estimer les contributions immédiates. Cette stratégie garantit que les segments sont aussi découplés que possible, minimisant le biais dans l'estimation de la fonction de valeur.

4. Intégration avec les Objectifs de RL

Les récompenses redistribuées sont intégrées dans l'objectif standard de gradient de politique. La méthode assure l'équivalence de rendement, ce qui signifie que la somme des récompenses redistribuées est égale au rendement de l'épisode original, préservant la politique optimale tout en accélérant la convergence.

Contributions Clés

Algorithme RREDCoT : Un algorithme d'attribution de crédit et de redistribution de récompense traitable pour les traces CoT qui ne nécessite ni modèles additionnels ni étapes de génération supplémentaires, en exploitant le modèle générateur lui-même pour l'estimation de la valeur.
Segmentation Basée sur l'Entropie : Une nouvelle stratégie de segmentation adaptée à RREDCoT qui équilibre la division par mots-clés avec la fusion pilotée par l'entropie pour optimiser l'estimation des contributions intermédiaires.
Analyse Théorique et Empirique : Une analyse détaillée comparant l'estimateur proposé à l'échantillonnage de Monte Carlo et à diverses méthodes d'attribution (ex: valeurs de Shapley, Leave-One-Out), démontrant que les méthodes d'attribution non conditionnées sur les solutions correctes capturent des aspects de la génération différents de la redistribution de récompense.

Résultats Expérimentaux

Les auteurs ont évalué RREDCoT sur plusieurs benchmarks, notamment les ensembles de données AIME, MATH et Minerva.

Performance en Contexte Long : Sur le jeu de données Numina-CoT avec des longueurs de génération allant jusqu'à 25k jetons, RREDCoT a démontré une performance supérieure par rapport au GRPO standard. Par exemple, sur le modèle Qwen3-4B Instruct, RREDCoT a atteint un score AIME24 de 0,908 contre 0,850 pour GRPO.
Raffinement à Petite Échelle : Appliqué à de petits modèles de raisonnement (1,5 milliard de paramètres) pour le raffinement en ligne, RREDCoT a montré des résultats compétitifs ou supérieurs par rapport aux modèles ajustés avec GRPO et un réglage d'hyperparamètres, particulièrement sur les benchmarks AMC23 et MATH500.
Variance et Biais : L'étude a montré que si l'échantillonnage de Monte Carlo tronqué entraîne une perte significative de complétions valides (introduisant un biais), l'estimateur de RREDCoT s'aligne bien avec les résultats de l'échantillonnage MC pour une fraction de son coût de calcul.
Analyse de Corrélation : L'article a révélé que les méthodes d'attribution basées sur le gradient et Leave-One-Out (LOO) sont hautement corrélées entre elles mais moins corrélées avec RREDCoT. Cela suggère que les méthodes d'attribution capturent des propriétés de signal différentes de la redistribution de récompense, et que l'utilisation de l'attribution seule pour le poids d'entraînement peut être redondante ou sous-optimale.

Signification et Revendications

L'article affirme que RREDCoT répond aux problèmes de variance élevée et de récompense différée inhérents à l'ajustement fin par RL des modèles de raisonnement. En redistribuant les récompenses aux segments intermédiaires basées sur les capacités prédictives du modèle lui-même, la méthode accélère la convergence et améliore la performance finale sans les prohibitions de calcul du sampling de Monte Carlo.

Les auteurs soulignent que leur approche est une approximation traitable de la redistribution optimale de la récompense. Ils notent que la méthode repose sur la disponibilité de solutions de référence et d'une certaine structure de sous-objectifs (ex: solutions uniques dans les problèmes mathématiques). Bien que la méthode introduise un surcoût de calcul de 1,5 à 2 fois par rapport au GRPO naïf, elle est nettement plus efficace que le sampling de Monte Carlo complet. Ce travail positionne RREDCoT à la fois comme un amplificateur de signal d'entraînement et un outil d'analyse, offrant une nouvelle perspective sur l'attribution de crédit qui se distingue des techniques d'attribution traditionnelles.