💬 NLP

Likelihood-Based Reward Designs for General LLM Reasoning

Cet article démontre systématiquement que l'utilisation de la log-probabilité de la réponse de référence comme signal de récompense est une méthode supérieure et polyvalente pour l'ajustement fin des grands modèles de langage sur le raisonnement par chaîne de pensée, surpassant les récompenses binaires dans les contextes vérifiables et égalant l'ajustement fin supervisé dans les scénarios non vérifiables tout en évitant les pièges des alternatives basées sur la probabilité.

Auteurs originaux : Ariel Kwiatkowski, Natasha Butt, Ismail Labiad, Julia Kempe, Yann Ollivier

Publié 2026-02-05

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ariel Kwiatkowski, Natasha Butt, Ismail Labiad, Julia Kempe, Yann Ollivier

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseignez à un étudiant très intelligent mais inexpérimenté (un Grand Modèle de Langage) comment résoudre des problèmes complexes. L'étudiant est doué pour parler, mais il doit apprendre à « penser à voix haute » (Chaîne de Pensée ou Chain-of-Thought) avant de donner une réponse.

L'article traite d'un problème spécifique : Comment noter cet étudiant quand vous n'avez pas de corrigé ?

L'ancienne méthode : Le quiz « Réussite/Échec »

Traditionnellement, pour enseigner à ces modèles, les chercheurs utilisent une méthode similaire à celle d'un professeur de mathématiques strict.

L'étudiant pense à voix haute.
L'étudiant donne une réponse.
Le professeur vérifie le corrigé.
- Correct ? Vous recevez une étoile d'or (Récompense = 1).
- Faux ? Vous recevez une croix rouge (Récompense = 0).

Le Problème : Cela fonctionne très bien pour les mathématiques ou le codage où il y a une seule bonne réponse. Mais que se passe-t-il si vous demandez à l'étudiant d'écrire une longue histoire, un poème ou une preuve complexe où il n'y a pas de réponse unique « correcte » ? Vous ne pouvez pas donner une simple note de « Réussite/Échec ». De plus, si l'étudiant se trompe 99 % du temps, il ne reçoit jamais d'étoile d'or, et il cesse d'apprendre car le signal est trop rare.

La nouvelle idée : Le score de « Vraisemblance »

Les auteurs proposent une autre façon de noter. Au lieu de vérifier si la réponse est juste, ils vérifient à quel point l'étudiant est confiant dans sa propre réponse.

Voyez cela comme ceci :

L'ancienne méthode : « As-tu trouvé la bonne réponse ? Oui/Non. »
La nouvelle méthode : « Quelle était la probabilité que tu prononces exactement ces mots ? »

Si l'étudiant prononce exactement les mêmes mots que la réponse de référence dans les données d'entraînement, le professeur lui donne un score basé sur la log-probabilité (une façon mathématique de dire « à quel point étais-tu surpris que cela se produise ? »).

Si l'étudiant était très confiant et a dit les bons mots, il obtient un score élevé.
Si l'étudiant tâtonnait, il obtient un score faible.

La grande découverte : La « Log-Probabilité » est la clé magique

Les chercheurs ont testé de nombreuses façons d'utiliser ce score de « confiance ». Ils ont découvert qu'une méthode spécifique — utiliser la log-probabilité de la réponse de référence — était la seule qui fonctionnait partout.

Voici le détail de leurs découvertes en utilisant des analogies simples :

1. Le test de la « Réponse Courte » (Mathématiques et Codage)

La configuration : Problèmes courts avec une réponse claire (comme un quiz de mathématiques).
Le résultat : La méthode de la « Log-Probabilité » a fonctionné aussi bien que l'ancienne méthode « Réussite/Échec » pour obtenir la bonne réponse.
Le bonus : Cela a également rendu les réponses de l'étudiant beaucoup plus « naturelles » et moins saccadées. Tandis que l'ancienne méthode poussait l'étudiant à deviner de manière aléatoire pour obtenir une étoile d'or, la nouvelle méthode le rendait plus sûr de lui et plus fluide, même lorsqu'il se trompait.

2. Le test de l'« Essai Long » (Histoires et Preuves)

La configuration : Tâches longues et ouvertes où il n'y a pas de réponse unique.
Le problème avec les autres méthodes : Certaines méthodes utilisaient la « probabilité » simple (la chance brute d'avoir raison). Mais pour de longs essais, la chance de deviner les exacts bons mots est infime (comme gagner à la loterie). Le score devenait si petit qu'il était pratiquement nul, et l'étudiant arrêtait d'apprendre.
Le vainqueur : La méthode de la « Log-Probabilité » a géré cela parfaitement. Elle n'a pas planté. Elle a performé aussi bien que si le professeur avait simplement montré la réponse à l'étudiant en disant : « Mémorise ceci. »

3. La surprise de la « Pensée Courte »

L'une des découvertes les plus intéressantes concernait la durée de la réflexion de l'étudiant.

En utilisant la nouvelle récompense de « Log-Probabilité », l'étudiant a d'abord commencé à moins réfléchir. Il a raccourci sa « Chaîne de Pensée » (le processus de réflexion) à seulement quelques mots.
Pourquoi ? Le modèle a réalisé que, pour les premières étapes, un processus de pensée plus court et plus simple menait en fait à un meilleur score qu'un processus long et compliqué.
En Mathématiques : L'étudiant a fini par réapprendre à réfléchir plus longtemps au fur et à mesure qu'il progressait.
En Essais : L'étudiant est resté bref. Il a pratiquement arrêté de « penser à voix haute » pour donner la réponse directement, agissant comme un simple mémorisateur. L'article suggère que pour les tâches longues et ouvertes, le modèle effectue peut-être la « réflexion » à l'intérieur de son propre cerveau (couches cachées) plutôt que de l'écrire, et que forcer l'écriture d'une longue chaîne de pensée nuit en réalité à la performance.

Ce qu'il faut retenir

L'article conclut que l'utilisation de la log-probabilité comme récompense est un « traducteur universel » pour l'entraînement de l'IA.

Elle comble le fossé entre les tâches vérifiables (mathématiques) et les tâches non vérifiables (écriture).
Elle ne nécessite ni vérificateur spécial, ni corrigé.
Elle permet à l'IA d'apprendre à partir de n'importe quel jeu de données où une réponse de référence existe, qu'il s'agisse d'un court problème de mathématiques ou d'une longue preuve.

En résumé, au lieu de demander à l'IA « As-tu trouvé la bonne réponse ? », demander « À quel point étais-tu sûr de dire cela ? » est une façon plus simple et plus puissante d'enseigner le raisonnement à l'IA, couvrant tout, des énigmes mathématiques aux longs essais.

Résumé technique : Designs de récompenses basés sur la vraisemblance pour le raisonnement général des LLM

Énoncé du problème

Le réglage fin (fine-tuning) des grands modèles de langage (LLM) pour les tâches de raisonnement via l'apprentissage par renforcement (RL) repose généralement sur des fonctions de récompense binaires (0/1 pour la justesse) dérivées de vérités de terrain vérifiables (par exemple, des réponses mathématiques). Ce paradigme fait face à deux limitations principales :

Dépendance au design de la récompense : Il nécessite des vérificateurs spécifiques pour chaque benchmark, qui sont indisponibles pour les domaines non vérifiables comme les preuves de longue forme ou la génération ouverte.
Rareté de la récompense : Les récompenses binaires fournissent des signaux épars, ce qui peut entraver un apprentissage efficace, particulièrement dans les chaînes de raisonnement complexes.

Bien que des travaux récents aient proposé des récompenses intrinsèques ou des mécanismes d'auto-récompense, ceux-ci échouent souvent à surpasser l'entraînement basé sur la justesse ou souffrent de détournement de récompense (reward hacking) et d'effondrement de la diversité. De plus, les méthodes existantes utilisant la probabilité de réponses de référence (telles que VeriFree, JEPO, RLPR) ont montré des résultats mitigés, échouant particulièrement dans les contextes non vérifiables en raison des probabilités de disparition des séquences exactes et longues.

Méthodologie

Les auteurs étudient des récompenses basées sur la vraisemblance dérivées directement de la probabilité ou de la log-probabilité d'émettre une réponse de référence (ou toute continuation de prompt présente dans les données) étant donné une chaîne de pensée (Chain-of-Thought, CoT) générée. Cette approche évite les vérificateurs externes et exploite des signaux disponibles à grande échelle.

L'étude compare systématiquement plusieurs variantes de récompenses par rapport à des lignes de base standards (SFT sans CoT, et RL standard avec récompenses binaires) :

Base RL : RL standard utilisant une récompense binaire (1 si la réponse correspond à la vérité de terrain, 0 sinon).
Probabilité (VeriFree) : La récompense est égale à la probabilité brute $\pi_\theta(a^*|p, z)$ .
Log-prob : La récompense est égale à la log-probabilité $\log \pi_\theta(a^*|p, z)$ .
Log-prob moyenne : Log-probabilité normalisée par la longueur de la réponse ( $\frac{1}{|a^*|} \log \pi_\theta(a^*|p, z)$ ).
JEPO : Une variante de perte ELBO basée sur Jensen utilisant des récompenses au niveau du groupe.
SFT : Réglage fin supervisé standard prédisant directement la réponse sans CoT.

Les expériences utilisent l'algorithme RLOO (Reinforce Leave-One-Out) pour l'estimation de l'avantage. L'évaluation couvre :

Domaines vérifiables : Benchmarks MATH et DeepScaleR (problèmes à réponse courte).
Domaines non vérifiables : Alpaca et NuminaProof (réponses de longue forme et preuves de théorèmes).
Modèles : Llama-3.2-3B-Instruct et Qwen-2.5-3B-Instruct.

Contributions clés et résultats

1. Universalité des récompenses de log-probabilité

La conclusion centrale est que les récompenses de log-probabilité sont la seule variante qui performe de manière robuste dans tous les contextes.

Dans les domaines vérifiables : Les récompenses de log-prob atteignent des taux de succès comparables ou supérieurs aux lignes de base de RL binaire standard. Crucialement, elles produisent une perplexité nettement meilleure que le RL binaire, alignant l'objectif d'entraînement sur le critère de pré-entraînement (prédiction du prochain jeton).
Dans les domaines non vérifiables : Alors que les récompenses basées sur la probabilité (comme VeriFree) et le RL standard s'effondrent en raison des probabilités devenant quasi nulles de générer des correspondances exactes de longue forme, les récompenses de log-prob restent viables. Elles sont au même niveau que le réglage fin supervisé (SFT), là où d'autres méthodes basées sur la probabilité échouent à améliorer le modèle de base.

2. Le phénomène d'« effondrement de la CoT »

Une observation significative est le comportement de la longueur de la CoT pendant l'entraînement :

Contextes vérifiables : Les récompenses de log-prob provoquent d'abord un raccourcissement de la CoT, mais la longueur se rétablit au fur et à mesure que l'entraînement progresse.
Contextes non vérifiables : Les récompenses de log-prob mènent à un « effondrement » permanent de la CoT, réduisant la trace de raisonnement à une longueur minimale (environ 10 jetons). Dans ce régime, la méthode de log-prob se comporte effectivement comme un SFT.
Mécanisme : Les auteurs émettent l'hypothèse qu'au début de l'entraînement, des CoT plus courtes sont corrélées à des log-probabilités plus élevées de la réponse correcte (probablement parce que le modèle de base n'est pas encore adapté aux traces de raisonnement longues). Cette corrélation négative pousse l'agent de RL à raccourcir la CoT. Les tentatives de mitigation via la régularisation KL ou les pénalités de longueur ont empêché l'effondrement mais ont entraîné une dégradation des performances, suggérant que pour les domaines non vérifiables, le RL avec des récompenses de log-prob égale actuellement la performance du SFT uniquement en éliminant la CoT.

3. Comparaison avec d'autres méthodes

Probabilité vs Log-probabilité : Les récompenses de probabilité brute (VeriFree) échouent dans les contextes non vérifiables car la probabilité d'une correspondance exacte pour de longues réponses est proche de zéro, ne fournissant aucun signal d'apprentissage. La log-probabilité, étant une somme sur les jetons, fournit un signal plus dense qui ne disparaît pas aussi sévèrement.
Perplexité vs Taux de succès : Dans les domaines vérifiables, le RL binaire optimise le taux de succès mais dégrade la perplexité (le modèle devient « sûrement faux » sur les chemins incorrects). Les récompenses de log-prob optimisent les deux, maintenant une distribution moins confiante sur les réponses incorrectes, préservant ainsi une meilleure qualité globale de modélisation du langage.

Signification

Ce papier établit les récompenses de log-probabilité comme un signal d'entraînement unifié capable de faire le pont entre les tâches de raisonnement vérifiables et non vérifiables sans dépendre de labels de justesse externes.

Il démontre qu'un critère unique (maximiser la log-vraisemblance de la réponse de référence étant donné une CoT) peut être appliqué à tout le spectre des types de réponses, des problèmes mathématiques courts aux preuves de longue forme.
Il souligne un compromis : bien que les récompenses de log-prob améliorent la perplexité et la généralisabilité, elles ne surpassent actuellement pas le SFT dans les domaines non vérifiables, à moins que la CoT ne soit préservée (ce qui nécessite une étude plus approfondie de la dynamique d'entraînement ou de l'échelle de calcul).
Ce travail suggère que pour les domaines non vérifiables, le « problème d'attribution de crédit » du RL peut être trop sévère pour les CoT longues sous les budgets d'entraînement actuels, et que les bénéfices de la CoT dans ces contextes pourraient nécessiter un entraînement nettement plus long ou des stratégies d'initialisation différentes (par exemple, un pré-chauffage/warm-starting).

Les auteurs concluent que les récompenses de log-vraisemblance offrent une recette simple et générale pour le post-entraînement des LLM de raisonnement, valide pour divers types de réponses, bien que le mécanisme pour maintenir des CoT longues dans les contextes non vérifiables reste un défi ouvert.