🤖 AI

Privileged Likelihood Is Not Automatically Value: Three Checks for Token Credit in On-Policy Self-Distillation

Cet article soutient que les changements de vraisemblance des jetons privilégiés dans l'auto-distillation on-policy ne constituent pas automatiquement un crédit de résultat valide, démontrant, par une analyse formelle et des expériences empiriques, que de tels signaux échouent souvent à suivre de meilleures actions ou à renforcer les comportements souhaités par rapport aux contrôles basés uniquement sur le résultat.

Auteurs originaux : Xuan-Phi Nguyen, Shrey Pandit, Yiran Zhao, Anurag Koul, Zeyu Liu, Shafiq Joty

Publié 2026-08-11

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xuan-Phi Nguyen, Shrey Pandit, Yiran Zhao, Anurag Koul, Zeyu Liu, Shafiq Joty

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot comment résoudre une énigme mathématique complexe. Vous lui présentez le problème, et il commence à taper ses pensées, étape par étape. À la toute fin, vous pouvez facilement dire si le robot a trouvé la bonne réponse : soit il a raison, soit il a tort. Mais qu'en est-il des étapes intermédiaires ? Le robot a-t-il fait un coup de génie à l'étape trois, ou a-t-il trébuché à l'étape cinq ? Dans le monde de l'intelligence artificielle, c'est un immense mystère. Nous connaissons le résultat final, mais nous ne savons pas quels mots spécifiques (ou « tokens ») écrits par le robot étaient les héros et lesquels étaient les méchants.

Pour corriger cela, des chercheurs ont tenté une astuce ingénieuse appelée « auto-distillation privilégiée ». Imaginez un étudiant passant un examen, puis recevant immédiatement une fiche de référence qui explique exactement ce qu'il aurait dû faire. L'étudiant regarde ensuite sa propre réponse, lit la fiche de référence, et essaie de comprendre quels mots qu'il a écrits étaient bons et lesquels étaient mauvais. L'espoir est qu'en récompensant les « bons » mots et en punissant les « mauvais », le robot deviendra plus intelligent plus rapidement. Mais voici le piège : ce n'est pas parce qu'un mot semble bon après que vous connaissez la réponse qu'il a réellement aidé à y parvenir. Il se peut qu'il s'agisse simplement d'un mot qui sonne bien quand on regarde en arrière avec le recul.

Ce document de Salesforce AI Research est comme un groupe de détectives sceptiques qui débarquent dans la salle de classe pour vérifier si cette méthode de la « fiche de référence » fonctionne réellement ou s'il s'agit d'un tour de magie qui trompe l'enseignant. Ils ont mis en place une expérience rigoureuse pour voir si le robot apprend réellement les bonnes leçons ou s'il ne fait que mémoriser les mauvises.

Le casse du « recul » (Hindsight Heist)

Les chercheurs ont décidé de mettre la méthode de l'« auto-distillation privilégiée » à l'épreuve ultime en utilisant un modèle d'IA de 20 milliards de paramètres (un robot très intelligent) et un ensemble de problèmes mathématiques difficiles appelés AIME 2025. Leur objectif était de répondre à trois questions spécifiques qui déterminent si cette méthode d'enseignement est réellement utile ou simplement une perte de temps.

Question 1 : Le détecteur de « bons mots » trouve-t-il réellement les bons mots ?
Imaginez un détective essayant de trouver le coupable. Si le détective pointe un suspect du doigt, ce suspect a-t-il réellement un mobile ? Les chercheurs ont vérifié si le « score » de l'IA (le nombre qu'elle attribue à un mot pour dire à quel point il était bon) correspondait réellement aux réponses correctes. Ils ont découvert que le score revenait pratiquement à deviner au hasard. Lorsqu'ils ont examiné des milliers de tentatives mathématiques, le score était à peine meilleur qu'un lancer de pièce pour distinguer une solution correcte d'une solution incorrecte. En fait, après avoir ajusté selon la longueur des réponses, le score aimait même légèrement plus les mauvaises réponses que les bonnes ! C'est comme un enseignant qui, après avoir corrigé un examen, donne une étoile d'or à l'élève qui a tout faux parce que son écriture est jolie.

Question 2 : Le robot a-t-il rédigé son propre bulletin de notes ?
C'est la partie sournoise. Dans de nombreuses expériences, l'IA génère une réponse, puis la même IA (ou une version de celle-ci) rédige une critique de cette réponse. Les chercheurs craignaient qu'il ne s'agisse d'une boucle de complaisance envers soi-même. Si vous rédigez votre propre bulletin de notes, vous pourriez être trop gentil avec vous-même. Pour corriger cela, ils ont essayé une méthode de « cross-fitting » (ajustement croisé) : ils ont fait en sorte que l'IA rédige une critique pour la réponse d'une autre IA au même problème. Cela brise la boucle. Mais même avec cette correction, les scores ne prédisaient toujours pas de manière fiable quelles réponses étaient correctes. Le feedback était tout aussi confus qu'auparavant. Il s'avère que le fait de pouvoir raconter une belle histoire sur une solution ne signifie pas que la solution est réellement bonne.

Question 3 : Que se passe-t-il lorsque le robot essaie d'apprendre de ces scores ?
Enfin, ils ont demandé : même si les scores sont bizarres, que se passe-t-il lorsque le robot essaie de les utiliser pour s'améliorer ? Ils ont entraîné le robot en utilisant cinq versions différentes de cette méthode de « crédit par token » et l'ont comparé à un robot qui apprenait uniquement à partir de la réponse finale (vrai ou faux). Les résultats ont été une déception massive pour les partisans du « crédit par token ». Chaque robot ayant essayé d'utiliser les scores de tokens sophistiqués a fini par être moins performant que le robot qui s'en tenait au simple feedback vrai/faux.

Le robot simple a réussi environ 64,2 % des réponses.
Les robots sophistiqués utilisant les scores de tokens n'ont réussi qu'entre 24,2 % et 33,9 %.

C'est comme si le robot qui a tenté d'analyser chaque étape de sa réflexion s'était confondu et avait oublié comment résoudre le problème, tandis que le robot qui regardait simplement le résultat final continuait de s'améliorer.

Le verdict

Le document conclut qu'un « score de probabilité de token » — un nombre qui dit qu'un mot est plus probable en raison d'une fiche de référence — n'est pas automatiquement précieux. Ce n'est pas parce qu'un mot devient plus probable après que vous avez vu la réponse que ce mot était la clé de la solution.

Les chercheurs ont constaté que :

Les scores ne suivaient pas le succès ; ils étaient essentiellement du bruit aléatoire.
Que le feedback provienne de la même réponse ou d'une autre ne réglait pas magiquement le problème.
Utiliser ces scores pour entraîner le modèle le rendait en fait moins bon, l'éloignant des bonnes réponses.

En bref, l'article soutient que nous ne pouvons pas simplement supposer que « ce qui semble bon avec le recul » est « ce qui est réellement utile ». Avant de commencer à accorder du crédit à chaque mot qu'un modèle d'IA tape, nous devons vérifier trois choses : le score correspond-il réellement au résultat ? Le feedback est-il juste et indépendant ? Et l'entraînement rend-il réellement le modèle plus intelligent ? Dans cette expérience spécifique, la réponse à toutes ces questions a été un « non » retentissant. La méthode sophistiquée consistant à donner du crédit à chaque mot a échoué, et la vieille méthode consistant à simplement vérifier la réponse finale a été la grande gagnante.

Résumé Technique : La Vraisemblance Privilégiée n'est pas Automatiquement une Valeur

Énoncé du Problème

Dans l'auto-distillation on-policy pour les grands modèles de langage (LLM), les chercheurs tentent souvent d'attribuer un crédit au niveau du jeton (token) en utilisant des informations « privilégiées » disponibles uniquement pendant l'entraînement (par exemple, des solutions de référence, des critiques rétrospectives ou des retours d'environnement) pour re-scorer les déploiements (rollouts) d'un modèle. L'hypothèse centrale est que si un jeton devient plus probable lorsqu'il est conditionné par une information privilégiée, il représente une étape « correcte » ou « utile ».

Cependant, cet article soutient qu'un changement de vraisemblance d'un jeton (vraisemblance privilégiée) n'est pas automatiquement équivalent à un crédit d'action (valeur d'action). Les auteurs identifient une lacune critique : un score de vraisemblance de jeton peut être structurellement bien formé et actif sans pour autant suivre réellement le succès de la tâche ou induire des mises à jour de paramètres utiles. L'article cherche à séparer formellement trois questions distinctes qui sont souvent confondues dans les méthodes d'auto-distillation existantes :

Le score suit-il le succès de la tâche ?
Les déploiements sont-ils comparés sous une règle de notation cohérente ?
Quel comportement la perte d'entraînement renforce-t-elle ?

Méthodologie et Cadre

Les auteurs proposent un cadre formel pour analyser l'auto-distillation privilégiée, en distinguant les scores de vraisemblance de jeton et les valeurs d'action.

Définitions Formelles

Score de Vraisemblance Privilégiée ( $d$ ) : Mesure comment la probabilité d'un jeton $v$ par un scoreur change lorsque le contexte textuel passe d'un contexte de base $c^-$ à un contexte privilégié $c^+$ (par exemple, une critique).
$d(s, v) = \log q(v | s, c^+) - \log q(v | s, c^-)$
Valeur d'Action ( $Q^\pi_U$ ) : L'utilité terminale attendue si le jeton suivant est défini comme $v$ et que la génération se poursuit sous la politique $\pi$ .

L'article établit que $d$ et $Q^\pi_U$ ne sont pas intrinsèquement équivalents. Pour que $d$ représente $Q^\pi_U$ , des conditions spécifiques (telles que l'équivalence positive-affine) doivent être remplies, ce qui n'est pas garanti par les critiques textuelles libres.

Les Trois Vérifications

La méthodologie s'articule autour de trois questions diagnostiques spécifiques :

Q1 : La préférence de l'enseignant suit-elle le succès de la tâche ?
L'article examine si les jetons favorisés par le contexte privilégié mènent réellement à de meilleurs résultats finaux. Il distingue la justesse du classement de l'identification de la valeur spécifique d'une action de jeton. Les auteurs prouvent que les rapports de vraisemblance ne représentent un crédit principled que si les variables de conditionnement sont des conditionnels d'issue cohérents dérivés d'une distribution jointe, ce qui n'est souvent pas le cas des critiques textuelles libres.
Q2 : Les déploiements sont-ils comparés sous la même règle de notation ?
Les auteurs soulignent un problème d'« auto-dépendance » : si un déploiement $Y$ génère son propre feedback $C(Y)$ , et que $Y$ est ensuite scoré par $C(Y)$ , le score mesure à la fois la qualité de la solution et la correspondance entre $Y$ et sa propre description. Pour y remédier, ils introduisent le cross-fitting (ajustement croisé), où le feedback est généré à partir d'un autre déploiement du même problème (un donneur) pour scorer le déploiement cible. Cela élimine l'auto-dépendance directe mais ne garantit pas que le score soit utile.
Q3 : Quel comportement la perte d'entraînement renforce-t-elle ?
Même si un score suit le succès, la perte d'entraînement détermine comment ce score met à jour le modèle. L'article analyse comment différentes fonctions de perte (par exemple, Forward KL, Reverse KL, récompenses bornées) transforment les scores de jetons en gradients de paramètres. Ils démontrent que les invariants scalaires (comme la préservation du signe ou du poids total d'un score) ne garantissent pas une direction de mise à jour de paramètre utile, surtout lorsque le modèle est confiant dans un jeton.

Configuration Expérimentale

Modèle : gpt-oss-20b (20 milliards de paramètres).
Jeu de données : AIME 2025 (problèmes de la Mathematical Association of America).
Génération de Feedback : Un juge LLM externe lit le problème, la solution de référence, le résultat du vérificateur et la trace complète pour écrire une explication « utile » ( $C^+$ ) et un contrepartie « plausible mais incorrecte » ( $C^-$ ).
Scoring : Un checkpoint gelé ou antérieur du modèle calcule les différences de vraisemblance de jeton basées sur ces textes de feedback.
Variantes d'Entraînement : L'étude compare un contrôle de résultat uniquement (utilisant uniquement les étiquettes de correction finale) contre cinq variantes incorporant des scores de jetons (variantes additives avec pondération d'entropie, de clipping de source, et des variantes régularisées par KL).

Résultats Clés

Les expériences fournissent des preuves concrètes que les scores de vraisemblance privilégiée échouent souvent à agir comme un crédit d'issue utile dans ce contexte.

Résultats Q1 (Suivi du Succès) :
- Le score de jeton additif implémenté a performé proche de la chance pour distinguer les trajectoires correctes des incorrectes.
- AUC (Aire Sous la Courbe) : 0.505 (IC 95 % : [0.483, 0.524]), ce qui est statistiquement indiscernable d'un choix aléatoire (0.5).
- Après ajustement selon la longueur de la réponse, le score a légèrement favorisé les trajectoires incorrectes (AUC = 0.474).
- Les résidus de l'enseignant unidirectionnels étaient négatifs pour les déploiements corrects et incorrects, indiquant que l'enseignant dé-score les deux, mais moins pour les corrects.
Rés Résultats Q2 (Construction du Feedback) :
- La suppression de l'auto-dépendance via le cross-fitting (feedback tenu à l'écart) n'a pas amélioré la capacité du score à suivre les issues. L'AUC pour le feedback masqué tenu à l'écart est restée proche de la chance (0.512 brut, 0.485 ajusté selon la longueur).
- Les scores dérivés du « propre déploiement » (own-rollout) semblaient plus forts (AUC ~0.588) mais ont montré être auto-dépendants, mesurant la correspondance entre la solution et sa propre critique plutôt que l'utilité objective.
Résultats Q3 (Comportement d'Entraînement) :
- Dégradation de la Performance : Les cinq variantes d'entraînement par score de jeton ont significativement sous-performé le contrôle de résultat uniquement.
- Écart d'Exactitude : Le contrôle de résultat uniquement a atteint 64,2 % d'exactitude (avg@4). Les variantes de score de jeton ont atteint des exactitudes allant de 24,2 % à 33,9 %, représentant une chute de performance de 30,4 à 40,0 points de pourcentage par rapport au contrôle.
- Mécanisme : Les variantes de score de jeton se sont déplacées vers une entropie de jeton plus élevée et une divergence KL plus élevée par rapport à la politique de référence, alors que le contrôle de résultat uniquement a amélioré l'exactitude sans ces changements. Les scores de jetons semblaient renforcer des jetons non pertinents à haute entropie plutôt que des étapes de raisonnement correctes.

Contributions Clés

Distinction Formelle : L'article fournit un cadre formel séparant les scores de vraisemblance de jeton des valeurs d'action, prouvant que les changements de vraisemblance n'impliquent pas automatiquement un crédit d'issue.
Cadre des Trois Vérifications : Il organise l'évaluation de l'auto-distillation privilégiée en trois vérifications distinctes (suivi du succès, construction du feedback et comportement de la perte), démontant que réussir l'une n'implique pas de réussir les autres.
Preuves Théoriques :
- Prouve que le terme d'information mutuelle conditionnelle dans la décomposition de la forward-KL est constant par rapport à l'étudiant sous des cibles fixes, ce qui signifie qu'il ne s'agit pas d'un gradient de tâche.
- Démontre que la préservation du signe scalaire ou du poids total des scores de jetons ne préserve pas le gradient de paramètre attendu.
Démonstration Empirique : En utilisant des expériences appariées sur AIME 2025, l'article montre qu'un signal de vraisemblance privilégiée structurellement sain peut être actif tout en fournissant une utilité nulle ou négative, menant à une dégradation significative de la performance par rapport à l'entraînement par résultat uniquement.

Signification et Revendications

L'article affirme que la vraisemblance privilégiée n'est pas automatiquement une valeur. Les auteurs soulignent que traiter un signal de vraisemblance comme un crédit nécessite une validation rigoureuse de :

Si le score suit réellement le succès de la tâche.
Si la construction du feedback évite les boucles d'auto-dépendance.
Si la perte d'entraînement spécifique renforce le comportement souhaité.

Les auteurs déclarent modestement que ces résultats ne prouvent pas que toutes les méthodes d'auto-distillation échouent, mais plutôt que le mécanisme spécifique d'utilisation de la vraisemblance privilégiée comme signal de crédit direct est fragile et souvent inefficace sans passer par les trois vérifications. Les conclusions suggèrent que les méthodes réussies doivent explicitement valider l'alignement entre le signal de vraisemblance et l'issue de la tâche, plutôt que de supposer que la préférence de l'enseignant sous l'effet de l'hindsight est un substitut de la contribution.

L'article conclut que si les distinctions formelles s'appliquent de manière générale, les résultats numériques sont spécifiques à la configuration gpt-oss-20b et AIME 2025. Cependant, les modes de défaillance identifiés (auto-dépendance, désalignement du gradient induit par la perte, et absence de suivi de l'issue) servent de diagnostics critiques pour la recherche future dans l'auto-distillation on-policy.