🤖 machine learning

From Drift to Coherence: Stabilizing Beliefs in LLMs

Cet article démontre que, bien que les grands modèles de langage présentent initialement une dérive de croyance violant la propriété de martingale lors du rééchantillonnage autorégressif des réponses, ils finissent par s'auto-stabiliser en distributions prédictives cohérentes, un phénomène exploité pour proposer des stratégies de prompting et de réglage fin qui réduisent la dérive et améliorent la cohérence sans sacrifier la précision.

Auteurs originaux : SongEun Kim, Seungyoo Lee, Edwin Fong, Hyungi Lee, Juho Lee

Publié 2026-06-17

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : SongEun Kim, Seungyoo Lee, Edwin Fong, Hyungi Lee, Juho Lee

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un robot très intelligent et érudit (un grand modèle de langage ou LLM) à qui vous posez une question. Habituellement, vous vous attendez à ce qu'il donne une réponse et s'en tienne à son raisonnement. Mais cet article découvre quelque chose d'étrange : si vous demandez au robot de répondre à la même question encore et encore, de manière répétée, sa confiance vacille.

Voici l'histoire de la façon dont les auteurs ont corrigé ce vacillement, expliquée simplement.

Le Problème : Le « Cerveau Vacillant » du Robot

Considérez le cerveau du robot comme une personne essayant de deviner la météo.

L'Idéal : Si le robot était un penseur bayésien parfait (un terme sophistiqué pour désigner un devin probabiliste parfait), sa confiance devrait être stable. S'il pense qu'il y a 70 % de chances qu'il pleuve, ces 70 % ne devraient pas changer simplement parce qu'il y a réfléchi une seconde de plus.
La Réalité : Les auteurs ont découvert que lorsqu'ils demandaient au robot de générer une séquence de réponses à la même question, sa confiance interne dérivait.
- Analogie : Imaginez que vous demandiez à un ami : « Va-t-il pleuvoir ? ». Il répond : « Je suis sûr à 70 %. » Puis, sans regarder dehors à nouveau, vous lui posez la question immédiatement après. Il pourrait soudainement dire : « En fait, je ne suis sûr qu'à 50 %. » Puis vous lui demandez encore, et il dit : « Attendez, peut-être 80 % ! »
- Ce « vacillement » signifie que les croyances du robot sont instables à court terme. C'est comme une boussole qui tourne follement avant de finir par pointer le Nord.

La Découverte : Il finit par se Stabiliser

Les chercheurs ont remarqué quelque chose d'intéressant : si vous continuiez à demander au robot de répondre à la même question de nombreuses fois (comme 20 ou 30 fois de suite), le vacillement finissait par s'arrêter. La confiance du robot se stabilisait et se fixait sur un chiffre cohérent.

La Métaphore : C'est comme secouer un bocal de billes mélangées. Au début, les couleurs tourbillonnent de manière chaotique. Mais si vous laissez le bocal reposer, les billes se déposent, et vous pouvez enfin voir le véritable ratio de couleurs. Le robot a besoin d'une « période de stabilisation » (appelée phase de burn-in) pour trouver sa véritable croyance.

La Solution : Deux Astuces pour Arrêter le Vacillement

Le problème est que attendre que le robot se stabilise prend beaucoup de temps et consomme beaucoup de puissance informatique. Les auteurs ont trouvé deux façons de rendre le robot stable immédiatement.

1. L'Astuce de la « Mise en Train » (Ensemencement de Réponses)

Au lieu de demander au robot de commencer à froid, les auteurs lui donnent d'abord une liste de réponses de « mise en train ».

Comment ça marche : Ils demandent au robot de générer quelques réponses aléatoires à la question une seule fois, puis ils réinjectent ces réponses dans le robot en tant que partie intégrante du prompt avant de lui demander de commencer la véritable séquence.
L'Analogie : C'est comme un musicien qui accorde son instrument avant un concert. Au lieu de commencer la chanson avec une note stridente et désaccordée, il joue quelques notes rapides pour régler la hauteur du son. Le robot utilise ces réponses « graines » pour passer directement dans la zone stable, sautant ainsi le vacillement chaotique du début.

2. L'Astuce de l'« Entraînement » (Perte de Cohérence Propre)

Les auteurs ont également appris au robot à être stable en modifiant sa façon d'apprendre.

Comment ça marche : Ils ont créé une leçon mathématique spéciale (une « fonction de perte ») où ils montraient au robot ses propres réponses futures. Ils ont dit au robot : « Ta réponse en ce moment doit correspondre à ce que tu diras dans 5 étapes. »
L'Analogie : Imaginez un étudiant qui devient habituellement nerveux et change d'avis pendant un examen. Le professeur lui donne une règle : « Ce que tu écris à la question n°1, tu dois être capable de le défendre lorsque tu arriveras à la question n°10. » En pratiquant cette règle, l'étudiant apprend à être cohérent dès la toute première seconde, afin de ne pas avoir besoin de « vaciller » pour trouver sa confiance plus tard.

Les Résultats

Lorsqu'ils ont testé ces astuces sur des questions à choix multiples standards (comme des quiz de bon sens ou de science) :

Moins de Vacillement : La confiance du robot a cessé de dériver et est restée cohérente.
Meilleure Estimation : Le robot est devenu meilleur pour savoir à quel point il était sûr de ses réponses (étalonnage/calibration).
Même Précision : Crucialement, rendre le robot plus stable ne l'a pas rendu moins intelligent. Il obtenait toujours les bonnes réponses aussi souvent qu'avant, mais il était désormais plus fiable quant à savoir quand il avait raison.

L'Essentiel à Retenir

L'article montre que, bien que les modèles d'IA commencent souvent avec un système de croyances « vacillant » lors de la génération de séquences, ils cherchent naturellement la cohérence. En utilisant un peu de données de « mise en train » ou en les entraînant à correspondre à leur futur « moi », nous pouvons les rendre stables et fiables immédiatement, sans avoir besoin d'attendre qu'ils se stabilisent d'eux-mêmes.

Résumé Technique : De la dérive à la cohérence : Stabiliser les croyances dans les LLM

Formulation du problème
Il est fréquemment hypothétisé que les grands modèles de langage (LLM) effectuent une inférence bayésienne implicite, particulièrement dans le contexte de l'apprentissage en contexte (ICL). Une condition critique pour une telle cohérence bayésienne est la propriété de martingale des croyances prédictives : l'espérance des croyances futures, conditionnée par l'historique actuel, doit être égale à la croyance actuelle. Des travaux antérieurs par Falck et al. (2024) ont démontré que les LLM violent cette propriété dans des contextes synthétiques contrôlés (par exemple, la génération de nombres aléatoires), suggérant qu'ils ne sont pas généralement bayésiens. Cependant, ces tâches synthétiques occultent la distribution prédictive réelle du modèle et peuvent ne pas refléter les régimes d'utilisation typiques.

Cet article étudie si les LLM présentent des violations de la martingale dans un cadre plus pratique : les questions à choix multiples (MCQA) génériques. Les auteurs définissent le processus prédictif comme une séquence de réponses générées de manière autorégressive pour une requête fixe. Ils observent que, bien que les LLM finissent par se stabiliser, ils présentent une dérive initiale des croyances significative où la distribution prédictive change systématiquement durant les premières étapes d'échantillonnage, violant ainsi la propriété de martingale. Cette dérive implique que l'état de croyance interne du modèle n'est pas immédiatement cohérent, nécessitant une période de « chauffe » (burn-in) pour atteindre une distribution limite stable.

Méthodologie
Les auteurs proposent un cadre pour analyser et corriger cette dérive en utilisant la nature discrète des espaces de réponses des MCQA, ce qui permet le calcul exact des distributions prédictives sans approximations par échantillonnage.

Rééchantillonnage Prédictif Prompté (PPR) : Le protocole expérimental central consiste à instruire un LLM de générer une séquence de réponses à la même question de manière répétée. Cela crée un processus prédictif dépendant de l'historique $\theta_n(x_Q)$ , où le modèle se conditionne sur ses propres sorties précédentes.
Ensemencement de Réponses (Answer Seeding) : Pour atténuer la dérive initiale, les auteurs introduisent une stratégie de prompting où le modèle reçoit d'abord une courte séquence de réponses « semences » échantillonnées de manière i.i.d. à partir de la distribution standard du modèle (sans instructions de rééchantillonnage). Ces semences agissent comme un résumé « champ moyen » de l'incertitude du modèle, guidant le processus génératif vers un régime stable plus rapidement.
Amortissement de Martingale (Perte de Consistance de Soi) : Pour éliminer le coût de calcul des longues séquences de rééchantillonnage ou de l'ensemencement externe lors de l'inférence, les auteurs proposent un objectif de fine-tuning appelé perte de Consistance de Soi (SC loss). Cette perte minimise la divergence entre les prédictions à court horizon du modèle et ses prédictions à long horizon (approximées via des rollouts de Monte Carlo). En entraînant le modèle à correspondre à ses propres statistiques marginales futures, la perte SC « amortit » le processus de stabilisation, permettant au modèle de produire immédiatement une distribution de croyance cohérente (zero-shot) sans nécessiter de phase de chauffe.

Contributions Clés

Caractérisation empirique de la dérive : L'article fournit des preuves empiriques que, bien que les LLM violent la propriété de martingale lors des premières étapes du rééchantillonnage prédictif, ils se stabilisent spontanément après un nombre suffisant d'étapes, convergeant vers une distribution prédictive cohérente (un postérieur de martingale).
Mécanismes de stabilisation : Les auteurs introduisent deux méthodes pour atteindre la cohérence :
- Au moment de l'inférence : L'ensemencement de réponses, qui réduit la période de chauffe en fournissant un contexte stochastique.
- Au moment de l'entraînement : La perte SC, qui apprend au modèle à intérioriser la stabilité, réduisant efficacement l'horizon de convergence.
Justification théorique : L'article établit que la minimisation de la perte SC garantit que le processus prédictif approche d'une martingale approximative, à condition que la classe de modèles soit suffisamment expressive. Les bornes théoriques montrent que la violation résiduelle de la martingale est proportionnelle à la valeur de la perte SC.

Résultats
Des expériences ont été menées sur des benchmarks MCQA standards (CSQA, AI2-ARC, TinyMMLU) en utilisant des modèles ajustés par instruction (LLAMA-3.1-8B et OLMO-3-7B).

Réduction de la dérive : L'ensemencement de réponses et l'entraînement par perte SC ont tous deux considérablement réduit la Dérive de Martingale Attendue (EMD). La perte SC (AM-PPR) a systématiquement surpassé le PPR standard, atteignant des valeurs de dérive plus faibles sur tous les jeux de données et modèles.
Calibration et Précision : Les distributions prédictives stabilisées ont démontré une meilleure calibration de l'incertitude (plus faible erreur de calibration attendue et score de Brier) par rapport aux baselines de requête directe standard et au PPR non stabilisé. Crucialement, ces améliorations de la cohérence et de la calibration ont été obtenues sans sacrifier la précision prédictive.
Efficacité : La méthode AM-PPR a permis au modèle d'accéder immédiatement à son état de croyance stable (en utilisant la distribution du premier jet/token), éliminant le besoin de longs rollouts coûteux en calcul ou de génération de semences auxiliaires lors de l'inférence.

Signification et Revendications
L'article affirme que les LLM pratiques présentent une dérive de croyance transitoire qui peut être substantiellement réduite grâce à des stratégies spécifiques de prompting et d'entraînement. En opérationnalisant la cohérence de type martingale, les auteurs démontrent qu'il est possible d'améliorer la fiabilité et la calibration de l'incertitude des LLM dans des tâches de raisonnement à enjeux élevés sans compromettre la précision.

Les auteurs notent modestement que la réduction des violations de martingale est une condition nécessaire mais non suffisante pour une inférence pleinement bayésienne et bien calibrée ; les croyances stabilisées restent cohérentes en interne mais ne garantissent pas la justesse factuelle ou l'alignement avec la vérité terrain. De plus, la méthode repose actuellement sur le prompt engineering pour eliciter un comportement de rééchantillonnage séquentiel. L'article conclut que, bien que le cadre ait été validé sur des MCQA discrets, il est intrinsèquement extensible à des trajectoires de raisonnement plus riches (par exemple, le Chain-of-Thought), suggérant une voie prometteuse pour la stabilisation des chemins de pensée stochastiques dans des scénarios de raisonnement complexes.