💬 NLP

Inference Time Optimization with Confidence Dynamics

Ce papier présente la Confiance à Gain Dynamique (CDG), une nouvelle méthode d'optimisation au moment de l'inférence qui exploite les schémas distincts de trajectoires de confiance des traces de raisonnement correctes par rapport aux incorrectes pour améliorer considérablement la sélection de réponses et les performances sur plusieurs grands modèles de langage et des benchmarks mathématiques.

Auteurs originaux : Yu Wang, Minghao Liu, Jiayun Wang, Jinrui Huang, Ankit Shah, Wei Wei

Publié 2026-05-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yu Wang, Minghao Liu, Jiayun Wang, Jinrui Huang, Ankit Shah, Wei Wei

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous demandiez à un étudiant très intelligent, mais parfois trop confiant, de résoudre un problème de mathématiques difficile. Vous lui demandez d'essayer de le résoudre 500 fois dans sa tête, en écrivant chaque étape de sa réflexion pour chaque tentative. Ensuite, vous devez choisir la seule meilleure réponse parmi ces 500 tentatives.

Traditionnellement, vous utiliseriez simplement un « vote majoritaire ». Si 200 étudiants disent que la réponse est « 42 » et 199 disent « 43 », vous choisissez « 42 », en supposant que la foule a généralement raison. Mais que se passe-t-il si les 199 étudiants qui ont dit « 43 » étaient en réalité beaucoup plus sûrs d'eux-mêmes à la fin, tandis que les 200 étudiants qui ont dit « 42 » étaient confiants au début mais sont devenus confus et incertains au fil du temps ?

Ce papier présente une nouvelle méthode pour désigner le gagnant, appelée Gain Dynamique de Confiance (CDG). Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le Problème : La « Fiche de Notes » Statique

Les méthodes actuelles examinent la confiance finale d'un étudiant comme une simple photo instantanée. Elles pourraient demander : « En moyenne, à quel point étiez-vous sûr ? » ou « À quel point étiez-vous sûr à la toute fin ? »

Le Défaut : Cela ignore le parcours. Un étudiant pourrait commencer très confiant, réaliser à mi-parcours qu'il a fait une erreur, et finir très incertain. Un autre étudiant pourrait commencer incertain, travailler la logique, et finir très confiant. Les méthodes traditionnelles manquent souvent cette différence.

2. La Découverte : La « Courbe de Confiance »

Les chercheurs ont observé 500 chemins de réflexion différents (traces) pour le même problème à travers plusieurs modèles d'IA différents. Ils ont remarqué un schéma surprenant :

Le Chemin Correct : Lorsque l'IA obtient la bonne réponse, sa confiance croît généralement au fur et à mesure qu'elle passe de la première étape à la dernière. Elle commence par un « peut-être » et finit par un « définitivement ».
Le Chemin Incorrect : Lorsque l'IA obtient une mauvaise réponse, sa confiance diminue souvent ou reste plate. Elle pourrait commencer confiante, mais au fur et à mesure qu'elle raisonne davantage, elle devient « dubitative » ou confuse, même si elle produit toujours une mauvaise réponse.

L'Analogie : Pensez-y comme un randonneur qui grimpe une montagne.

Le Randonneur Correct : Commence au pied (faible confiance), trouve le bon sentier, et à mesure qu'il monte, la vue devient plus claire, et il devient plus sûr d'être sur le bon chemin.
Le Randonneur Incorrect : Commence au pied, prend un mauvais tournant, et à mesure qu'il monte, le chemin devient brumeux et confus. Il réalise qu'il est perdu, mais il continue de marcher quand même, finissant au mauvais sommet avec une faible confiance.

3. La Solution : Le Score de « Gain Dynamique »

Le papier propose un nouveau système de vote qui ne se contente pas de compter les voix ; il examine le changement de confiance.

Fonctionnement : Pour chaque réponse, le système calcule le « Gain Dynamique de Confiance ». C'est simplement : (Confiance à la Fin) moins (Confiance au Départ).
La Règle : Si la confiance d'une réponse a augmenté de manière significative au cours du processus de réflexion, elle reçoit un score bonus. Si la confiance a diminué, elle est pénalisée.

4. Le Résultat : Un Meilleur Gagnant

Lorsque les chercheurs ont testé cela sur des compétitions mathématiques difficiles (comme l'AIME et le HMMT), cette nouvelle méthode a choisi la bonne réponse plus souvent que l'ancien « vote majoritaire » ou d'autres méthodes de vérification de la confiance.

Elle a réussi à filtrer les « hallucinations » (réponses qui sonnent confiantes mais sont fausses) car ces mauvaises réponses montraient souvent une baisse de confiance à mesure que le raisonnement devenait complexe.
Elle a boosté les bonnes réponses car elles montraient une montée régulière de la certitude.

Pourquoi Cela Se Produit-il ? (La Théorie)

Les auteurs suggèrent que cela se produit en raison de la façon dont ces modèles d'IA sont entraînés.

L'Effet « Groupe » : Lorsque le modèle est entraîné, il apprend qu'il n'y a qu'une seule réponse correcte (la vérité terrain). Ainsi, tous les chemins de réflexion « corrects » convergent éventuellement vers cette même réponse unique, rendant le modèle très confiant à la fin.
Les Chemins Incorrects « Désordonnés » : Il existe une infinité de façons de se tromper. Les chemins de réflexion « incorrects » sont dispersés et diversifiés. Parce qu'ils ne mènent pas tous au même endroit faux, le modèle ne reçoit jamais un signal fort et unifié pour être confiant à la fin. Il reste confus ou perd sa confiance.

Résumé

En bref, ce papier nous apprend que la façon dont la confiance d'une IA évolue dans le temps est un meilleur indicateur de vérité que simplement le niveau de confiance à la fin. En récompensant les réponses qui « mûrissent » dans leur certitude et en pénalisant celles qui « perdent leur chemin », nous pouvons obtenir de bien meilleurs résultats de la part du raisonnement de l'IA sans avoir besoin de réentraîner les modèles.

Résumé technique : Optimisation du temps d'inférence par la dynamique de confiance

Énoncé du problème

Bien que les techniques d'optimisation au moment de l'inférence, telles que l'échantillonnage Best-of-N et l'échantillonnage répété, aient considérablement amélioré les capacités de raisonnement des grands modèles de langage (LLM), les stratégies existantes négligent souvent le rôle crucial de la dynamique de l'incertitude du modèle. Les approches actuelles les plus avancées, telles que le vote majoritaire ou le vote pondéré par la confiance (par exemple DeepConf), reposent sur des mesures de confiance statiques qui agrègent les informations sur l'ensemble d'une trace de raisonnement (par exemple, la perplexité moyenne ou la probabilité au niveau de la séquence). Ces méthodes traitent toutes les traces de manière égale ou les pondèrent en fonction d'un score agrégé unique, risquant ainsi d'obscurcir des signaux précieux concernant l'évolution de la certitude d'un modèle pendant le processus de raisonnement. L'article postule que la trajectoire de la confiance, du début à la fin d'une chaîne de raisonnement, contient des informations discriminatives actuellement sous-utilisées pour la sélection de la réponse.

Méthodologie : Gain dynamique de confiance (CDG)

L'article introduit le Gain dynamique de confiance (CDG), un mécanisme de vote novateur qui intègre explicitement l'évolution de la confiance le long d'une trajectoire de raisonnement.

1. Observation empirique

Grâce à des expériences extensives sur quatre architectures open-source diversifiées (DeepSeek-R1, gpt-oss, Gemma-3, Qwen-QwQ) et sur des benchmarks mathématiques (AIME, HMMT, BRUMO), les auteurs ont identifié un motif unique :

Traces correctes : Elles présentent un gain de confiance positif systématique, où la confiance du modèle augmente à mesure que la chaîne de raisonnement progresse, des tokens initiaux jusqu'à la conclusion finale.
Traces incorrectes : Elles présentent des gains de confiance atténués ou négatifs, montrant une confiance en déclin ou stagnante à mesure que le raisonnement avance.

2. Métrique de confiance et discrétisation de la trajectoire

Pour quantifier cela, les auteurs définissent la confiance au niveau du token ( $C_t$ ) en utilisant une approximation tronquée de la divergence de Kullback-Leibler (KL) basée sur les probabilités des $K$ premiers tokens. Pour comparer des traces de longueurs variables, ils emploient une approche de discrétisation normalisée par position :

Chaque trace est partitionnée en $N$ intervalles de taille égale (par défaut $N=10$ ).
L'intervalle « Tête » représente les $P\%$ premiers tokens, et l'intervalle « Queue » représente les $P\%$ derniers tokens.
Le Gain dynamique de confiance ( $\Delta C_\ell$ ) est calculé comme la différence entre la confiance moyenne de l'intervalle Queue et celle de l'intervalle Tête :
$\Delta C_\ell = \bar{C}_{tail} - \bar{C}_{head}$
Un $\Delta C_\ell$ positif indique une confiance croissante ; une valeur négative indique une confiance décroissante.

3. L'algorithme de vote CDG

Le score final de sélection de réponse ( $s_\ell$ ) pour une trace $\ell$ combine la confiance moyenne de la trace ( $\bar{C}_\ell$ ) avec le gain dynamique :
$s_\ell = \bar{C}_\ell + \beta \cdot \Delta C_\ell$
Ici, $\beta$ est un hyperparamètre contrôlant l'influence du signal dynamique.

Le score final pour une réponse candidate $a$ agrège ces scores de traces, en incorporant un facteur d'atténuation du comptage pour empêcher le vote majoritaire d'écraser le signal de confiance :
$R(a) = |T_a|^\alpha \cdot \mu_a(s_\ell)$
Où $|T_a|$ est le nombre de traces pour la réponse $a$ , $\alpha \in [0, 1]$ atténue la domination du comptage, et $\mu_a$ est le score moyen des traces produisant la réponse $a$ .

4. Justification théorique

L'article fournit une analyse théorique reliant ce phénomène à l'Optimisation de politique relative par groupes (GRPO), un algorithme d'entraînement courant pour les modèles de raisonnement.

Hypothèse : Les traces correctes convergent vers une seule vérité terrain (fréquence élevée à la queue), tandis que les traces incorrectes divergent vers divers modes d'échec (fréquence faible à la queue).
Mécanisme : GRPO attribue des avantages positifs aux traces correctes et des avantages négatifs aux traces incorrectes. Cela conduit à un ratio de concentration « queue-vers-tête » plus élevé pour les traces correctes, entraînant une forte hausse de la confiance (logits) vers la fin de la séquence. Les traces incorrectes, n'ayant pas cette convergence, ne présentent pas le même pic de confiance.

Contributions clés

Découverte empirique : Identification d'un motif systématique où les traces de raisonnement correctes présentent des gains de confiance plus élevés (de la tête à la queue) par rapport aux traces incorrectes, et ce, sur diverses architectures de LLM.
Nouvelle méthode (CDG) : Proposition d'une méthode de vote sans entraînement qui exploite la dynamique de la confiance comme signal discriminatif, généralisant à la fois le vote majoritaire et les méthodes basées sur une confiance statique.
Insight théorique : Une analyse théorique reliant les gradients de confiance observés aux dynamiques d'entraînement de GRPO et aux récompenses vérifiables, expliquant pourquoi les traces correctes développent naturellement un « pic de confiance » à la queue.
Validation empirique : Démonstration d'améliorations de performance constantes par rapport aux références de l'état de l'art sur des benchmarks compétitifs de raisonnement mathématique.

Résultats expérimentaux

Les auteurs ont évalué le CDG sur quatre modèles (DeepSeek-R1-8B, gpt-oss-20B, Gemma-3-27B, Qwen-QwQ-32B) sur les benchmarks AIME 2024/2025, HMMT 2025 et BRUMO 2025.

Performance : Le CDG a atteint la précision moyenne la plus élevée sur tous les modèles et tous les ensembles de données.
- Il a amélioré le vote majoritaire de 5,4 % en moyenne.
- Il a amélioré DeepConf-Mean de 4,8 %.
- Il a surpassé DeepConf-Queue (qui n'utilise que la confiance de la queue) de 1,7 %, démontrant que l'aspect dynamique (différence tête-queue) est crucial, et pas seulement la confiance de la queue elle-même.
Études d'ablation :
- Atténuation du comptage ( $\alpha$ ) : Le retrait de l'atténuation du comptage ( $\alpha=1$ ) a considérablement dégradé les performances, confirmant la nécessité d'équilibrer les comptes de traces avec les signaux de confiance.
- Poids dynamique ( $\beta$ ) : Les performances ont atteint un pic lorsque $\beta$ était réglé sur une plage spécifique par rapport à la séparation de confiance du modèle, confirmant que le signal dynamique fournit des informations complémentaires à la confiance statique.
- Longueur de la trace : Le CDG a maintenu ses avantages quelle que soit la longueur de la trace, indiquant que le signal est robuste aux variations de longueur de séquence.
- Artifacts de formatage : L'exclusion des tokens \boxed{} (souvent des tokens de formatage à haute confiance à la fin) n'a pas altéré les résultats, prouvant que le signal provient de la dynamique du raisonnement et non d'artefacts de formatage.

Importance et affirmations

L'article affirme que le CDG fournit un signal discriminatif robuste et sans entraînement pour améliorer la sélection de réponses dans le raisonnement des LLM. En exploitant la dynamique naturelle de la confiance du modèle lors de l'inférence, le CDG offre une manière fondée de sélectionner les bonnes réponses plutôt que les hallucinées, sans nécessiter de réentraînement du modèle ni de modèles de récompense supplémentaires.

Les auteurs notent que, bien que la méthode soit hautement efficace pour la mise à l'échelle Best-of-N dans le raisonnement mathématique, elle hérite des coûts de calcul liés à la génération de multiples traces. Ils reconnaissent également des limites concernant la nécessité d'un réglage spécifique au modèle du paramètre $\beta$ et l'exigence d'un accès aux log-probabilités au niveau du token, qui peuvent ne pas être disponibles dans toutes les API propriétaires. Le travail suggère que ces insights sur la dynamique de la confiance pourraient se généraliser à d'autres méthodes de gradient de politique pondérées par l'avantage avec des récompenses vérifiables.