🤖 machine learning

Embedding Perturbation may Better Reflect Intermediate-Step Uncertainty in LLM Reasoning

Ce papier propose une métrique de quantification de l'incertitude basée sur la perturbation qui identifie les étapes de raisonnement intermédiaires peu fiables dans les grands modèles de langage en mesurant la sensibilité des tokens aux perturbations d'incorporation, démontrant une performance et une efficacité supérieures aux méthodes probabilistes, d'échantillonnage et bayésiennes existantes.

Auteurs originaux : Qihao Wen, Jiahao Wang, Yang Nan, Pengfei He, Ravi Tandon, Han Xu

Publié 2026-05-15

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Qihao Wen, Jiahao Wang, Yang Nan, Pengfei He, Ravi Tandon, Han Xu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un grand modèle de langage (LLM) comme un étudiant très intelligent, mais parfois trop confiant, passant un test de mathématiques ou de logique. Cet étudiant ne vous donne pas seulement la réponse finale ; il montre son raisonnement étape par étape. Le problème, c'est que parfois, il fait une erreur au milieu de son travail, mais il continue avec assurance jusqu'à obtenir une réponse finale incorrecte.

L'article dont vous parlez est comme un nouvel outil de « contrôle surprise » conçu pour repérer ces moments précis où l'étudiant commence à trébucher, plutôt que d'attendre la fin pour voir si la réponse est fausse.

Voici la décomposition des idées de l'article à l'aide d'analogies simples :

1. Le problème : l'étudiant « sûrement dans l'erreur »

Les méthodes actuelles pour vérifier si une IA est incertaine examinent généralement la réponse finale ou tentent de poser la même question à l'IA 100 fois pour voir si elle donne la même réponse à chaque fois.

Le défaut : C'est comme noter un examen uniquement sur le score final. Si l'étudiant a fait une erreur à l'étape 3 mais l'a corrigée (ou a eu de la chance) à l'étape 10, vous pourriez penser qu'il a été bon tout au long du processus. Ou, s'il a obtenu la bonne réponse par accident, vous pourriez penser qu'il a compris la matière.
L'objectif : Les auteurs voulaient trouver un moyen d'écouter le « monologue intérieur » de l'étudiant pendant qu'il résout le problème, pour voir exactement où il commence à hésiter ou à se tromper.

2. La solution : le test « Pousse et bouscule » (perturbation des plongements)

Les auteurs proposent un tour de passe-passe ingénieux. Au lieu de simplement lire la réponse de l'étudiant, ils « piquent » doucement le cerveau de l'étudiant juste avant qu'il n'écrive le mot suivant.

L'analogie : Imaginez que l'étudiant marche sur un fil de fer.
- Méthodes normales : On observe simplement la vitesse à laquelle il marche (la probabilité). S'il marche vite, il semble confiant.
- La nouvelle méthode : Les chercheurs donnent à l'étudiant une toute petite, presque invisible, poussée (une « perturbation ») à son équilibre juste avant qu'il ne fasse le pas suivant.
- La réaction :
  - Si l'étudiant est sur un terrain solide (une étape correcte et facile), une toute petite poussée ne le dérangera pas. Il continue de marcher droit.
  - Si l'étudiant vacille déjà (une étape incertaine ou incorrecte), cette toute petite poussée le fait trébucher ou osciller violemment. Il pourrait même changer d'avis sur quel pied poser ensuite.

L'article appelle cela la « perturbation des plongements ». Ils mesurent mathématiquement à quel point les « pensées » de l'étudiant (la probabilité du mot suivant) changent lorsqu'il reçoit cette toute petite poussée. Si les pensées changent beaucoup, cela signifie que l'étudiant était en réalité très incertain, même s'il semblait confiant.

3. Pourquoi c'est mieux que les anciennes méthodes

L'article compare leur méthode de « poussée » à d'autres façons de vérifier l'incertitude :

Scores de probabilité : C'est comme vérifier à quel point l'étudiant parle fort. Parfois, il parle fort de la mauvaise chose parce qu'il a l'habitude de dire ces mots (comme les mots courants dans une phrase), et non parce qu'il est confiant dans la logique.
Échantillonnage multiple : C'est comme demander à l'étudiant de passer le test 50 fois. C'est précis, mais cela prend une éternité et coûte cher.
La méthode « Poussée » : L'article a montré que leur méthode est plus rapide (elle ne nécessite pas 50 essais) et meilleure pour trouver le moment exact où la logique s'effondre. Elle a détecté des erreurs dans des problèmes de mathématiques et de logique que les autres méthodes avaient manquées.

4. Ce qu'il a trouvé (les résultats)

Succès : Lorsque l'IA faisait une erreur dans un problème de mathématiques (comme calculer $216 000$), la méthode de « poussée » signalait le nombre spécifique où l'erreur s'est produite. C'était comme un drapeau rouge apparaissant exactement au moment où l'étudiant écrivait le mauvais chiffre.
Limites : La méthode n'est pas magique.
- Elle fonctionne très bien pour le raisonnement (mathématiques, logique).
- Elle ne fonctionne pas aussi bien pour les hallucinations (inventer des faits). L'article explique qu'inventer un fait est comme l'étudiant récitant avec assurance une histoire qu'il a inventée. Une toute petite poussée ne le fait pas vaciller parce que son « histoire » est cohérente en interne, même si elle est fausse.
- Parfois, l'IA est simplement naturellement « bavarde » ou a plusieurs façons de dire la même chose. La poussée peut la faire hésiter, mais cela ne signifie pas qu'elle a tort — juste qu'elle a des options.

5. L'essentiel

L'article présente un moyen de « tester la résistance » du processus de raisonnement d'une IA en temps réel. En voyant à quel point le cerveau de l'IA vacille lorsque vous le poussez doucement, vous pouvez trouver l'endroit exact où sa logique commence à s'effondrer.

Efficacité : C'est rapide et ne nécessite pas une puissance de calcul massive.
Précision : Il trouve la première erreur, pas seulement la réponse finale incorrecte.
Avertissement : C'est un outil pour vérifier les étapes de raisonnement, pas pour attraper des faits inventés (hallucinations).

En bref : si vous voulez savoir si une IA ment sur ses mathématiques, n'attendez pas la réponse finale. Donnez une petite tape à son processus de pensée et voyez si elle trébuche. Si c'est le cas, c'est là que les ennuis ont commencé.

Résumé technique : Perturbation d'embedding pour l'incertitude des étapes intermédiaires dans le raisonnement des LLM

Énoncé du problème

Les grands modèles de langage (LLM) ont réalisé des avancées significatives dans les tâches de raisonnement, mais restent sujets à produire des résultats peu fiables ou trompeurs. Bien que des techniques de quantification de l'incertitude (UQ) existent pour estimer la confiance d'un modèle dans ses réponses finales, elles sont souvent inadéquates pour l'incertitude des étapes intermédiaires au sein des chaînes de raisonnement. Les méthodes existantes présentent plusieurs limites :

Les approches basées sur l'échantillonnage (par exemple, la cohérence de soi) nécessitent de générer plusieurs réponses pour vérifier l'accord. Bien qu'efficaces pour les réponses finales, elles sont coûteuses en calcul et peinent à identifier l'étape intermédiaire spécifique où une erreur prend sa source.
Les métriques basées sur la probabilité (par exemple, la probabilité du token, l'entropie, la marge) échouent souvent à distinguer les tokens à faible probabilité qui sont linguistiquement rares mais corrects, de ceux qui représentent de véritables erreurs de raisonnement. Elles peinent également à capturer les dépendances contextuelles à long terme nécessaires à l'audit des erreurs de raisonnement.
Les méthodes basées sur le bayésien (par exemple, la perturbation des poids) peuvent être lourdes en calcul, en particulier pour les grands modèles.

Le problème central abordé est l'absence de métriques efficaces et fines capables d'identifier les tokens ou les étapes spécifiques au sein d'une chaîne de raisonnement où l'incertitude du modèle est la plus élevée, indiquant ainsi une erreur potentielle.

Méthodologie

Les auteurs proposent la perturbation d'embedding comme une approche novatrice pour quantifier l'incertitude intermédiaire. L'hypothèse centrale est que les étapes de raisonnement incorrectes contiennent des tokens hautement sensibles à de petites perturbations dans les embeddings des tokens précédents. Cette sensibilité reflète l'hésitation interne du modèle parmi plusieurs continuations concurrentes (c'est-à-dire que le modèle est « incertain » de savoir s'il doit poursuivre avec le token actuel ou un token rival).

La méthode opère sur le postulat que les LLM sont autoregressifs ; la génération d'un token $x_t$ dépend uniquement des tokens précédents $x_{1:t-1}$ . Les auteurs définissent la probabilité de génération d'un token comme une fonction des embeddings des tokens précédents $H_{1:t-1}$ . Ils mesurent la sensibilité du modèle aux perturbations de ces embeddings en utilisant deux métriques spécifiques :

Perturbation aléatoire (Rand. Pert.) :
- Du bruit gaussien aléatoire $\Delta \sim \mathcal{N}(0, \sigma^2 I)$ est ajouté aux embeddings de tous les tokens de l'entrée et de la réponse.
- La métrique est définie comme la variance du log-probabilité du token cible $x_t$ sur plusieurs échantillons de bruit :
  $\text{Pert.}(x_t) = \text{Var}_{\Delta} [\log \text{Pr}(x_t | \tilde{H}_{1:t-1})]$
- Cela capture l'instabilité de la sélection du token sous de légères variations de contexte.
Perturbation adversaire (Adv. Pert.) :
- Au lieu d'un échantillonnage aléatoire, les embeddings sont modifiés dans la direction qui maximise la diminution du log-probabilité total de la réponse générée (en utilisant un gradient signé).
- La métrique est la différence de log-probabilité avant et après la perturbation :
  $\text{Pert.}(x_t) = \log \text{Pr}(x_t | H_{1:t-1}) - \log \text{Pr}(x_t | \hat{H}_{1:t-1})$
- Cela identifie les tokens les plus perturbés par un déplacement adversaire, indiquant une proximité avec la frontière de décision entre le token sélectionné et un « token rival ».

Insight théorique :
L'article fournit une analyse théorique montrant que ces sensibilités à la perturbation approximent inversement la distance géométrique de l'embedding actuel à la frontière de décision entre le token sélectionné et un token rival. Un score de sensibilité élevé implique que l'embedding est proche d'une frontière où un token différent (pouvant potentiellement conduire à un chemin de raisonnement différent) serait sélectionné, signalant une forte incertitude. Crucialement, les auteurs soutiennent que cette métrique est moins biaisée par les fréquences naturelles des tokens linguistiques que les métriques basées sur la probabilité brute.

Contributions clés

Nouvelles métriques UQ : Introduction de métriques basées sur la perturbation (Aléatoire et Adversaire) spécifiquement conçues pour capturer l'incertitude des étapes intermédiaires dans le raisonnement des LLM, distinctes de la confiance dans la réponse finale.
Justification théorique : Une démonstration formelle que la sensibilité à la perturbation approxime la norme du gradient, qui à son tour approxime inversement la distance à la frontière de décision entre les chemins de raisonnement concurrents.
Efficacité : Les méthodes proposées s'avèrent efficaces en calcul. La perturbation adversaire ne nécessite qu'un seul passage arrière et un seul passage avant, tandis que la perturbation aléatoire peut réutiliser un seul ensemble de perturbations pour toute la séquence, évitant ainsi la surcharge massive des multiples essais d'échantillonnage.
Validation empirique : Des expériences extensives démontrant que ces métriques surpassent les références existantes dans l'identification de la première étape erronée dans les chaînes de raisonnement.

Résultats expérimentaux

Les auteurs ont évalué leur méthode sur des tâches de raisonnement mathématique (jeu de données MATH) et de raisonnement logique (BIG-Bench Hard) à travers quatre modèles (Llama-3.1, OpenMath, Qwen, Mistral).

Performance : Les métriques de perturbation aléatoire et adversaire ont systématiquement surpassé les références, notamment :
- Niveau token : Négatif Log-Vraisemblance (NLL), Entropie, Marge de probabilité, et TokUR basé sur le bayésien.
- Niveau phrase : CCP, TokenSAR, et Incertitude graphique (échantillonnage multiple).
- Sur le jeu de données MATH, la perturbation adversaire a atteint un taux de détection top-3 de 0,65 pour Llama (contre 0,55 pour TokUR) et 0,61 pour Qwen (contre 0,56 pour TokUR).
Efficacité : Sur un seul GPU NVIDIA GH200, la perturbation adversaire n'a ajouté que 0,28 seconde par génération, et la perturbation aléatoire (avec 20 itérations) a ajouté 0,90 seconde. Cela est significativement plus rapide que les approches à échantillonnage multiple.
Détection d'hallucinations : Lorsqu'elles ont été testées sur le jeu de données FactScore pour la détection d'hallucinations factuelles, les méthodes basées sur la perturbation ont sous-performé par rapport aux méthodes à échantillonnage multiple. Les auteurs attribuent cela à la différence fondamentale dans les schémas d'erreur : les hallucinations découlent souvent de corrélations fallacieuses ou d'un ancrage faible qui restent stables sous perturbation, tandis que les erreurs de raisonnement impliquent une véritable instabilité dans la sélection du chemin.

Importance et affirmations

L'article affirme que la perturbation d'embedding fournit un moyen plus efficace et plus performant d'auditer le processus de raisonnement des LLM par rapport aux méthodes existantes. En identifiant les tokens hautement sensibles aux perturbations d'embedding, les praticiens peuvent :

Localiser précisément l'endroit où un modèle commence à dévier d'un chemin de raisonnement correct.
Permettre des interventions fines, telles que des mécanismes basés sur la réflexion ou l'auto-correction, déclenchés spécifiquement aux étapes incertaines.
Faciliter le développement de modèles de vérification en fournissant des signaux d'incertitude interprétables dérivés du processus de génération lui-même.

Les auteurs reconnaissent modestement les limites : la méthode peut ne pas détecter les hallucinations entraînées par des corrélations fallacieuses, et elle ne parvient pas toujours à démêler parfaitement l'incertitude concernant la justesse de l'incertitude découlant de la sélection parmi plusieurs chemins de raisonnement valides. Cependant, l'étude établit que les métriques basées sur la perturbation sont un outil supérieur pour détecter les erreurs de raisonnement procédural par rapport aux références basées sur la probabilité ou l'échantillonnage.