📊 statistics

LLMs as Implicit Imputers: Uncertainty Should Scale with Missing Information

Cet article soutient que les grands modèles de langage agissant comme imputeurs implicites devraient manifester une incertitude proportionnelle à l'information manquante, constatant que, tandis que la confiance basée sur l'échantillonnage échoue à refléter la dégradation croissante du contexte, l'entropie de la réponse suit efficacement l'absence de données et prédit mieux la précision.

Auteurs originaux : Stef van Buuren

Publié 2026-05-14

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Stef van Buuren

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un détective tentant de résoudre une énigme. Habituellement, vous disposez d'un dossier complet de preuves (le « contexte ») pour vous aider à identifier le coupable. Mais parfois, le dossier est déchiqueté, et il ne vous reste que quelques lambeaux de papier.

Ce document pose une question simple mais cruciale : Lorsque votre détective (un modèle de langage d'IA) travaille avec des preuves manquantes, sait-il à quel point il doit être incertain ?

Les auteurs soutiennent que l'IA devrait agir comme un « détective statistique » qui admet : « Je fais des suppositions ici car je n'ai pas assez d'indices. » Au contraire, ils ont découvert que les IA actuelles agissent souvent comme des détectives trop confiants, qui parviennent à des conclusions hasardeuses mais insistent pour affirmer qu'ils sont sûrs à 100 %.

Voici la décomposition de leurs résultats à l'aide d'analogies simples :

1. L'idée centrale : le test du « Indice manquant »

Les chercheurs ont traité l'IA comme un Imputeur Multiple. En statistiques, lorsque des données manquent, les experts ne se contentent pas de deviner une seule réponse ; ils génèrent de nombreux scénarios possibles pour voir dans quelle mesure la réponse peut varier.

Le Test : Ils ont pris des questions et ont progressivement déchiqueté les informations de fond (le contexte) jusqu'à ce que l'IA n'ait plus rien à lire que la question elle-même.
La Règle : À mesure que les indices disparaissent, l'« incertitude » de l'IA devrait augmenter. S'il n'a aucun indice, il devrait être très incertain. S'il a tous les indices, il devrait être très sûr.

2. Les deux façons de mesurer l'« Incertitude »

Les chercheurs ont examiné deux façons de mesurer à quel point l'IA était incertaine lorsqu'on lui posait la même question 10 fois de suite :

La « Voix forte » (Confiance) : Cela mesure à quelle fréquence l'IA donne la même réponse à chaque fois. Si elle dit « Denver Broncos » 10 fois sur 10, elle semble très confiante.
Le « Brouhaha de la foule » (Entropie) : Cela mesure à quel point les réponses sont différentes. Si l'IA dit « Denver Broncos » une fois, « New England » une fois, « Les Patriots » une fois et « Je ne sais pas » sept fois, il y a beaucoup de « brouhaha » ou de variété. C'est une entropie élevée.

3. La grande découverte : la « Voix forte » est un menteur

L'étude a révélé un problème majeur avec la « Voix forte » (Confiance) :

Ce qui s'est produit : Même lorsque l'IA avait zéro contexte (aucun indice), elle donnait souvent la même mauvaise réponse 10 fois de suite. Elle semblait incroyablement confiante, même si elle devinait complètement en se basant sur ce qu'elle avait mémorisé lors de son entraînement.
L'analogie : Imaginez un étudiant passant un examen qui a oublié son manuel. Il devine « C » pour chaque question. Il est 100 % cohérent (haute confiance), mais il a 100 % tort. L'IA faisait exactement cela.

4. Le gagnant : le « Brouhaha de la foule » (Entropie)

Le « Brouhaha de la foule » (Entropie) s'est comporté beaucoup mieux :

Ce qui s'est produit : À mesure que les chercheurs retiraient le contexte, les réponses de l'IA commençaient à se disperser. Au lieu de dire « Denver Broncos » 10 fois, elle commençait à dire « Denver », « Broncos », « L'Équipe », « Je ne sais pas », etc.
L'analogie : C'est comme un groupe de détectives dans une pièce. Lorsqu'ils ont toutes les preuves, ils pointent tous vers le même suspect. Lorsque vous retirez les preuves, ils commencent à pointer dans des directions différentes. Plus ils sont confus, plus ils pointent dans des directions différentes.
Le Résultat : La mesure du « Brouhaha de la foule » augmentait exactement lorsque la précision de l'IA diminuait. C'était un véritable signal de confusion.

5. Le « Ratio de résolution » (Dans quelle mesure les indices ont-ils aidé ?)

Les auteurs ont créé un score simple appelé le Ratio de résolution.

Imaginez-le comme un gradateur pour une ampoule.
Aucun contexte (Éteint) : La pièce est sombre (forte incertitude).
Contexte complet (Allumé) : La pièce est lumineuse (faible incertitude).
Le Score : Cela mesure dans quelle mesure la « lumière » (le contexte) a éteint l'« obscurité » (l'incertitude). Ils ont découvert que le contexte complet résolvait environ 80 % de l'incertitude, ce qui est logique.

Résumé des affirmations du document

Le Problème : Les modèles d'IA actuels sont souvent des « imputeurs inappropriés ». Lorsqu'ils manquent d'informations, ils répriment leur incertitude et donnent une réponse unique, confiante, mais souvent erronée.
La Solution : Nous devrions examiner dans quelle mesure les réponses de l'IA varient (Entropie) plutôt que la fréquence à laquelle elle répète la même réponse (Confiance).
La Preuve : Lorsque le contexte a été retiré, la précision de l'IA a chuté, mais sa « Confiance » est restée élevée (nous mentant). Son « Entropie » (variété de réponses) a augmenté, signalant correctement qu'elle était perdue.
L'Essentiel : Si vous voulez savoir si une IA devine parce qu'il lui manque des informations, ne demandez pas à quel point elle semble sûre. Demandez : « Si je vous posais la question 10 fois, me donneriez-vous 10 réponses différentes ? » Si oui, elle sait qu'elle est incertaine. Si elle vous donne la même mauvaise réponse 10 fois, elle est trop confiante.

Le document conclut que l'Entropie est un outil bien meilleur de « boîte noire » pour nous indiquer quand une IA navigue à l'aveugle que les scores de « Confiance » standard que nous voyons habituellement.

Résumé technique : Les LLM en tant qu'imputeurs implicites

Énoncé du problème

Les modèles de langage de grande taille (LLM) sont de plus en plus déployés dans des scénarios où le contexte d'entrée est incomplet, tronqué ou dégradé (par exemple, la récupération partielle dans les systèmes RAG). Malgré le fonctionnement dans de telles déficits d'information, les LLM génèrent généralement des réponses uniques avec une certitude apparente élevée. Cela soulève une question critique : Les estimations d'incertitude des LLM reflètent-elles correctement la quantité d'information manquante ?

Les évaluations actuelles se concentrent souvent sur l'étalonnage statique (faire correspondre la confiance à la précision sous des entrées fixes). Cependant, il existe un manque de compréhension concernant la manière dont les estimations d'incertitude évoluent dynamiquement lorsque les entrées deviennent moins informatives. L'article soutient qu'un système prédictif approprié doit présenter une incertitude qui augmente à mesure que la fraction d'information manquante augmente, un principe ancré dans l'apprentissage profond bayésien et la théorie des données manquantes.

Méthodologie

Cadre théorique : Imputation multiple implicite

Les auteurs opérationnalisent l'évaluation de l'incertitude des LLM en établissant une analogie avec l'Imputation Multiple (MI) [Rubin, 1987]. Dans l'IM, l'incertitude provient de variables non observées et est quantifiée par la variabilité entre plusieurs jeux de données complétés.

Analogie : L'échantillonnage répété auprès d'un LLM dans un contexte incomplet est considéré comme la génération de « complétions implicites » des informations manquantes.
Critère : Un bon imputeur (et donc un bon LLM) doit présenter une incertitude qui évolue avec la quantité d'information manquante. Si le contexte est supprimé, la variabilité (l'incertitude) des réponses générées doit augmenter.

Configuration expérimentale

Jeu de données : SQuAD (Compréhension de lecture), utilisant des segments de réponses courtes extraits de paragraphes de contexte.
Conditions de preuve : Un cadre contrôlé où la disponibilité du contexte est variée via un paramètre $\alpha \in [0, 1]$ $α \in [0, 1]$ . Le contexte $C(\alpha)$ $C (α)$ est construit en conservant les $100 \cdot \alpha$ $100 \cdot α$ pour cent premiers des caractères du contexte original.
- $\alpha = 1$ : Contexte complet.
- $\alpha = 0$ : Aucun contexte.
Échantillonnage : Utilisation de gpt-4o-mini avec une température $T=0.7$ , $m=10$ réponses stochastiques sont générées par entrée $(q, C)$ . Pour minimiser la corrélation, chaque échantillon est obtenu via un appel API distinct.
Normalisation : Les réponses sont normalisées pour gérer les variations lexicales mineures (par exemple, l'omission d'articles) mais pas la généralisation sémantique.

Mesures d'incertitude

Deux mesures boîte noire sont estimées à partir de la distribution empirique des $m$ réponses échantillonnées :

Confiance basée sur l'échantillonnage ( $c$ ) : La fréquence empirique de la réponse la plus fréquente ( $c = \max_k p_k$ ). Cela mesure la concentration modale.
Entropie de réponse ( $H$ ) : L'entropie de Shannon de la distribution de réponses normalisée ( $H = -\sum p_k \log p_k$ ). Cela mesure la dispersion entre les réponses concurrentes.
Ratio de résolution ( $\rho_R(\alpha)$ ) : Une métrique diagnostique estimant la proportion d'incertitude de base résolue par le niveau de contexte $\alpha$ .
$\rho_R(\alpha) = \frac{[H_0 - H(\alpha)]_+}{H_0}$
Où $H_0$ est l'entropie en l'absence de contexte. $\rho_R = 0$ implique que le contexte n'apporte aucune réduction d'incertitude ; $\rho_R = 1$ implique que l'incertitude est entièrement résolue.

Indice de dépendance à l'information (IDI)

Défini comme $\Delta = Acc_1 - Acc_0$ , cette métrique quantifie la mesure dans laquelle la précision prédictive dépend de la présence de contexte.

Contributions clés

Cadre d'évaluation : Un cadre principé pour évaluer l'incertitude des LLM sous observabilité partielle, fondé sur l'exigence que l'incertitude doit augmenter à mesure que l'information diminue.
Analogie IM : Lien explicite entre l'échantillonnage répété des LLM et l'Imputation Multiple, motivant l'entropie comme proxy boîte noire pour l'incertitude prédictive induite par les informations manquantes.
Outil de diagnostic : Introduction du Ratio de résolution $\rho_R(\alpha)$ , une heuristique qui mesure la fraction d'incertitude de base résolue par le contexte, estimable uniquement à partir de l'échantillonnage boîte noire.
Validation empirique : Preuves quantitatives démontrant que l'entropie suit l'incertitude liée aux informations manquantes plus fidèlement que la confiance, avec un avantage significatif en variance expliquée (écart quadratique $R^2$ allant jusqu'à 0,057).

Résultats

Taxonomie du comportement du modèle

L'analyse de 400 contextes a révélé trois régimes distincts lors de la suppression du contexte :

Mémorisé : Haute précision avec et sans contexte ; entropie proche de zéro ( $H_0 \approx 0$ ). Le modèle repose sur des connaissances paramétriques.
Biaisé : Haute précision avec contexte, mais haute précision avec des réponses incorrectes sans contexte ; entropie proche de zéro ( $H_0 \approx 0$ ). Le modèle est déterministement faux lorsque le contexte manque.
Incertitude : Haute précision avec contexte, mais faible précision et entropie élevée sans contexte. Ce régime reflète une véritable incertitude induite par les informations manquantes.

Distribution : Le régime « Incertain » était le plus important (43,8 %), indiquant que la plupart des questions nécessitent un contexte et admettent des réponses diverses lorsqu'il manque.

Performance des mesures d'incertitude

Entropie vs Confiance : À mesure que le contexte est supprimé ( $\alpha$ $α$ diminue), la précision diminue de manière monotone.
- Entropie ( $H$ ) : Augmente de manière monotone à mesure que le contexte est supprimé, suivant étroitement la perte de précision.
- Confiance ( $c$ ) : Diminue beaucoup plus lentement et reste élevée même lorsque la précision s'effondre. Dans le sous-ensemble sensible au contexte, la précision est tombée à 0,05 tandis que la confiance restait à 0,52.
Puissance prédictive : L'analyse de régression a montré que l'entropie explique systématiquement plus de variance dans la précision que la confiance à tous les niveaux de preuve.
- À $\alpha = 0.5$ (Échantillon complet), l'entropie expliquait 24,3 % de la variance contre 18,6 % pour la confiance ( $\Delta R^2 = 0.057$ ).
- À ce niveau, l'entropie expliquait environ 31 % de variance en plus que la confiance.
Étalonnage : Le graphique d'étalonnage (Précision vs Confiance) a révélé une surconfiance substantielle qui s'aggravait à mesure que le contexte était supprimé. L'entropie, en revanche, se comportait de manière cohérente avec le critère IM.

Ratio de résolution

Le Ratio de résolution $\rho_R(\alpha)$ a montré que le contexte complet résout environ 80 % de l'incertitude de base dans l'échantillon complet. Dans le sous-ensemble sensible au contexte, $\rho_R(\alpha)$ prédisait la précision de manière monotone, tandis que la confiance présentait des modèles non monotones entraînés par le régime « biaisé ».

Signification et revendications

L'article affirme que l'entropie de réponse est une mesure d'incertitude boîte noire plus réactive que la confiance basée sur l'échantillonnage dans un contexte incomplet.

Alignement théorique : L'entropie se comporte conformément à l'exigence bayésienne selon laquelle l'incertitude doit évoluer avec les informations manquantes. La confiance échoue systématiquement à cette exigence, restant souvent élevée même lorsque la distribution sous-jacente est diffuse (une condition où un bon imputeur devrait signaler une forte incertitude).
Utilité pratique : Les métriques proposées (Entropie et $\rho_R$ ) ne nécessitent aucun accès aux détails internes du modèle (poids, logits) ou à des classificateurs d'implication. Elles sont applicables à tout LLM accessible via une API.
Implications pour la conception des LLM : Les auteurs suggèrent que la « surconfiance » observée dans le régime biaisé peut provenir de l'opération softmax, qui concentre la masse de probabilité sur la réponse modale. Ils proposent que l'Appariement des moyennes prédictives (PMM) — l'échantillonnage auprès d'un pool de donneurs implicite plutôt que le passage par le softmax — pourrait produire une incertitude mieux étalonnée, alignant le comportement des LLM sur la théorie de l'imputation appropriée.

L'article conclut que l'importation des critères d'imputation multiple dans le cadre des LLM fournit une norme inspirée par la théorie pour évaluer l'incertitude, indépendante des tâches ou des modèles spécifiques, et ouvre un canal entre la littérature statistique sur les données manquantes et la recherche sur l'incertitude des LLM.