💬 NLP

Estimating the Black-box LLM Uncertainty with Distribution-Aligned Adversarial Distillation

Ce papier propose la distillation adversaire alignée sur la distribution (DisAAD), une méthode qui entraîne un modèle proxy léger à imiter la distribution de sortie d'un LLM boîte noire et à estimer l'incertitude par apprentissage de preuves, résolvant efficacement les hallucinations sans nécessiter l'accès au modèle interne ni un échantillonnage multiple coûteux.

Auteurs originaux : Huizi Cui, Huan Ma, Qilin Wang, Yuhang Gao, Changqing Zhang

Publié 2026-05-08

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Huizi Cui, Huan Ma, Qilin Wang, Yuhang Gao, Changqing Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Le menteur confiant

Imaginez que vous posez une question à une célébrité très célèbre et super-intelligente (un "LLM boîte noire" comme GPT-4). Elle répond instantanément et avec une confiance totale. Mais parfois, elle hallucine : elle invente des faits qui semblent parfaits mais qui sont complètement faux.

Le problème est que, parce qu'elle est une "boîte noire", vous ne pouvez pas regarder dans son cerveau pour voir si elle est vraiment sûre d'elle ou si elle devine simplement. Vous ne voyez que la réponse finale.

Les anciennes méthodes pour vérifier :
- La méthode "Posez la question 10 fois" : Posez la même question à la célébrité 10 fois et voyez si elle donne des réponses différentes. Si elle change son histoire, elle est incertaine. Problème : C'est lent, coûteux, et vous ne pouvez pas le faire en temps réel.
- La méthode "Regardez à l'intérieur" : Demandez à la célébrité de vous montrer ses notes internes (logits/probabilités). Problème : Vous ne pouvez pas le faire avec des modèles à source fermée ; ils ne vous montreront pas leurs notes.

La Solution : L'"Acteur Ombre" (DisAAD)

Les auteurs proposent un tour de passe-passe ingénieux appelé DisAAD. Au lieu d'essayer de regarder dans le cerveau de la célébrité ou de lui poser la question 10 fois, ils construisent un petit "Acteur Ombre" léger (un modèle proxy) pour se tenir à la place de la célébrité.

Voici comment l'Acteur Ombre apprend à dire la vérité :

1. Le Camp d'Entraînement (Distillation Adversariale)

Imaginez une école de théâtre où le but est de faire en sorte qu'un élève (le Modèle Proxy) joue exactement comme une star célèbre (le LLM Boîte Noire).

Le Directeur (Discriminateur) : Un professeur strict qui observe à la fois la Star et l'Élève.
L'Objectif : L'Élève essaie d'imiter parfaitement les répliques et les manières de la Star. Le Directeur essaie de repérer qui est la vraie Star et qui est l'élève.
Le Processus :
1. Le Directeur pose une série de questions à la Star et enregistre les réponses.
2. L'Élève essaie de répondre aux mêmes questions.
3. Le Directeur critique l'Élève : "Tu as sonné un peu faux là !" ou "C'était un match parfait !"
4. L'Élève ajuste son jeu d'acteur jusqu'à ce que le Directeur ne puisse plus faire la différence entre l'Élève et la Star.

Une fois l'Élève formé, il a appris les modèles exacts de la confiance de la Star. Il sait exactement quand la Star "fait semblant" et quand elle est "sérieuse".

2. Le Travail de Détective (Quantification de l'Incertitude)

Maintenant, lorsque la vraie Star donne une réponse à une nouvelle question, nous ne demandons pas à la Star de répondre à nouveau. Au lieu de cela, nous demandons à l'Acteur Ombre de reproduire cette réponse.

Parce que l'Acteur Ombre a été entraîné à imiter le "vibe" interne de la Star, il peut regarder la réponse et dire :
- "Faible Incertitude (Faible EU, Faible AU) : La Star est confiante, et les faits s'alignent avec ce que la Star sait habituellement. Fiez-vous à cette réponse."
- "Forte Incertitude (Forte EU, Faible AU) : La Star fait semblant d'être confiante, mais l'Acteur Ombre sait que c'est un "trou de connaissance". La Star bluffe. Ne vous fiez pas à cette réponse."
- "Forte Incertitude (Forte EU, Forte AU) : La Star est confuse et ne connaît pas du tout la réponse. Ne vous fiez pas à cette réponse."

Pourquoi c'est un Changement de Jeu

Le papier revendique trois super-pouvoirs principaux pour cette méthode :

C'est une prouesse "One-Shot" : Vous n'avez besoin que d'une seule réponse du LLM Boîte Noire pour vérifier si elle est fiable. Vous n'avez pas besoin de lui poser la question 10 fois (ce qui économise du temps et de l'argent).
Cela fonctionne sur des modèles "Fermés" : Vous n'avez pas besoin de voir les notes internes de la Star. Vous avez juste besoin de la réponse finale. L'Acteur Ombre déduit le reste.
C'est minuscule et rapide : L'Acteur Ombre est incroyablement petit (seulement 1 % de la taille du modèle géant qu'il imite). C'est comme utiliser une calculatrice de poche pour vérifier le travail d'un supercalculateur.

Les Résultats

Les auteurs ont testé cela sur diverses questions pièges (comme des faits médicaux, des anecdotes et la véracité).

Le Score : Leur méthode "Acteur Ombre" a battu toutes les autres méthodes existantes avec une large marge (améliorant la précision d'environ 18 % à 22 %).
L'Efficacité : Même avec un petit ensemble de données de seulement 1 000 exemples pour entraîner l'Acteur Ombre, cela a mieux fonctionné que des méthodes nécessitant une puissance de calcul massive.

Analogie de Résumé

Pensez au LLM Boîte Noire comme à un magicien qui sort des lapins de chapeaux. Parfois, le lapin est réel ; parfois, c'est un tour.

Les anciennes méthodes consistaient à demander au magicien de sortir le lapin 10 fois pour voir si le tour fonctionne, ou à essayer de regarder sous le chapeau (ce que le magicien ne vous laissera pas faire).
DisAAD, c'est comme engager un petit apprenti magicien qui a regardé le magicien maître se produire des milliers de fois. L'apprenti apprend le "tic" spécifique du maître (un tressaillement de la main, un ton de voix particulier).
Maintenant, lorsque le magicien maître sort un lapin, vous demandez simplement à l'apprenti : "As-tu vu le 'tic' du maître sur celui-là ?" Si l'apprenti dit "Oui, il faisait semblant", vous savez que le lapin est un tour, même si le maître avait l'air confiant.

L'essentiel : Ce papier nous donne un moyen de savoir instantanément si une IA super-intelligente dit la vérité ou s'invente des choses, sans avoir besoin de voir son cerveau ou de lui poser la même question dix fois.

Résumé Technique : Estimation de l'incertitude des LLM boîte noire par distillation adversaire alignée sur la distribution

Énoncé du Problème

Les grands modèles de langage (LLM) ont réalisé des progrès significatifs en matière de raisonnement et de génération, mais restent sujets aux « hallucinations » — la génération d'informations plausibles mais factuellement incorrectes. Ce problème est exacerbé dans les modèles plus grands et plus instructifs, qui font souvent preuve d'une surconfiance, créant un faux sentiment de fiabilité. Bien que la quantification de l'incertitude (UQ) soit une stratégie d'atténuation prometteuse, les méthodes existantes rencontrent des limitations critiques lorsqu'elles sont appliquées aux LLM boîte noire (par exemple, GPT-4, Claude-3) accessibles uniquement via des API :

Les méthodes multi-échantillons (par exemple, l'entropie sémantique) nécessitent plusieurs appels d'inférence pour estimer l'incertitude, ce qui est coûteux en calcul et inefficace pour les applications en temps réel.
Les méthodes mono-échantillon reposant sur des états internes (par exemple, les logits, les activations cachées) sont inapplicables aux modèles propriétaires qui n'exposent pas ces paramètres.
Les méthodes d'auto-évaluation échouent souvent à produire des estimations crédibles sans un fine-tuning spécifique.

Le défi central abordé par ce travail est : Comment pouvons-nous prédire l'incertitude en temps réel d'un LLM boîte noire uniquement sur la base d'une seule paire entrée-réponse, sans accès aux états internes du modèle ni à plusieurs itérations d'échantillonnage ?

Méthodologie : Distillation Adversaire Alignée sur la Distribution (DisAAD)

Les auteurs proposent DisAAD, un cadre en deux étapes qui exploite un modèle proxy léger pour approximer la distribution de sortie d'un LLM boîte noire cible. Le modèle proxy est entraîné à « savoir si le LLM boîte noire sait ou non », héritant efficacement des caractéristiques d'incertitude de la cible.

1. Distillation Adversaire Alignée sur la Distribution

La première étape se concentre sur l'entraînement d'un petit modèle proxy ( $M_p$ ) pour imiter les régions de haute probabilité de la distribution de sortie du LLM boîte noire cible ( $M_B$ ).

Collecte de Données : Un jeu de données de distillation ( $D_{distill}$ ) est construit en interrogeant le LLM cible avec des prompts diversifiés. Pour chaque prompt, plusieurs réponses sont générées, et les $M$ réponses les plus élevées présentant la plus grande cohérence sémantique mutuelle sont sélectionnées. Cette stratégie isole les régions de haute probabilité de la distribution conditionnelle de sortie de la cible.
Architecture d'Entraînement Adversaire : Le cadre emploie une configuration de génération-discrimination :
- Générateur (Modèle Proxy) : Un modèle de base (par exemple, LLaMA3) fine-tuné via Adaptation à Faible Rang (LoRA). Il apprend à générer des réponses cohérentes avec le LLM cible.
- Discriminateur : Un modèle entraîné pour distinguer les réponses générées par le proxy de celles provenant du LLM boîte noire cible.
Objectif d'Optimisation : Le modèle proxy est optimisé pour minimiser une perte composite :
- Perte de Tâche ( $L_{task}$ ) : Une perte de distillation au niveau du token alignant les prédictions du token suivant du proxy avec les réponses de la cible.
- Perte de Régularisation ( $L_{reg}$ ) : Une contrainte au niveau de la séquence où le modèle proxy génère des sorties que le discriminateur ne peut pas classer avec confiance comme « fausses ».
- L'entraînement procède de manière alternée jusqu'à ce que le discriminateur ne puisse plus distinguer les sorties du proxy de celles de la cible, indiquant que le proxy s'est aligné avec succès sur la distribution de la cible.

2. Quantification de l'Incertitude Guidée par le Proxy

Dans la deuxième étape, le modèle proxy entraîné est utilisé pour estimer l'incertitude pour de nouvelles requêtes provenant du LLM boîte noire.

Reproduction : Étant donné un prompt d'entrée $x$ et la réponse du boîte noire $y_B$ , le modèle proxy reproduit la réponse pour extraire des signaux internes (logits) autrement inaccessibles.
Apprentissage Profond Évidentiel : Les logits extraits sont traités comme des paramètres d'évidence pour une distribution de Dirichlet. Cela permet de découpler l'incertitude en deux composantes :
- Incertitude Aléatoire (AU) : Reflète l'incertitude des données (pic de la distribution). Une AU élevée indique que le modèle est incertain quant au token spécifique.
- Incertitude Épistémique (EU) : Reflète l'incertitude du modèle (lacunes de connaissances). Une EU élevée indique que le modèle manque des connaissances pour faire une prédiction confiante, même si la distribution est piquée (surconfiance).
Estimation de Fiabilité : La fiabilité finale de la réponse est calculée en agrégeant l'impact synergique de l'AU et de l'EU sur les tokens les plus incertains de la séquence.

Contributions Clés

Nouveau Paradigme pour l'UQ Boîte Noire : DisAAD élimine le besoin d'accéder aux états internes du modèle ou d'effectuer plusieurs itérations d'échantillonnage, permettant une quantification de l'incertitude en temps réel utilisant uniquement une seule paire entrée-réponse.
Apprentissage de Proxy Aligné sur la Distribution : L'article introduit une méthode où un petit modèle proxy approxime les régions de haute probabilité de la distribution de sortie d'un LLM cible via une distillation adversaire, permettant au proxy de caractériser l'incertitude de la cible.
Validation Empirique : Des expériences extensives démontrent qu'un modèle proxy ne représentant que 1 % de la taille du LLM cible peut atteindre des performances d'estimation d'incertitude supérieures par rapport aux références de l'état de l'art.

Résultats Expérimentaux

La méthode a été évaluée sur trois benchmarks : TruthfulQA (véracité), BioASQ (biomédical) et TriviaQA (connaissances générales).

Performance : Dans des configurations boîte noire (ciblant GPT-4 et LLaMA2-70B), DisAAD a atteint un AUROC moyen de 0,7321 et un AUPR de 0,9134. Cela représente une amélioration substantielle par rapport aux meilleures références, avec une augmentation moyenne de 18,2 % en AUROC et de 22,9 % en AUPR.
Comparaison avec les Méthodes Boîte Blanche : Bien qu'il n'ait pas accès aux états internes, DisAAD a surpassé les méthodes boîte blanche (y compris LogTokU, qui utilise les logits) dans la plupart des cas. Par exemple, avec LLaMA2-70B comme cible, DisAAD a amélioré l'AUROC de 6,7 % par rapport à LogTokU.
Efficacité : Le cadre ne nécessite qu'un petit jeu de données de distillation (environ 1 000 échantillons issus de 100 prompts) pour entraîner un modèle proxy efficace. Les performances se stabilisent après environ 50 prompts de distillation.
Taille du Modèle : Des expériences avec différentes tailles de proxy (1B, 3B, 8B) ont révélé une relation non monotone, le modèle 3B obtenant des résultats optimaux. Les modèles plus grands (8B) avaient tendance à hériter des problèmes de surconfiance, tandis que les modèles plus petits (1B) manquaient de capacité pour une modélisation complexe de l'incertitude.

Importance et Revendications

L'article revendique que DisAAD offre un paradigme plus efficace et pratique pour la quantification de l'incertitude des LLM, en particulier pour les applications critiques pour la sécurité impliquant des modèles commerciaux boîte noire. En permettant la détection des hallucinations via un proxy léger, la méthode facilite un déploiement plus sûr et plus fiable des LLM, sans la surcharge computationnelle du multi-échantillonnage ni les contraintes de confidentialité liées à l'accès aux paramètres internes.

Les auteurs reconnaissent des limitations, notant que la méthode se concentre sur l'incertitude au niveau du token et peut négliger les incohérences sémantiques de haut niveau. De plus, la dépendance à l'égard de la distillation adversaire introduit une dépendance vis-à-vis de la qualité du jeu de données de distillation, bien que les expériences suggèrent que la méthode est robuste avec un nombre limité d'échantillons. Ce travail est présenté comme une étape vers l'amélioration de la fiabilité des LLM boîte noire dans des scénarios réels.