🤖 machine learning

LLMs Uncertainty Quantification via Adaptive Conformal Semantic Entropy

Ce papier propose l'Entropie Sémantique Conformelle Adaptative (ACSE), une méthode novatrice qui quantifie l'incertitude des LLM en mesurant de manière adaptative la dispersion sémantique à travers des réponses diversifiées et en appliquant une calibration conforme pour fournir des garanties d'erreur sans distribution et à échantillon fini, surpassant ainsi les références lexicales et probabilistes existantes dans des applications critiques pour la sécurité.

Auteurs originaux : Hamed Karimi, Vaishali Meyappan, Reza Samavi

Publié 2026-05-07

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hamed Karimi, Vaishali Meyappan, Reza Samavi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous posez une question à un bibliothécaire très confiant et bien informé (l'IA). Ce bibliothécaire pourrait répondre avec une certitude absolue, même s'il a complètement tort. C'est le problème de « la surconfiance » que l'article aborde : les grands modèles de langage (LLM) hallucinent souvent (inventent des choses) tout en paraissant sûrs à 100 %.

L'article présente un nouveau système de sécurité appelé ACSE (Entropie Sémantique Conformale Adaptative). Considérez l'ACSE comme un mécanisme de « vérification de la réalité » qui ne se contente pas d'écouter ce que dit le bibliothécaire, mais vérifie si le bibliothécaire est réellement certain du sens de sa réponse.

Voici comment cela fonctionne, décomposé en étapes simples :

1. Le Problème : Le « Piège des Synonymes »

Les vérifications de sécurité actuelles examinent souvent les mots spécifiques choisis par l'IA. Si l'IA dit « La capitale est Sydney » 70 % du temps et « La capitale est Canberra » 30 % du temps, un simple compteur de mots pourrait penser : « Oh, elle est assez sûre que c'est Sydney ! » et lui donner un feu vert.

Mais voici la nuance : l'IA pourrait être confiante dans la mauvaise réponse (Sydney) tout en étant incertaine de la bonne réponse (Canberra). Ou alors, elle pourrait donner cinq réponses différentes qui signifient toutes la même chose (par exemple, « Sydney », « Syd », « La grande ville portuaire »). Un simple compteur de mots est confus par ces variations, pensant que l'IA est incertaine alors qu'elle est simplement bavarde.

2. La Solution : La Méthode de l'« Étreinte de Groupe » (Regroupement Sémantique)

L'ACSE change la donne en demandant à l'IA de répondre à la même question dix fois.

Étape A : Elle prend ces dix réponses et les traduit en « cartes de sens » (embeddings).
Étape B : Elle regroupe ces réponses en « quartiers » basés sur leur sens, et non sur leur orthographe.
- Exemple : Si 9 réponses disent « Sydney » et 1 dit « Canberra », elles forment deux quartiers distincts.
- Exemple : Si 5 réponses disent « Sydney » et 5 disent « La capitale est Sydney », elles sont toutes accueillies dans le même quartier car elles signifient la même chose.

3. Le Détecteur de « Fragilité » (Inflation Adaptative)

C'est l'ingrédient secret de l'article. Le simple fait que l'IA s'accorde sur une réponse (comme « Sydney ») ne signifie pas que cette réponse est sûre.

L'Analogie : Imaginez un groupe de personnes s'accordant toutes sur une direction. Si elles sont toutes debout dans un cercle serré et solide, c'est un consensus fort. Mais si elles s'accordent toutes sur une direction tout en se tenant sur un sol vacillant et tremblant, c'est un consensus fragile.
L'ACSE recherche ce « vacillement ». Elle vérifie si le groupe s'accordant sur « Sydney » est réellement instable (peut-être que les réponses sont légèrement différentes, ou que le groupe est très petit).
Si le groupe est « fragile », l'ACSE gonfle le score d'incertitude. Elle dit essentiellement : « Même si vous êtes tous d'accord, votre accord est instable, donc je vais traiter cela comme une situation à haut risque. »

4. Le « Filet de Sécurité » (Calibration Conformale)

Enfin, le système doit savoir exactement quand dire « Je ne sais pas » (s'abstenir) par rapport à quand donner une réponse.

Les auteurs utilisent un « filet de sécurité » statistique appelé Prédiction Conformale.
Ils testent d'abord le système sur un ensemble de questions d'entraînement. Ils déterminent une « ligne de coupure ».
La Règle : Si le « score de vacillement » (incertitude) est en dessous de la ligne, l'IA répond. S'il est au-dessus de la ligne, l'IA reste silencieuse.
La Garantie : Ce n'est pas un pari. Les mathématiques garantissent que si vous réglez le filet de sécurité pour attraper 90 % des erreurs, il attrapera au moins 90 % des erreurs, peu importe ce que fait l'IA. Il promet que les erreurs que vous verrez seront rares.

Les Résultats : Pourquoi Cela Compte

L'article a testé cela sur divers modèles d'IA et ensembles de données (comme des questions de culture générale).

La Concurrence : Les anciennes méthodes (comme le comptage des probabilités de mots) étaient comme une boussole instable. Elles donnaient souvent une haute confiance à de mauvaises réponses.
Le Gagnant : L'ACSE a agi comme un navigateur intelligent. Lors d'un test de culture générale, elle a correctement identifié les mauvaises réponses dans 88 % des cas (AUROC 0,88), tandis que la méthode suivante n'obtenait que 80 %.
La Sécurité : Elle a réussi à empêcher l'IA de donner de mauvaises réponses dans des situations à haut risque beaucoup plus souvent que les méthodes précédentes, sans être si prudente qu'elle refusait de répondre du tout.

En Bref

L'ACSE est un système qui demande à une IA de répondre à une question plusieurs fois, regroupe les réponses par sens plutôt que par mots, vérifie si le groupe se tient sur un sol solide ou instable, et utilise un filet de sécurité mathématiquement prouvé pour décider quand prendre la parole et quand rester silencieux. Il garantit que lorsque l'IA parle, elle n'est pas seulement confiante, mais réellement fiable.

Résumé technique : Entropie Sémantique Conformale Adaptative (ACSE)

Énoncé du problème
Les modèles de langage de grande taille (LLM) font fréquemment preuve d'une surconfiance, en particulier lors de la génération d'hallucinations, ce qui pose des risques significatifs pour leur déploiement dans des domaines critiques pour la sécurité tels que la santé, le droit et la recherche scientifique. Les méthodes existantes de quantification de l'incertitude (UQ) reposent principalement sur des signaux au niveau des tokens, tels que l'entropie du token suivant ou la vraisemblance logarithmique de la séquence. Ces approches échouent à capturer la variance sémantique ; elles attribuent souvent une haute confiance à des sorties lexicalement diverses mais sémantiquement incohérentes ou incorrectes. De plus, les méthodes récentes au niveau sémantique, comme l'Entropie Sémantique (SE), reposent sur un clustering dur, ce qui peut produire des estimations instables en ignorant les régions sémantiques chevauchantes. D'autres approches conformes, bien qu'offrant des garanties statistiques, traitent souvent l'incertitude comme un signal scalaire, les rendant vulnérables aux pièges du « faux consensus » où des clusters lexicalement cohérents mais factuellement incorrects satisfont les seuils de confiance.

Méthodologie
L'article propose l'Entropie Sémantique Conformale Adaptative (ACSE), un cadre indépendant du modèle pour estimer l'incertitude au niveau de l'invite en mesurant la dispersion sémantique dans les sorties des LLM. La méthodologie fonctionne en trois étapes principales :

Encodage sémantique et clustering souple :
Pour une invite donnée, le modèle génère $n$ réponses diversifiées en utilisant l'échantillonnage par noyau. Ces réponses sont encodées dans un espace vectoriel sémantique continu à l'aide d'un encodeur de phrases. Au lieu d'un clustering dur, l'ACSE utilise un clustering agglomératif hiérarchique (HAC) avec une distance cosinus pour former des groupes sémantiques, suivis d'affectations de clusters souples. Cela permet aux réponses d'appartenir probabilistiquement à plusieurs clusters, préservant ainsi les signaux d'ambiguïté sémantique. Un score d'incertitude de base, $u(x)$ , est dérivé de l'entropie normalisée de la distribution de clusters résultante.
Inflation adaptative de l'incertitude :
Pour remédier à la fragilité structurelle des clusters (par exemple, un faible soutien pour les clusters dominants ou une diversité interne élevée), l'ACSE introduit un score d'incertitude ajusté, $\hat{u}(x)$ . Ce score gonfle l'entropie sémantique de base en fonction de cinq caractéristiques de robustesse au niveau de l'invite :
- Entropie sémantique : Mesure le multimodalisme.
- Distance au centroïde : Évalue le soutien géométrique de la réponse dominante.
- Dispersion du cluster dominant : Quantifie la cohérence interne.
- Taille du cluster dominant : Pénalise un consensus fragile soutenu par peu d'échantillons.
- Marge par rapport au seuil : Supprime une confiance injustifiée dans les régimes de faible incertitude.
  Ces caractéristiques sont agrégées en une « métrique de fragilité » $B(x)$ , qui échelonne un facteur d'inflation $\lambda(x)$ . Le score final $\hat{u}(x)$ est une transformation bornée et monotone qui augmente l'incertitude lorsque les structures de clusters indiquent un risque.
Calibration conforme :
Les scores ajustés sont calibrés en utilisant la Prédiction Conformale (CP) sur un ensemble d'invites retenu. Cela établit une règle de décision avec des garanties sans distribution et à échantillon fini. Le système remplit deux fonctions :
- Décision au niveau de l'invite : Détermine s'il faut accepter une réponse ou s'abstenir en fonction d'un seuil de coupure, garantissant que le taux d'erreur parmi les réponses acceptées reste inférieur à une tolérance spécifiée par l'utilisateur $\alpha$ .
- Ensembles de prédiction au niveau de la réponse : Construit un ensemble de réponses échantillonnées satisfaisant la couverture conforme, soutenant la prise de décision de l'utilisateur en identifiant des sorties sémantiquement représentatives et conformes.

Contributions clés

Cadre ACSE : Une méthode novatrice pour estimer l'incertitude basée sur l'entropie au niveau sémantique, dépassant les signaux au niveau des tokens pour capturer la dispersion du sens.
Mécanisme d'inflation adaptative : Un score d'incertitude ajusté qui exploite les caractéristiques de robustesse des clusters pour gonfler adaptativement l'incertitude sémantique, pénalisant explicitement les ambiguïtés sémantiques des réponses et atténuant les hallucinations.
Garanties conformes : Une phase de calibration a posteriori qui apprend les seuils de coupure pour l'abstention au niveau de l'invite et les ensembles de prédiction au niveau de la réponse, fournissant des garanties formelles sur les taux d'erreur.
Validation empirique : Des expériences extensives démontrant une discrimination et une calibration supérieures par rapport aux références de l'état de l'art.

Résultats expérimentaux
Les auteurs ont évalué l'ACSE sur cinq benchmarks (TriviaQA, CoQA, Natural Questions, TruthfulQA et MMLU) en utilisant diverses architectures de LLM (Mistral-7B, LLaMA-2, Falcon, Qwen).

Détection d'hallucinations : L'ACSE a constamment surpassé les références selon les métriques de discrimination. Sur le jeu de données TriviaQA, l'ACSE a atteint une AUROC de 0,88, dépassant significativement la référence Entropie de Token (0,65) et la Politique d'Abstention Conformale (CAP) (0,80).
Métriques de sécurité : L'ACSE a démontré des taux de faux positifs (FPR) plus faibles à des seuils de rappel élevés. Par exemple, sur Falcon-7B, l'ACSE a réduit le FPR@95 de 0,48 (CAP) à 0,31, soit une diminution relative de 35,4 % des hallucinations acceptées.
Garanties conformes : L'ACSE s'est strictement conformée aux niveaux de couverture spécifiés par l'utilisateur ( $\alpha$ ) tout en maintenant des taux d'acceptation plus élevés que les méthodes concurrentes. À $\alpha=0,10$ , l'ACSE a atteint un taux d'acceptation de 75,8 % contre 65,4 % pour la CAP, avec des tailles moyennes d'ensembles de prédiction inférieures (1,07 contre 1,32) et une stabilité de calibration supérieure (SSCV).
Quantification de l'incertitude : L'analyse visuelle a confirmé que l'ACSE sépare efficacement les réponses correctes des hallucinations, attribuant une haute incertitude aux hallucinations même lorsque les méthodes de référence (comme SE ou l'Entropie de Token) affichaient une haute confiance.

Signification
L'article affirme que l'ACSE offre une solution robuste pour le déploiement fiable des LLM dans des domaines critiques pour la sécurité en s'attaquant aux modes de défaillance spécifiques des méthodes UQ existantes : l'incapacité à distinguer la variation lexicale superficielle de l'ambiguïté sémantique réelle et la vulnérabilité aux pièges du faux consensus. En combinant l'analyse de la dispersion sémantique avec une inflation adaptative et des garanties conformes, l'ACSE fournit un mécanisme statistiquement rigoureux pour détecter les hallucinations et contrôler les taux d'erreur sans nécessiter de réentraînement du modèle. Les auteurs posent que, bien que l'échantillonnage et le post-traitement entraînent une surcharge computationnelle, ce coût est justifié dans les applications à haut risque où la fiabilité du modèle est primordiale.