💬 NLP

Entropy Alone is Insufficient for Safe Selective Prediction in LLMs

Cette étude démontre que l'entropie seule est insuffisante pour une prédiction sélective sûre dans les grands modèles de langage, et propose une méthode combinant l'entropie à un signal de vérification de justesse pour améliorer la fiabilité de l'abstention et la calibration sur plusieurs benchmarks.

Auteurs originaux : Edward Phillips, Fredrik K. Gustafsson, Sean Wu, Anshul Thakur, David A. Clifton

Publié 2026-03-24

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Edward Phillips, Fredrik K. Gustafsson, Sean Wu, Anshul Thakur, David A. Clifton

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : Le "Savant Confiant" qui se trompe

Imaginez que vous avez un assistant très intelligent, disons un chef cuisinier robot (c'est le modèle de langage ou LLM). Ce robot est incroyable : il peut écrire des poèmes, résoudre des équations complexes et cuisiner des plats délicieux. Mais il a un défaut majeur : il hallucine.

Parfois, il invente des ingrédients qui n'existent pas ou des recettes impossibles, mais il le fait avec une confiance absolue. Il vous dit : "C'est la meilleure recette du monde !" alors que c'est du poison.

Dans des domaines sérieux comme la médecine ou le droit, si vous suivez aveuglément ce robot, cela peut être catastrophique.

La Solution Habituelle (et ses défauts) : Le "Thermomètre de Confiance"

Pour éviter ces erreurs, les chercheurs ont essayé de créer un système de sécurité : le robot doit dire "Je ne suis pas sûr" et s'abstenir de répondre quand il est en danger.

Pour savoir s'il est sûr, on utilise souvent une mesure appelée l'entropie.

L'analogie : Imaginez que le robot a un thermomètre interne. Si le robot hésite entre plusieurs réponses (par exemple, il balance entre "Paris", "Londres" et "Berlin"), le thermomètre monte. C'est le signe qu'il est confus. On lui dit alors : "Reste silencieux, tu ne sais pas."
Le problème découvert par les auteurs : Ils ont réalisé que ce thermomètre est parfois cassé. Parfois, le robot invente une réponse fausse avec une telle conviction que son thermomètre indique "Zéro incertitude". Il est sûr de son erreur. C'est ce qu'ils appellent le régime "confiant mais faux". Le système de sécurité ne se déclenche jamais, et le robot continue de mentir dangereusement.

La Nouvelle Idée : Le Détective et le Thermomètre

Les chercheurs (Edward et son équipe d'Oxford) ont dit : "Le thermomètre seul ne suffit pas. Il nous faut un détective."

Ils ont combiné deux outils :

Le Thermomètre (Entropie) : Il mesure l'hésitation du robot.
Le Détective (Sonde de justesse) : C'est un petit assistant supplémentaire qui a appris à reconnaître les "vrais" faits. Il ne regarde pas si le robot hésite, mais si ce que le robot dit ressemble à la vérité.

L'analogie finale :
Imaginez que vous embauchez un expert pour valider les réponses d'un élève.

L'ancienne méthode : Vous ne demandez à l'élève que : "Es-tu sûr de toi ?". S'il répond "Oui, à 100%", vous le croyez, même s'il se trompe.
La nouvelle méthode : Vous demandez à l'élève "Es-tu sûr ?" ET vous demandez à un professeur de vérifier si la réponse a du sens. Même si l'élève crie "Je suis sûr !", le professeur voit qu'il se trompe et dit : "Non, arrête-toi, c'est faux."

Ce qu'ils ont découvert

En testant cette méthode sur plusieurs modèles de langage (comme Mistral, Llama, Qwen) et sur des sujets difficiles (questions de culture générale, biologie, médecine), ils ont vu que :

Le thermomètre seul échoue souvent dans les cas critiques (surtout en médecine), laissant passer des erreurs dangereuses.
La combinaison (Thermomètre + Détective) fonctionne beaucoup mieux. Elle permet de filtrer les erreurs "confiantes" que l'autre méthode ratait.
C'est plus fiable : Quand on fixe une règle stricte (par exemple : "On ne veut pas plus de 5% d'erreurs"), la nouvelle méthode respecte cette règle. L'ancienne méthode, elle, dépassait souvent la limite sans qu'on s'en rende compte.

En résumé

Ce papier nous apprend qu'on ne peut pas faire confiance aveuglément aux indicateurs d'incertitude actuels des intelligences artificielles. Pour que l'IA soit vraiment sûre, surtout dans des domaines vitaux, il faut croiser les sources d'information : ne pas se fier uniquement à la "confiance" du modèle, mais aussi vérifier la "justesse" de ses propos avec un outil externe.

C'est la différence entre écouter quelqu'un qui parle fort et avec assurance, et vérifier si ce qu'il dit est vrai avant de lui faire confiance.

1. Problématique

Les grands modèles de langage (LLM) sont sujets aux hallucinations : ils génèrent des réponses fluides mais factuellement incorrectes, souvent avec un haut degré de confiance. Pour atténuer les risques dans des domaines critiques (comme la santé), des systèmes de prédiction sélective sont utilisés. Ces systèmes décident de s'abstenir de répondre lorsque l'incertitude est trop élevée.

Cependant, les méthodes actuelles d'estimation de l'incertitude (UQ) reposent souvent exclusivement sur l'entropie (mesure de la dispersion de la distribution de sortie du modèle). Les auteurs soulignent que ces méthodes sont rarement évaluées dans le contexte réel de la prédiction sélective, en particulier à des taux d'erreur cibles très bas (régimes de haute sécurité). Ils identifient un échec critique : les modèles peuvent produire des hallucinations "confiantes" (faible entropie), rendant l'entropie seule inefficace pour les détecter.

2. Méthodologie

L'étude propose une approche hybride combinant des signaux d'incertitude basés sur l'entropie et des sondes de justesse (correctness probes).

A. Configuration Expérimentale

Données : Trois benchmarks de questions-réponses (QA) : TriviaQA (général), BioASQ (biomédical) et MedicalQA (médical ouvert).
Modèles : Quatre familles de modèles (3B à 8B paramètres) : Mistral, Llama, Qwen et Gemma.
Tâche : Prédiction sélective où le système répond uniquement si le score de risque $r(x)$ est inférieur à un seuil $\tau$ , ajusté pour atteindre un taux d'erreur cible $\alpha$ .

B. Signaux d'Incertitude Évalués

Méthodes basées sur l'entropie (Risk Scores $u_{ent}$ ) :
- NLL de séquence : Négatif log-vraisemblance moyen (pas de surcoût d'inférence).
- Entropie Sémantique (SE) : Mesure la dispersion sémantique via le regroupement de plusieurs échantillons générés (coûteux en calcul).
- Sonde d'Entropie Sémantique (SEP) : Un classifieur linéaire léger entraîné pour prédire l'entropie sémantique sans générer d'échantillons multiples.
Sonde de Justesse (PC Probe) :
- Un classifieur logistique entraîné de manière supervisée sur les représentations du prompt pour prédire la probabilité que la réponse soit correcte ( $p_{pc}$ ). Le risque est défini comme $1 - p_{pc}$ .
Combinaison :
- Une régression logistique à deux caractéristiques combinant le score d'entropie ( $u_{ent}$ ) et le score de la sonde de justesse ( $u_{pc}$ ) pour produire un score de risque final.

C. Métriques d'Évaluation

Les auteurs critiquent l'utilisation exclusive de l'AUROC (aire sous la courbe ROC) qui masque les défaillances en déploiement. Ils privilégient des métriques orientées déploiement :

E-AURC (Excess Area Under the Risk–Coverage Curve) : Mesure le compromis risque-prise de décision par rapport à un oracle idéal.
TCE (Target Calibration Error) : Mesure l'écart entre le taux d'erreur réel observé et le taux d'erreur cible $\alpha$ spécifié. C'est crucial pour garantir que le système respecte des contraintes de sécurité strictes.

3. Contributions Clés

Identification d'un mode d'échec spécifique : Les auteurs mettent en évidence le régime "confidently wrong" (confiantement faux). Dans ce cas, le modèle génère une hallucination avec une distribution de sortie très concentrée (faible entropie), ce qui trompe les méthodes basées sur l'entropie. Ce phénomène est dépendant du modèle (ex: très présent chez Qwen, moins chez Llama).
Preuve de la complémentarité : Les signaux d'entropie et de justesse sont faiblement corrélés. Combiner les deux permet de capturer des aspects complémentaires de l'incertitude.
Plaidoyer pour une évaluation orientée déploiement : L'article démontre qu'un bon AUROC ne garantit pas une prédiction sélective fiable à des seuils de sécurité stricts. Les métriques comme le TCE sont essentielles pour valider la confiance opérationnelle.

4. Résultats Principaux

Performance Globale : La méthode combinée (Entropie + Sonde de Justesse) surpasse systématiquement les méthodes basées uniquement sur l'entropie sur les trois benchmarks et les quatre familles de modèles.
- Amélioration du compromis Risque-Couverture (E-AURC) : Réduction significative du risque pour une même couverture de questions.
- Meilleure Calibration (TCE) : Les méthodes combinées parviennent à atteindre les taux d'erreur cibles (ex: 5% ou 10%) beaucoup plus fidèlement que les méthodes d'entropie seule, qui échouent souvent à entrer dans le "régime de haute confiance" (faible risque) sans sacrifier toute la couverture.
Cas d'échec de l'entropie seule : Pour le modèle Qwen sur TriviaQA, l'entropie sémantique (SE) échoue à discriminer les hallucinations confiantes (elles ont une entropie proche de zéro, comme les bonnes réponses). La sonde de justesse (PC) détecte correctement ces cas, et la combinaison corrige l'échec.
Limites : Sur le dataset MedicalQA (très difficile), les gains sont moindres car la précision de base du modèle est faible, rendant l'entraînement de la sonde de justesse plus difficile.

5. Signification et Impact

Ce travail a des implications majeures pour le déploiement sécurisé des LLM :

Insuffisance de l'entropie : Il démontre que l'entropie, bien qu'utile, est une mesure incomplète de la fiabilité, surtout pour les modèles qui peuvent être "confiants" dans leurs erreurs.
Nécessité de sondes supervisées : L'intégration de sondes de justesse (même légères) est cruciale pour atteindre des niveaux de sécurité opérationnelle, en particulier dans des domaines à haut risque comme la médecine.
Changement de paradigme d'évaluation : L'article invite la communauté à passer d'une évaluation basée sur la détection globale (AUROC) à une évaluation basée sur le contrôle du risque opérationnel (TCE, E-AURC). Un système ne doit pas seulement "bien classer" les erreurs, mais garantir qu'il ne répond pas lorsque le risque dépasse un seuil critique défini par l'utilisateur.

En conclusion, pour une prédiction sélective sûre, une approche hybride combinant la dispersion sémantique (entropie) et la prédiction de justesse est indispensable pour gérer les modes d'échec complexes des LLM modernes.