🤖 machine learning

Improved Confidence Estimates for Black-Box Large Language Models

Cet article propose une méthode à faible surcharge qui améliore la quantification de l'incertitude pour les grands modèles de langage de type boîte noire en entraînant de simples classificateurs pour prédire la justesse des réponses en utilisant les scores de confiance existants et la justesse de requêtes similaires provenant d'un ensemble de données cible.

Auteurs originaux : Sokhna Diarra Mbacke, Mouloud Belbahri, Gabriel Loaiza-Ganem

Publié 2026-08-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sokhna Diarra Mbacke, Mouloud Belbahri, Gabriel Loaiza-Ganem

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Les modèles de langage de grande taille sont devenus des outils puissants pour l'écriture, la programmation et la réponse aux questions, pourtant ils portent un risque caché : ils inventent parfois des faits avec une certitude absolue. Ce phénomène, souvent appelé hallucination, crée un obstacle important à l'utilisation de ces systèmes dans des domaines à enjeux élevés comme la santé ou la recherche scientifique, où une mauvaise réponse peut avoir de graves conséquences. Pour résoudre cela, les chercheurs tentent depuis longtemps de construire des systèmes capables de nous dire à quel point nous pouvons faire confiance à une réponse spécifique. L'objectif est d'attribuer un score à chaque réponse qui indique sa fiabilité. Actuellement, de nombreuses méthodes existent pour générer ces scores, allant du fait de demander au modèle d'évaluer sa propre confiance à l'analyse de la variation de ses réponses lorsqu'on lui pose la même question de différentes manières. Cependant, ces scores existants opèrent souvent de manière isolée, traitant chaque nouvelle question comme si c'était la première fois que le modèle la voyait, sans tenir compte de la façon dont le modèle a performé sur des questions similaires par le passé.

Une équipe de chercheurs de Layer 6 AI et de TD Assurance a proposé une approche différente qui traite la confiance non pas comme une propriété fixe du modèle, mais comme un motif qui peut être appris. Ils soutiennent que, si les méthodes existantes génèrent des scores d'incertitude bruts sans nécessiter de données préalables, les applications du monde réel impliquent presque toujours un ensemble de questions et de réponses qui ont déjà été vérifiées pour leur exactitude. Les chercheurs ont réalisé que ces données étiquetées constituent une ressource vaste et inexploitée. Au lieu d'essayer d'inventer une nouvelle façon de mesurer l'incertitude à partir de zéro, ils ont construit un système simple qui prend les scores existants et les combine avec des informations sur la façon dont le modèle a répondu à des questions similaires par le passé. En entraînant un programme informatique standard pour reconnaître la relation entre ces entrées et l'exactitude réelle des réponses, ils ont créé une nouvelle méthode qui surpasse systématiquement les scores originaux utilisés seuls.

Le cœur de leur travail repose sur un processus en deux étapes qui imite la façon dont un expert humain pourrait vérifier une nouvelle affirmation. Premièrement, le système prend une nouvelle question et la réponse fournie par le modèle de langage de grande taille. Il calcule ensuite les scores d'incertitude standards que le modèle ou d'autres outils produiraient normalement. Ensuite, le système consulte une bibliothèque de référence de questions précédemment répondues afin de trouver celles qui sont les plus similaires à la nouvelle question. Il vérifie si le modèle a répondu correctement ou non à ces questions similaires par le passé et mesure à quel point elles sont proches de la question actuelle. Ces détails — les scores standards, l'historique des questions similaires et la performance passée du modèle sur celles-ci — sont transmis à un classificateur simple. Ce classificateur apprend à prédire si la nouvelle réponse est correcte, traduisant ainsi efficacement les signaux d'incertitude bruts en une probabilité de vérité calibrée.

Les chercheurs ont testé cette méthode sur plusieurs ensembles de données différents, incluant des tests de référence pour le raisonnement de bon sens, les faits scientifiques et les questions de culture générale, en utilisant diverses tailles de modèles de langage. Ils ont comparé leur nouveau système aux meilleures méthodes existantes, y compris celles qui demandent au modèle d'exprimer sa confiance et celles qui génèrent de nombreuses variations d'une réponse pour vérifier la cohérence. Les résultats ont montré que leur approche fournissait systématiquement des prédictions de correction plus précises. Dans presque tous les tests, la nouvelle méthode était plus efficace pour distinguer les bonnes des mauvaises réponses que les scores originaux seuls. De plus, le système a produit des probabilités bien calibrées, ce qui signifie que lorsqu'il prédisait qu'une réponse avait 80 % de chances d'être correcte, il avait raison environ 80 % du temps. Cette calibration est cruciale pour la prise de décision, car elle permet aux utilisateurs de faire confiance aux chiffres fournis par le système.

L'une des conclusions les plus significatives est que la méthode fonctionne bien même lorsqu'elle repose sur très peu d'informations supplémentaires. Dans certains tests, le système n'utilisait qu'une seule réponse du modèle et un historique de questions similaires, sans avoir besoin de générer plusieurs variations de la réponse. Cela maintenait le coût computationnel bas, rendant la méthode pratique pour une utilisation dans le monde réel où la vitesse et l'efficacité comptent. Les chercheurs ont également constaté que la meilleure façon de combiner ces signaux dépendait de la tâche spécifique, suggérant qu'une approche flexible capable de s'adapter à différents types de questions est supérieure à une solution universelle. En traitant l'estimation de la confiance comme un problème d'apprentissage plutôt que comme un calcul fixe, l'équipe a démontré que les données existantes peuvent être utilisées pour améliorer considérablement la sécurité et la fiabilité des modèles de langage de grande taille sans nécessiter l'accès à leurs mécanismes internes ou un réentraînement coûteux.

L'étude conclut que, bien que les scores d'incertitude initiaux générés par les outils actuels soient utiles, ils ne constituent pas le dernier mot sur la fiabilité. En exploitant le fait simple que les modèles ont tendance à performer de manière cohérente sur des types de questions similaires, un cadre d'apprentissage supervisé peut affiner ces scores pour en faire des estimations beaucoup plus dignes de confiance. Cela ne remplace pas la nécessité de bons indicateurs d'incertitude, mais les améliore, transformant les données brutes en informations exploitables. Ces travaux suggèrent que la voie vers une intelligence artificielle plus sûre ne réside pas seulement dans la construction de meilleurs modèles, mais dans la création de meilleures façons de comprendre et d'interpréter les réponses que ces modèles fournissent.

Résumé technique : Amélioration des estimations de confiance pour les modèles de langage de grande taille (LLM) de type boîte noire

Énoncé du problème

Le déploiement sécurisé des modèles de langage de grande taille (LLM) dans des environnements à enjeux élevés (ex. : santé, recherche scientifique) est entravé par leur sensibilité aux hallucinations. Bien que la quantification de l'incertitude (UQ - Uncertainty Quantification) vise à évaluer la fiabilité des sorties des modèles, les méthodes existantes présentent des limitations significatives :

Limitation du "Zero-Shot" : La plupart des méthodes d'UQ actuelles (scores heuristiques ou verbalisation de la confiance) fonctionnent de manière "zero-shot", générant des scores d'incertitude sans exploiter les données d'évaluation étiquetées disponibles.
Manque de calibration : Les scores existants sont souvent corrélés à la justesse, mais ne fournissent pas de probabilités calibrées. Par exemple, la confiance verbalisée ( $P_{true}$ ) est fréquemment sur-optimiste, et les scores heuristiques (ex. : entropie sémantique) sont des valeurs abstraites plutôt que des estimations de probabilité directes.
Écart décisionnel : Les scores heuristiques sont principalement conçus pour l'abstention (retenir une réponse si un seuil est atteint). Cependant, les auteurs soutiennent que l'estimation de la confiance — fournir une probabilité calibrée de justesse — est supérieure pour la prise de décision en aval, car elle permet aux systèmes de maximiser l'utilité attendue au sein de cadres de théorie de la décision.

Le problème central traité est la manière de transformer les scores d'incertitude existants, souvent non calibrés et de type zero-shot, en estimations de confiance robustes et calibrées en exploitant les ensembles de données étiquetés qui sont des prérequis standards pour l'évaluation des modèles.

Méthodologie

Les auteurs proposent un cadre d'apprentissage supervisé qui traite les scores d'incertitude existants comme des caractéristiques (features) plutôt que comme des sorties finales. La méthode ne nécessite pas d'accès "white-box" au LLM ni de générations de modèles supplémentaires au-delà de ce que requièrent les scores de base.

1. Partitionnement des données

L'ensemble de données étiquetées disponible $\mathcal{D}$ est partitionné en :

Ensemble d'entraînement ( $\mathcal{D}_{train}$ ) : Utilisé pour ajuster le classifieur de confiance.
Ensemble de référence ( $\mathcal{D}_{ref}$ ) : Utilisé pour construire des caractéristiques auxiliaires en résumant la performance historique du LLM sur des requêtes similaires.

2. Ingénierie des caractéristiques (Feature Engineering)

Pour une paire requête-réponse $(q, r)$ donnée, le vecteur de caractéristiques $X(q, r)$ est construit à partir de deux composantes :

Scores d'incertitude de base ( $S$ ) : Une collection de $c$ scores préexistants (ex. : $P_{true}$ verbalisée, entropie sémantique, approximation laplacienne). Ils sont traités comme des entrées brutes.
Caractéristiques basées sur le voisinage ( $f_{ref}$ ) : Pour capturer les motifs empiriques locaux, la méthode extrait les $k$ $k$ plus proches voisins de $q$ $q$ de l'ensemble de référence en utilisant la similitude cosinus dans un espace de plongement (embedding space). À partir de ces voisins, les statistiques suivantes sont extraites :
- Le vecteur des étiquettes de justesse ( $y_i$ ) pour les voisins.
- La moyenne empirique ( $\mu_y$ ) et l'écart-type ( $\sigma_y$ ) de la justesse des voisins.
- Le vecteur des similitudes cosinus entre $q$ et ses voisins.
- La moyenne empirique ( $\mu_{sim}$ ) et l'écart-type ( $\sigma_{sim}$ ) de ces similitudes.

Le vecteur de caractéristiques final est $X(q, r) = (S(q, r), f_{ref}(q))$ .

3. Classification supervisée

Le problème est formulé comme une tâche de classification binaire pour prédire la probabilité de justesse $Y=1$ .

Sélection du modèle : Les auteurs emploient une approche Auto-ML pour sélectionner le classifieur optimal pour une tâche spécifique. Les candidats incluent la régression logistique avec régularisation $\ell_1$ et les forêts aléatoires (Random Forests).
Entraînement : Les modèles sont entraînés pour minimiser la perte d'entropie croisée sur $\mathcal{D}_{train}$ .
Calibration : Une étape de mise à l'échelle de température (temperature scaling) post-hoc est appliquée pour garantir que les probabilités de sortie sont bien calibrées (minimisant l'erreur de calibration attendue, ECE).

4. Inférence

Au moment de l'inférence, le processus comprend :

Calcul des scores de base $S(q, r)$ .
Récupération des $k$ plus proches voisins de $\mathcal{D}_{ref}$ .
Évaluation du classifieur entraîné $f_\theta$ sur le vecteur de caractéristiques combiné.
La surcharge de calcul est négligeable par rapport au coût de génération des réponses du LLM.

Contributions clés

Changement de paradigme : L'article soutient que l'UQ pour les LLM doit être traitée comme un problème d'apprentissage supervisé qui exploite les données étiquetées disponibles, dépassant ainsi le paradigme zero-shot.
Cadre polyvalent : La méthode agit comme une "enveloppe" (wrapper) capable d'agréger et de raffiner n'importe quel score d'incertitude existant (heuristique ou verbalisé) en une estimation de confiance calibrée sans modifier le LLM sous-jacent.
Statistiques de voisinage : L'introduction de caractéristiques basées sur le voisinage (statistiques de justesse et de similitude issues d'un ensemble de référence) offre une nouvelle façon d'incorporer des preuves empiriques de la fiabilité du modèle dans la prédiction.
Apprenant adaptatif à la tâche : Les auteurs démontrent que le modèle de classifieur optimal dépend de la tâche, nécessitant une approche Auto-ML pour choisir entre des modèles linéaires et non linéaires selon la distribution des données.

Résultats expérimentaux

Le cadre a été évalué sur quatre jeux de données (CommonSense QA, Natural Questions, SciQ, SimpleQA) et trois variantes du modèle GPT-4.1 (flagship, mini, nano), ainsi que le modèle open-source LLaMA4Maverick.

Performance : La méthode Auto-ML proposée a systématiquement surpassé toutes les lignes de base en termes de surface sous la courbe ROC (AUROC). Elle a obtenu l'AUROC la plus élevée dans presque tous les scénarios, avec une seule exception mineure où la différence était négligeable.
Calibration : La méthode a produit une erreur de calibration attendue (ECE) nettement plus faible que la confiance verbalisée brute ( $P_{true}$ ) et a souvent surpassé les versions avec mise à l'échelle de température ($ts$- $P_{true}$ ).
Études d'ablation :
- Sans caractéristiques sémantiques : Même en excluant les scores d'incertitude sémantique complexes (en se basant uniquement sur $P_{true}$ et les statistiques de voisinage), la méthode a maintenu des performances compétitives avec un coût de calcul moindre.
- Famille de modèles : L'approche s'est bien généralisée aux modèles open-source (LLaMA4Maverick), confirmant son applicabilité au-delà des API de type boîte noire.
Comparaison avec les références : La méthode a nettement surpassé APRICOT (une approche similaire basée sur un classifieur) et diverses scores heuristiques basés sur la sémantique (entropie sémantique, laplacienne, entropie de noyau), particulièrement sur les jeux de données à choix multiples où les méthodes sémantiques ont peiné.

Signification et affirmations

L'article affirme que les données d'évaluation étiquetées sont une ressource significative, bien que sous-exploitée, pour améliorer les estimations d'incertitude des LLM. Les auteurs soutiennent que :

Fiabilité : En allant au-delà des heuristiques zero-shot, on peut produire de manière constante des estimations de confiance plus précises et mieux calibrées.
Efficacité : La méthode introduit une surcharge de calcul minimale, ce qui en fait une "amélioration simple et directe" pour les applications réelles.
Flexibilité : Elle sert de mécanisme général pour transformer les scores heuristiques en probabilités prêtes pour la décision, comblant le fossé entre les mesures d'incertitude abstraites et la prise de décision pratique.
Direction future : Bien que le présent travail se concentre sur la justesse binaire, les auteurs suggèrent que ce paradigme pourrait être étendu à la classification multi-classes (ex. : distinguer une réponse "partiellement correcte" d'une réponse "excellente") pour affiner davantage la sécurité du déploiement des LLM.

Les auteurs maintiennent une position modeste, reconnaissant que leur approche nécessite l'entraînement de classifieurs spécifiques à chaque jeu de données et dépend de la qualité et de la taille de l'ensemble de référence pour une récupération efficace, bien qu'ils soutiennent que ce sont des exigences standards dans les cycles de développement de modèles pratiques.