💬 NLP

Generalization of Fine-Tuned Uncertainty Communication and Metacognition in Large Language Models

Cet article démontre que l'ajustement fin supervisé peut améliorer la capacité des grands modèles de langage à communiquer l'incertitude et à aligner la confiance avec l'exactitude, bien que ces gains métacognitifs se généralisent mieux à travers les domaines qu'à travers les différents formats d'évaluation de la confiance, l'entraînement multitâche offrant la généralisation la plus robuste.

Auteurs originaux : Mark Steyvers, Catarina Belem, Padhraic Smyth

Publié 2026-06-23

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mark Steyvers, Catarina Belem, Padhraic Smyth

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un ami robot très intelligent et cultivé qui peut répondre à presque toutes les questions que vous lui posez. Le problème, c'est que ce robot se trompe parfois, mais il ne l'admet jamais. Il répond avec la même voix forte et assurée, qu'il parle de la capitale de la France ou d'un fait imaginaire sur des extraterrestres. Cela est dangereux car si vous faites confiance à sa voix assurée, vous pourriez prendre de mauvaises décisions.

Cette publication pose la question suivante : Peut-on apprendre à ce robot à dire « Je ne suis pas sûr » ou « Je suis assez confiant », d'une manière qui correspond réellement à son degré de justesse ?

Les chercheurs ont tenté d'« entraîner » le robot (plus précisément, deux modèles d'IA populaires) pour qu'il soit meilleur dans cette conscience de soi. Voici ce qu'ils ont trouvé, expliqué simplement :

1. Les deux façons de tester la « conscience de soi »

Pour voir si le robot apprenait, les chercheurs ont utilisé deux jeux différents :

Le jeu du « Score de Confiance » : Le robot répond à une question et donne un nombre de 0 à 100 % pour dire à quel point il est sûr de lui.
- L'objectif : Si le robot dit « Je suis sûr à 90 % », il doit avoir raison 90 % du temps.
Le jeu du « Lequel ? » : On montre au robot deux questions. Il doit choisir celle qu'il pense pouvoir répondre correctement.
- L'objectif : Il doit choisir la question dont il connaît la réponse et passer son tour sur celle où il devine.

2. La méthode d'entraînement : « La pratique rend parfait »

Les chercheurs n'ont pas simplement dit au robot : « Sois plus honnête ». Au lieu de cela, ils lui ont donné une quantité massive de problèmes d'entraînement.

Ils ont posé la même question au robot 10 fois.
Si le robot donnait la même réponse 9 fois sur 10, ils lui apprenaient : « Tu es cohérent, donc tu devrais être très confiant ».
S'il donnait 10 réponses différentes, ils lui apprenaient : « Tu es confus, donc tu devrais avoir une faible confiance ».
Ils demandaient ensuite au robot de prédire sa propre confiance en se basant sur ce schéma.

3. La bonne nouvelle : Il a appris à être honnête (en grande partie)

Après cet entraînement, le robot est devenu bien meilleur pour faire correspondre sa confiance à sa précision réelle.

Avant l'entraînement : Le robot était comme un élève trop sûr de lui qui obtient toujours un « A » à un examen alors qu'en réalité, il ne maîtrise que la moitié du sujet. Il disait « Je suis sûr à 95 % » même quand il avait tort.
Après l'entraînement : Le robot est devenu plus semblable à un expert prudent. Quand il connaissait la réponse, il disait « Je suis sûr à 90 % ». Quand il devinait, il disait « Je suis sûr à 40 % ».
La magie : Cette compétence ne s'est pas limitée aux sujets sur lesquels il s'est exercé (comme les mathématiques ou les anecdotes de culture générale). Elle l'a aussi aidé à être plus honnête sur de nouveaux sujets difficiles, comme les conseils médicaux et les questions juridiques. C'est un événement majeur car cela signifie que le robot peut être plus fiable dans des situations sérieuses, même s'il n'a pas été spécifiquement entraîné sur ces cas précis.

4. La mauvaise nouvelle : Les compétences ne se transfèrent pas toujours

C'est ici que cela devient délicat. Les chercheurs ont découvert que réussir un jeu ne rendait pas automatiquement le robot bon dans l'autre.

Le « Score » vs le « Choix » : S'ils entraînaient le robot à donner un nombre (par exemple, « 75 % »), il devenait très bon pour donner des nombres. Mais lorsqu'on lui demandait de jouer au jeu du « Lequel ? », il ne s'améliorait pas beaucoup.
L'inverse : S'ils l'entraînaient à jouer au jeu du « Lequel ? », il devenait bon pour choisir la bonne question, mais il ne parvenait toujours pas à donner un bon nombre lorsqu'on lui demandait.

L'analogie : Imaginez un joueur de basket qui est excellent pour tirer des lancers francs (donner un nombre). Vous l'entraînez spécifiquement sur les lancers francs. Il devient incroyable aux lancers francs. Mais si vous lui demandez de jouer la défense (choisir le bon adversaire à marquer), il n'est pas meilleur. Les compétences sont liées, mais ce sont des muscles différents.

5. La solution : L'entraînement « Polyvalent »

Les chercheurs ont tenté une dernière chose : ils ont entraîné le robot sur les deux jeux en même temps.

Le résultat : Cela a bien mieux fonctionné. Le robot a appris une sorte de « conscience de soi générale » qui l'a aidé tant pour le jeu du nombre que pour le jeu du choix. Il est devenu un penseur plus flexible et plus fiable sur l'ensemble du spectre.

L'essentiel à retenir

Peut-on apprendre à une IA à savoir quand elle devine ? Oui.
Cela fonctionne-t-il sur de nouveaux sujets ? Oui, cela aide l'IA à être plus honnête concernant les questions médicales et juridiques, même si elle a été principalement entraînée sur des anecdotes et des mathématiques.
Est-ce parfait ? Non. Enseigner à une IA à donner un score de confiance ne lui apprend pas automatiquement à comparer deux questions, et vice versa.
La solution : Pour obtenir les meilleurs résultats, il faut entraîner l'IA sur plusieurs types de tâches d'« auto-vérification » simultanément.

En résumé, l'article montre que l'IA peut apprendre à être un meilleur juge de ses propres connaissances, mais qu'elle a besoin d'un régime d'entraînement varié pour le faire efficacement. Il ne s'agit pas seulement de mémoriser des faits ; il s'agit d'apprendre à dire « Je sais cela » ou « Je ne suis pas sûr » d'une manière que les humains peuvent réellement croire.

Résumé technique : Généralisation de la communication de l'incertitude et de la métacognition par l'ajustement fin dans les grands modèles de langage

Énoncé du problème

Les grands modèles de langage (LLM) sont de plus en plus déployés dans des domaines à enjeux élevés tels que le droit, la médecine et l'éducation. Une limitation critique dans ces contextes est que les modèles génèrent souvent des informations factuellement incorrectes avec une grande confiance, induisant les utilisateurs en erreur qui ne disposent pas de signaux clairs d'incertitude. Bien que les LLM puissent maintenir des signaux d'incertitude internes (par exemple, la probabilité des jetons ou la cohérence de l'échantillonnage), ils échouent fréquemment à exprimer ces signaux de manière explicite, calibrée et interprétable. Le reporting explicite de la confiance actuel est souvent mal aligné avec la justesse de la réponse, et les mesures implicites (comme la cohérence basée sur l'échantillonnage) nécessitent l'accès aux probabilités internes ou entraînent des coûts de calcul élevés. Le problème central abordé est de savoir si l'ajustement fin supervisé peut améliorer la capacité d'un LLM à communiquer l'incertitude et si ces améliorations métacognitives se généralisent à travers différents domaines de connaissances et des formats de tâches métacognitives distincts.

Méthodologie

Modèles et jeux de données

L'étude a utilisé deux modèles représentatifs : GPT-4.1-mini et Llama3.1-70B-Instruct.

Domaines d'entraînement : Trois jeux de données ont été utilisés pour l'ajustement fin : MMLU-PRO (choix multiples de niveau expert), GSM8K (mathématiques de niveau école primaire) et TriviaQA (culture générale à réponse courte). Ceux-ci ont été utilisés individuellement ou en combinaison (M+G+T).
Évaluation hors domaine : Trois jeux de données ont été réservés exclusivement pour tester la généralisation : TruthfulQA (conceptions erronées), MetaMedQA (raisonnement médical) et LegalBench (raisonnement juridique).

Tâches métacognitives

Deux tâches complémentaires ont été évaluées :

Estimation de la confiance pour une question unique : Le modèle fournit un score de confiance numérique (0–1) aux côtés de sa réponse. La performance est mesurée par la Calibration (Erreur de Calibration Attendue, ECE) et la Discrimination (Aire Sous la Courbe, AUC, et méta-information au niveau de la réponse, $meta-I^2_{r,ans}$ ).
Comparaison de confiance par paire : Étant donné deux questions, le modèle sélectionne celle qu'il est le plus susceptible de répondre correctement. La performance est mesurée par l'AUCc (alignement avec les scores de cohérence de référence) et l'AUCa (alignement avec la justesse réelle de la réponse).

Procédure d'ajustement fin (Fine-Tuning)

Les auteurs ont employé un ajustement fin supervisé utilisant des signaux d'incertitude basés sur la cohérence comme cibles d'entraînement.

Génération de cibles : Pour chaque question d'entraînement, $N=10$ échantillons indépendants ont été générés. Un score de cohérence a été calculé sur la base de la proportion d'échantillons correspondant à la réponse modale.
Calibration : Pour les tâches de question unique, les scores de cohérence ont été mis en correspondance avec la précision empirique (calibration factuelle) pour créer des valeurs de confiance cibles. De petites quantités de bruit ont été ajoutées à ces cibles pour éviter que le modèle ne mémorise des classes discrètes et pour encourager un rapport plus fluide.
Variantes d'entraînement : Les modèles ont été ajustés sur :
- La confiance pour une question unique (S).
- La comparaison par paire (C).
- Les deux tâches conjointement (C+S).

Métriques d'évaluation

Calibration (ECE) : Mesure l'écart entre la confiance déclarée et l'exactitude observée.
Discrimination (AUC) : Mesure la probabilité qu'une réponse correcte reçoive une confiance plus élevée qu'une réponse incorrecte.
Méta-information : Quantifie la réduction de l'incertitude concernant la justesse de la réponse compte tenu de la classe de confiance du modèle.

Contributions clés et résultats

1. Amélioration au sein des domaines d'entraînement

L'ajustement fin supervisé a considérablement amélioré à la fois la calibration et la discrimination au sein des domaines utilisés pour l'entraînement.

Calibration : L'ajustement fin a réduit l'ECE de manière substantielle (ex: $\Delta ECE = -0,57$ pour GPT-4.1-mini sur les tests intra-domaine). Les modèles sont passés de prédictions surconfiantes et regroupées à une gamme plus large de valeurs de confiance alignées sur l'exactitude empirique.
Discrimination : L'AUC a augmenté de façon significative (ex: $\Delta AUC = 0,17$ ), indiquant que les modèles sont devenus meilleurs pour attribuer une confiance plus élevée aux réponses correctes et une confiance plus faible aux réponses incorrectes.
Exactitude : Crucialement, l'exactitude globale des réponses est restée stable ( $\Delta Accuracy \approx 0$ ), confirmant que les gains en discrimination étaient dus à une meilleure estimation de l'incertitude plutôt qu'à une amélioration de la justesse factuelle.

2. Généralisation à travers les domaines

Les modèles ajustés sur le jeu de données combiné (M+G+T) ont montré une amélioration de la calibration et de la discrimination lors de l'évaluation sur des benchmarks hors domaine (TruthfulQA, MetaMedQA, LegalBench).

Bien que les gains soient moindres que les améliorations intra-domaine, ils sont statistiquement significatifs ( $\Delta AUC = 0,05$ , $\Delta ECE = -0,03$ ).
Cela suggère que les compétences métacognitives concernant la communication de l'incertitude peuvent se transférer à des contenus et des formats de réponses inconnus, y compris des tâches complexes de raisonnement médical et juridique.

3. Transfert limité entre les tâches métacognitives

Une conclusion clé est l'absence de transfert bidirectionnel entre les deux tâches métacognitives lorsqu'elles sont entraînées de manière isolée.

Les modèles ajustés uniquement sur la confiance pour une question unique n'ont pas montré d'amélioration dans les tâches de comparaison par paire.
Les modèles ajustés uniquement sur la comparaison par paire n'ont pas montré d'amélioration dans l'estimation de la confiance pour une question unique.
Cela indique que l'estimation absolue et le classement relatif sont appris comme des routines métacognitives distinctes plutôt que comme différentes expressions d'un seul et même signal d'incertitude sous-jacent.

4. Avantages de l'ajustement fin multi-tâches

L'ajustement fin multi-tâches (C+S) a produit une généralisation plus large que l'entraînement par tâche unique.

Les modèles entraînés sur les deux tâches simultanément ont montré une performance supérieure dans les évaluations trans-domaines par rapport aux modèles à tâche unique.
Par exemple, sur MetaMedQA, le modèle multi-tâches a obtenu un AUC plus élevé et une ECE plus faible que les modèles à tâche unique.
Cela suggère que l'entraînement conjoint favorise le développement de représentations internes de l'incertitude partiellement partagées, comblant ainsi l'écart entre les routines métacognitives isolées.

5. Différences d'architecture de modèle

Bien que GPT-4.1-mini et Llama-3.1-70B aient montré des tendances similaires, il existe des nuances. Llama-3.1-70B a bénéficié de l'entraînement multi-tâches pour les tâches de question unique, mais a montré une légère baisse de performance dans la comparaison par paire sous l'ajustement fin multi-tâches par rapport à l'entraînement par comparaison à tâche unique. Cela implique que la capacité à former des représentations d'incertitude partagées via l'entraînement multi-tâches peut varier selon les architectures de modèles.

6. Études d'ablation

Calibration factuelle : L'inclusion de l'étape de mise en correspondance des scores de cohérence avec l'exactitude empirique a considérablement amélioré la calibration (réduisant la surconfiance) mais n'a pas modifié de manière significative la discrimination (AUC).
Injection de bruit : L'ajout de bruit aux valeurs de confiance cibles n'a pas changé les métriques de performance agrégées mais a considérablement augmenté la diversité des valeurs de confiance rapportées par le modèle, empêissant la production de nombres uniquement discrets et ronds.

Signification et affirmations

L'article affirme que la communication de l'incertitude dans les LLM est entraînable, mais que le transfert entre les tâches métacognitives est limité sans intervention spécifique.

Entraînabilité : L'ajustement fin supervisé utilisant des signaux basés sur la cohérence aligne efficacement la confiance déclarée avec l'exactitude observée, répondant ainsi au risque d'erreurs surconfiantes dans les applications à enjeux élevés.
Généralisation de domaine : Ces améliorations se transfèrent à des domaines non vus (médical, juridique), suggérant que la communication de l'incertitude n'est pas strictement liée à des bases de connaissances spécifiques.
Spécificité des tâches : L'étude conteste l'hypothèse selon laquelle les compétences métacognitives sont monolithiques. L'échec du transfert d'un entraînement à tâche unique vers d'autres formats métacognitifs suggère que les LLM apprennent des "routines" distinctes pour différents types d'évaluation de l'incertitude.
Solution multi-tâches : L'article pose que l'ajustement fin multi-tâches est une stratégie viable pour surmonter ces limitations, favorisant des représentations d'incertitude partagées qui soutiennent une généralisation plus large.

Les auteurs concluent que bien que leurs résultats soient prometteurs, ils sont limités à deux familles de modèles et à des tâches spécifiques. Ils appellent à des tests plus approfondis sur diverses familles de modèles et un éventail plus large de tâches métacognitives (par exemple, l'abstention, la détection d'erreurs) pour comprendre pleinement la généralisabilité de ces représentations d'incertitude partagées.