Résumé Technique : Sur les Scores de Confiance Verbalisés pour les LLM

Énoncé du Problème

L'intégration croissante des Grands Modèles de Langage (LLM) dans la vie quotidienne a créé un besoin critique de mécanismes de fiabilité. Contrairement aux moteurs de recherche traditionnels ou aux forums de questions-réponses qui utilisent le vote humain ou le classement par pertinence pour indiquer la fiabilité, les réponses des LLM manquent souvent d'indicateurs de confiance inhérents. La confiance aveugle en ces systèmes pose des risques, nécessitant des méthodes robustes de Quantification de l'Incertitude (UQ).

Les approches UQ existantes reposent généralement sur :

1. Connaissance Interne : Échantillonnage de multiples réponses pour mesurer la cohérence ou utilisation des logits de tokens internes. Ces méthodes échouent souvent à être agnostiques au modèle (les logits sont inaccessibles dans les modèles boîte noire) ou entraînent une surcharge computationnelle élevée (échantillonnage).
2. Connaissance Externe : Utilisation de modèles proxy ou de bases de connaissances. Ceux-ci manquent souvent de généralisation à travers différents prompts et tâches.

L'article examine les scores de confiance verbalisés, une méthode où le LLM est invité à générer explicitement un score de confiance en plus de sa réponse. Bien que cette approche soit agnostique au prompt, agnostique au modèle et entraîne une faible surcharge, sa fiabilité est contestée. Des études antérieures ont rapporté des résultats contradictoires concernant l'étalonnage de ces scores, suggérant que la méthode de formulation du prompt pourrait être le facteur décisif.

Méthodologie

Les auteurs mènent une analyse empirique complète pour déterminer comment les caractéristiques des jeux de données, la capacité du modèle et l'ingénierie des prompts affectent la fiabilité des scores de confiance verbalisés.

Configuration Expérimentale

• Jeux de Données : 10 jeux de données divers (par exemple, ARC, MMLU, TruthfulQA, CommonsenseQA) couvrant divers domaines (sciences, logique, bon sens social) et niveaux de difficulté. L'évaluation est restreinte aux questions fermées, objectives et sans accès à des sources externes, afin de garantir que l'exactitude de la vérité terrain puisse être déterminée.
• Modèles : 11 LLMs allant de petits modèles open-source (par exemple, Gemma 2B, Llama 3 8B) à de grands modèles (par exemple, Llama 3 70B, Qwen 110B, GPT-4o).
• Méthodes de Prompting : 17 variations de prompts distinctes catégorisées par :
  • Plage de Score : Pourcentages (0-100), décimales (0-1), lettres discrètes (A-E) ou étiquettes textuelles.
  • Formulation du Score : Demande de « confiance » versus « probabilité de justesse ».
  • Description Avancée : Instruction explicite au modèle de prendre en compte l'incertitude du prompt, la difficulté de la tâche et la disponibilité des connaissances.
  • Prompting Few-Shot : Fourniture de 1 ou 5 exemples de paires réponse-confiance.
  • Complexité : Variations incluant la Chaîne de Pensée (CoT) ou le classement de plusieurs hypothèses.

Métriques d'Évaluation

La fiabilité des scores est évaluée selon trois critères de haut niveau :

1. Étalonnage : Mesuré par l'Erreur d'Étalonnage Attendue (ECE) et le SmoothECE (smECE). Un score étalonné $C$ implique $P(\text{correct} | C=c) = c$.
2. Informativité : Mesurée par la variance et le nombre de valeurs distinctes dans les scores de confiance prédits. Un modèle qui sort toujours le même score est non informatif.
3. Significativité : Mesurée par la divergence de Kullback-Leibler (KL) entre la distribution de confiance d'un jeu de données spécifique et la distribution globale. Cela évalue si le modèle ajuste sa confiance en fonction de la difficulté de la tâche.

Résultats Clés

1. Dépendance à la Stratégie de Prompting

L'étude confirme que la fiabilité des scores de confiance verbalisés n'est pas intrinsèque au modèle mais dépend fortement de la manière dont le modèle est interrogé.

• Résolution des Désaccords : L'article résout les contradictions de la littérature (par exemple, Tian et al. contre Xiong et al.) en montrant que différentes formulations de prompts produisent des résultats d'étalonnage radicalement différents.
• Petits vs Grands Modèles :
  • Petits LLMs : Bénéficient le plus de formulations de prompts simples. Des méthodes complexes comme le prompting few-shot ou le classement de plusieurs hypothèses dégradent considérablement la fiabilité. La formulation « score de probabilité » (demandant une probabilité 0-1) a fourni la meilleure amélioration.
  • Grands LLMs : Bénéficient de méthodes de prompts complexes. La combinaison d'une formulation probabiliste, de descriptions avancées (mentionnant explicitement les sources d'incertitude) et d'exemples few-shot a produit les meilleurs résultats.

2. Performance d'Étalonnage

• Surestimation de la Confiance : La plupart des modèles font preuve de surestimation, les scores de confiance restant élevés même lorsque la précision chute sur des jeux de données difficiles.
• Capacité du Modèle : Bien que la précision augmente avec la taille du modèle, les améliorations d'étalonnage sont principalement dues à l'augmentation de la précision plutôt qu'à une réduction de la surestimation.
• Meilleure Performance : Pour les grands LLMs, la méthode « combo » (formulation probabiliste + description avancée + exemples few-shot) a atteint un écart moyen de 7% par rapport à la précision empirique (ECE $\approx$ 0,07), représentant une amélioration qualitative significative du comportement d'étalonnage.

3. Informativité et Significativité

• Les prompts simples entraînent souvent une faible variance (informativité), les modèles se regroupant autour d'une confiance élevée.
• Les prompts complexes pour les grands modèles ont réussi à encourager la génération de scores de confiance diversifiés reflétant mieux la difficulté du jeu de données sous-jacent (plus grande significativité).

Contributions Clés

1. Décomposition Intuitive de l'Incertitude : Les auteurs proposent une décomposition de l'incertitude des LLM en incertitude d'Entrée, de Modèle et de Sortie, se concentrant spécifiquement sur l'incertitude de sortie concernant l'exactitude objective.
2. Spécification Précise de la Fiabilité : L'article définit et évalue la fiabilité à travers une triade de métriques : Étalonnage, Informativité et Significativité, allant au-delà des simples vérifications de précision.
3. Insights Empiriques : L'étude fournit une analyse granulaire de la manière dont la difficulté des jeux de données, la capacité du modèle et des techniques spécifiques d'ingénierie des prompts interagissent pour déterminer la qualité de la confiance verbalisée.
4. Open Source : Le code d'évaluation et les modèles de prompts sont rendus publics pour faciliter la recherche ultérieure.

Importance et Revendications

L'article soutient que les scores de confiance verbalisés représentent une méthode prometteuse, simple et polyvalente pour la quantification de l'incertitude, satisfaisant aux exigences d'être agnostique au prompt, agnostique au modèle et à faible surcharge.

Cependant, les auteurs adoptent une position modeste concernant l'état actuel de la technologie :

• Pas une Solution Miracle : La fiabilité de ces scores est actuellement « grandement influencée par la manière de poser la question ». Ils ne sont pas encore entièrement fiables pour un déploiement réel sans une ingénierie de prompts soigneuse.
• Potentiel Futur : Les auteurs suggèrent que si les LLMs peuvent être appris à exprimer des scores de confiance diversifiés et significatifs via un prompting simple, atteindre un étalonnage complet et une auto-conscience pourrait nécessiter des avancées supplémentaires en optimisation des prompts, en ingénierie guidée par les LLM ou en fine-tuning.
• Limitation du Périmètre : Le travail actuel est limité à l'exactitude objective. Il ne traite pas des questions subjectives ou des tâches de génération ouverte où la « justesse » est mal définie.

En conclusion, l'article établit que la confiance verbalisée est une voie viable pour la fiabilité des LLM, à condition que la stratégie de prompting soit soigneusement adaptée à la taille spécifique du modèle et à la complexité de la tâche.