Human-Alignment and Calibration of Inference-Time Uncertainty in Large Language Models

Résumé Technique : Alignement Humain et Calibration de l'Incertitude au Moment de l'Inférence dans les Grands Modèles de Langage

Énoncé du Problème
La recherche récente s'est fortement concentrée sur la calibration des Grands Modèles de Langage (LLM) afin de garantir que leurs estimations d'incertitude prédisent avec précision la probabilité de générer une réponse valide. Cependant, une lacune critique subsiste : les travaux existants évaluent rarement si l'incertitude du modèle s'aligne sur l'incertitude humaine. Bien qu'une mesure puisse être bien calibrée par rapport à la précision du modèle, ses valeurs peuvent ne pas correspondre à l'intuition humaine, ce qui les rend difficiles à interpréter pour les utilisateurs. De plus, la plupart des méthodes de quantification de l'incertitude (UQ) nécessitent des générations auxiliaires (par exemple, le dropout de Monte Carlo), ce qui les rend inadaptées pour le contrôle en temps réel du modèle ou le retour d'information de l'utilisateur. Cet article traite de la nécessité de mesures d'UQ au moment de l'inférence qui soient simultanément calibrées (prédisant la justesse du modèle) et alignées (corrélées avec l'incertitude humaine au niveau des groupes).

Méthodologie
Les auteurs évaluent une collection de mesures d'incertitude au moment de l'inférence à travers plusieurs LLM (LLaMa-3.2 1B/3B, LLaMa-3.1 8B, et Mistral 7B 0.1/0.3, versions de base et ajustées pour l'instruction). L'étude utilise deux ensembles de données d'enquêtes humaines :

1. Jeu de données Pew : 38 questions issues d'enquêtes de Pew Research (utilisé comme référence).
2. Jeu de données Roper : 2 998 questions échantillonnées auprès du Roper Center for Public Opinion Research (2017–2023).

Définition de l'Incertitude Humaine : L'incertitude humaine est approximée par le niveau de désaccord entre les groupes de répondants aux enquêtes. Elle est calculée comme l'entropie des pourcentages de réponses normalisés pour chaque question.

Mesures d'Incertitude Évaluées :
L'étude se concentre sur des mesures calculables lors d'un passage de génération unique sans échantillonnage auxiliaire :

• Probabilité Top-1 : La probabilité du jeton (token) le plus probable.
• Mesures basées sur l'Entropie :
  • Entropie Totale : Entropie de Shannon sur l'ensemble de la distribution du vocabulaire.
  • Entropie Top-k : Entropie calculée sur les $k$ jetons les plus probables ($k \in \{5, 10, 25, 50, 100\}$), normalisée pour maintenir les ratios relatifs.
  • Entropie de Choix (Choice Entropy) : Entropie calculée spécifiquement sur les probabilités normalisées des choix de réponses fournis.
  • Entropie Top-p : Entropie sur les jetons sélectionnés via l'échantillonnage de noyau (nucleus sampling) ($p \in \{0.5, 0.75, 0.9, 0.95\}$).
• Taille Top-p : Le nombre de jetons dans l'ensemble du noyau.

Métriques d'Évaluation :

1. Alignement :
   • Accord Surtout Manifeste (Overt Agreement) : La fréquence avec laquelle le premier choix du modèle correspond au premier choix du groupe humain.
   • Ordre de Préférence : Mesuré via la distance normalisée de Kendall $\tau$ entre les classements de préférence du modèle et de l'humain.
   • Corrélation d'Incertitude : Corrélation de Pearson entre les scores d'incertitude du modèle et l'incertitude des groupes humains (entropie des réponses) à travers les questions.
2. Calibration :
   • Corrélation de Justesse : Corrélation de Spearman entre les mesures d'incertitude et la justesse binaire sur le benchmark MMLU.
     • Calibration Distributionnelle (Décalage JSD) : Une métrique novatrice mesurant le décalage de la distance de Jensen-Shannon (JSD). Les auteurs émettent l'hypothèse qu'une mesure bien calibrée montrera une augmentation significative de la distance entre la distribution de la réponse du modèle et la distribution de la réponse correcte lors du passage d'un état de haute certitude à un état de basse certitude.

Résultats Clés

• Alignement vs Préférence : Les modèles ont montré un accord modéré avec les humains sur le premier choix (dépassant le hasard), mais n'ont montré aucun alignement significatif dans l'ordre global des préférences (les distances Kendall $\tau$ étaient effectivement aléatoires).
• Alignement de l'Incertitude : Malgré l'absence d'alignement de l'ordre des préférences, plusieurs mesures ont montré une forte corrélation avec l'incertitude des groupes humains.
  • Mesures les plus performantes : L'entropie de choix, l'entropie totale, toutes les entropies Top-k et l'entropie Top-p (pour $p \ge 0.9$) ont montré de manière cohérente une corrélation significative ($|r| \ge 0.3$) sur tous les modèles.
  • Taille Top-p : A montré une corrélation faible mais significative pour $p \le 0.9$, contredisant certaines suppositions préalables.
  • Probabilité Top-1 : N'a pas montré de corrélation significative constante.
• Calibration : Les mesures qui s'alignaient bien avec l'incertitude humaine ont également démontré des preuves modérées à fortes de calibration sur MMLU.
  • L'Entropie de Choix est apparue comme la mesure la plus robuste, montrant une corrélation négative avec la justesse (une incertitude plus faible = une précision plus élevée) sur presque tous les modèles et sujets.
  • Décalage JSD : Des tests de permutation ont confirmé que pour la plupart des mesures, le décalage de la distance distributionnelle entre les états de haute et basse certitude était statistiquement significatif, indiquant que les mesures distinguent efficacement les états certains et incertains du modèle.

Principales Contributions

1. Connexion Top-p et Bayésienne : Les auteurs notent que la sélection top-p dans le décodage des LLM est fonctionnellement équivalente à l'ensemble de crédibilité de densité maximale bayésienne, une connexion auparavant non notée dans la littérature de l'UQ.
2. Découplage de l'Alignement et de la Préférence : Le travail observe que les mesures d'incertitude à l'inférence basées sur l'entropie peuvent s'aligner sur l'incertitude humaine même lorsque les modèles et les humains sont en désaccord sur les préférences ou l'ordre des réponses spécifiques.
3. Nouvelle Métrique de Calibration : Le développement d'une mesure de calibration distributionnelle basée sur le décalage de la métrique de distance de Jensen-Shannon pour évaluer directement l'impact de la certitude sur les distributions de réponses.
4. Preuve Empirique : L'étude fournit la preuve que les mesures alignées à l'inférence sont également calibrées en termes de corrélation de justesse et d'analyse distributionnelle.

Signification et Revendications
L'article affirme identifier un ensemble de mesures d'UQ à l'inférence qui sont efficaces et plus intuitives à interpréter pour les utilisateurs humains car elles s'alignent sur le comportement d'incertitude humain. Cela est significatif car cela suggère que les modèles peuvent fournir des signaux de confiance en temps réel que les utilisateurs peuvent comprendre, même si les modèles ne miment pas parfaitement la logique de sélection de réponses humaine.

Les auteurs concluent modestement que, bien que ces mesures présentent de fortes preuves initiales d'alignement et de calibration, elles ne sont pas parfaites. Ils soulignent que des travaux futurs sont nécessaires pour :

• Trouver des mesures hautement calibrées sans sacrifier l'alignement.
• Étendre ces résultats aux contextes de génération ouverte (en proposant un cadre pour convertir les réponses ouvertes en évaluations à choix multiples).
• Étudier l'alignement de l'incertitude au niveau individuel plutôt qu'au niveau des groupes.
• Tester ces mesures dans des applications réelles de coopération humain-LLM pour déterminer si elles améliorent la confiance de l'utilisateur et l'efficacité des tâches.

L'étude est limitée aux contextes à choix multiples et aux modèles de moins de 8 milliards de paramètres, notant que les résultats peuvent varier dans les modèles plus grands ou les scénarios ouverts.