Résumé technique : SAGE – Cibles d'incertitude conditionnées par la réponse pour l'alignement de l'incertitude verbale

Énoncé du problème

Les grands modèles de langage (LLM) génèrent fréquemment des textes fluides et plausibles même lorsque la réponse sous-jacente est incertaine ou non étayée, ce qui entraîne des hallucinations aux conséquences potentiellement graves dans le monde réel. Bien que les chercheurs aient exploré les signaux internes (ex. : probabilités de jetons) et les signaux basés sur l'échantillonnage pour estimer l'incertitude, l'incertitude verbale — où le modèle exprime explicitement sa confiance (ex. : « Je suis sûr à 80 % ») — offre un signal direct et interprétable pour les utilisateurs.

Cependant, une lacune critique existe dans l'alignement de l'incertitude verbale : l'incertitude exprimée ne reflète souvent pas la fiabilité comportementale réelle du modèle. Les approches existantes traitent le calibrage de l'incertitude comme un problème au niveau de la réponse (ex. : ajustement fin supervisé sur une sortie unique ou optimisation de préférence par paire). Les auteurs soutiennent que cela est fondamentalement insuffisant car une réponse unique ne peut pas révéler si la masse de probabilité du modèle est concentrée sur cette réponse ou dispersée à travers des alternatives plausibles. Cela crée un « aveuglement distributionnel » où le modèle apprend à imiter les expressions d'incertitude sans apprendre à les aligner avec la stabilité de sa propre distribution de réponses.

De plus, bien que les cibles au niveau du groupe (utilisant des rollouts répétés pour estimer l'incertitude) soient théoriquement fondées, les méthodes existantes souffrent d'un « goulot d'étranglement du signal de récompense » :

1. Fréquence de réponse maximale (MAF) : Fidèle à la stabilité de la réponse, mais grossière ; elle ignore la distance sémantique et les variations de raisonnement, associant des groupes distincts à des scores identiques si les comptes majoritaires correspondent.
2. Entropie sémantique (SE) : Gère les paraphrases via un partitionnement sémantique rigide, mais produit des récompenses discontinues et grossières. De petits changements au sein d'un cluster ne produisent aucun signal, tandis qu'un franchissement de frontière provoque des sauts discrets.
3. Entropie de langage par noyau (KLE) : Fournit des signaux lisses via la similitude d'embedding continue, mais échoue à préserver les distinctions de réponses critiques pour la tâche. Elle peut traiter des options mutuellement exclusives (ex. : « A » contre « B ») ou des valeurs numériques distinctes comme étant hautement similaires en raison de la géométrie générique des embeddings, entraînant une sous-estimation de l'incertitude.

Méthodologie

Le papier propose un cadre en deux parties pour répondre à ces limitations : SAGE (Semantic-Answer Guided Entropy) pour la construction de la cible et GUPO (Group-Uncertainty Preference Optimization) pour l'entraînement.

1. SAGE : Entropie guidée par la sémantique et la réponse

SAGE est une cible d'auto-incertitude au niveau du groupe conçue pour construire une géométrie d'incertitude conditionnée par la réponse. Elle vise à être simultanément fidèle à la réponse, fluide en termes de récompense et respectueuse de l'échelle.

• Noyau linguistique : Il commence par un noyau de similitude sémantique continue, $K_{ling}$, basé sur le contenu porteur de la réponse $z_i$, mesurant une similitude sémantique fluide.
• Noyau d'équivalence de réponse : Pour empêcher les embeddings génériques de brouiller les distinctions critiques pour la tâche, SAGE introduit un noyau binaire d'équivalence de réponse spécifique à la tâche, $K_{ans}^{bin}$. Ce noyau attribue une valeur de 1 aux réponses équivalentes (ex. : même étiquette de choix multiple, valeur numérique normalisée ou expression symbolique vérifiée) et 0 sinon.
• Plancher souple (Soft Floor) : Pour éviter la discontinuité du partitionnement rigide, SAGE emploie un mécanisme de « plancher souple » :
  $$K_{ans}^{soft}(a_i, a_j) = c + (1-c)K_{ans}^{bin}(a_i, a_j)$$
  où $c \in [0, 1]$ contrôle le degré de séparation des réponses. $c=0$ impose une séparation stricte, tandis que $c=1$ permet de retrouver la similitude linguistique pure.
• Noyau combiné : Le noyau final combine les similitudes linguistiques et celles liées à la réponse :
  $$K_A(y_i, y_j) = (K_{ling}(y_i, y_j))^\alpha \cdot (K_{ans}^{soft}(a_i, a_j))^\beta$$
• Calcul de l'entropie : La matrice de noyau est normalisée en une matrice de densité $P_A$, et SAGE est définie comme l'entropie de von Neumann normalisée de $P_A$. Une entropie plus faible indique des réponses concentrées (faible incertitude), tandis qu'une entropie plus élevée indique une dispersion à travers les significations, les chemins de raisonnement ou les réponses finales.

2. GUPO : Optimisation de la préférence d'incertitude de groupe

GUPO est un cadre d'entraînement qui utilise SAGE comme signal de supervision. Contra-irement aux méthodes standards qui optimisent l'ensemble de la réponse, GUPO optimise uniquement le canal d'incertitude ($v_i$) de la réponse $y_i = (z_i, v_i)$.

• Construction de la préférence : Pour un groupe de $K$ réponses échantillonnées, la récompense $r_i$ est calculée sur la base de la distance entre l'incertitude exprimée $\hat{u}(v_i)$ et la cible SAGE $t(G_x)$.
• Optimisation : GUPO applique une distribution de préférence sur les expressions d'incertitude au sein du groupe, optimisant la politique pour maximiser la log-vraisemblance des expressions d'incertitude qui correspondent le mieux à la cible de groupe. Cela est formulé comme suit :
  $$L_{GUPO} = -\mathbb{E}_{x, G_x} \left[ \sum_{i=1}^K \text{stopgrad}(p_i^{cal}) \cdot \log \pi_\theta(v_i | x, z_i) \right]$$
  où $p_i^{cal}$ est la probabilité de préférence dérivée des scores de récompense.

Contributions clés

1. Formulation du problème : Les auteurs identifient l'alignement de l'incertitude verbale comme un problème de calibrage distributionnel et pointent le « goulot d'étranglement du signal de récompense » des cibles de groupe existantes (MAF, SE, KLE) qui limite leur efficacité.
2. Cible SAGE : Ils introduisent SAGE, une nouvelle cible d'entropie qui injecte une structure sensible à la réponse dans la géométrie de la réponse. Elle préserve la fluidité tout en corrigeant l'échec des métriques génériques à distinguer des réponses incompatibles (ex. : différentes étiquettes d'options ou nombres distincts).
3. Cadre GUPO : Ils proposent GUPO, un cadre d'optimisation de préférence pour le canal d'incertitude qui découple le calibrage de l'incertitude verbale de l'optimisation du contenu complet de la réponse.
4. Validation empirique : L'approche est validée à travers trois formats de réponse distincts : QA factuel (TriviaQA), raisonnement mathématique (MATH-500) et raisonnement à choix multiples (MMLU-Pro).

Résultats

Les expériences démontrent que GUPO + SAGE surpasse systématiquement les bases de référence existantes (incluant Direct Verbalized, CoT, CSFT, et LoVeC-DPO) ainsi que les autres cibles de groupe (MAF, SE, KLE).

• Calibrage : La méthode obtient les scores de Brier et l'erreur de calibration attendue (ECE) les plus bas sur tous les benchmarks. Par exemple, sur MMLU-Pro, GUPO+SAGE a réduit l'ECE à 0,113 contre 0,179 pour la meilleure base de référence suivante.
• Classement de l'incertitude : Elle améliore significativement la corrélation de Spearman, indiquant que l'incertitude exprimée par le modèle classe mieux les exemples selon leur fiabilité réelle.
• Précision sélective : Le cadre produit des gains substantiels dans la précision des sous-ensembles à haute confiance (ex. : +22,4 à +33,0 points de pourcentage sur MMLU-Pro à divers seuils de confiance), prouvant que les prédictions assignées à une incertitude plus faible sont plus susceptibles d'être correctes.
• Transférabilité : Les améliorations se maintiennent à travers différentes échelles de modèles (Qwen2.5-1.5B, 3B, et 7B), suggérant que la méthode n'est pas dépendante de la capacité spécifique du backbone.

Signification et affirmations

Le papier affirme que l'incertitude comportementale au niveau du groupe peut être distillée en expressions d'incertitude de réponse unique uniquement lorsque la construction de la cible et le canal d'optimisation sont correctement conçus.

• Combler l'écart de cible : Les auteurs soutiennent que sans une cible fiable et sensible à la réponse comme SAGE, les signaux de récompense s'effondrent en bruit ou en raccourcis, empêissant l'optimiseur de distinguer une incertitude calibrée de motifs superficiels.
• Alignement comportemental : Ce travail déplace le paradigage de l'apprentissage de « dire » l'incertitude vers l'apprentissage de « refléter » la stabilité de la propre procédure d'échantillonnage du modèle.
• Utilité pratique : En améliorant l'ordre et l'échelle de l'incertitude verbale, le cadre permet une prise de décision en aval plus efficace, telle que la confiance, la vérification ou l'abstention des sorties du modèle.

Limites : Les auteurs notent modestement que leur méthode aligne l'incertitude verbale avec l'incertitude de soi comportementale (stabilité de l'échantillonnage), et non nécessairement avec la justesse externe (vérité). Un modèle peut être stable mais faux. Par conséquent, SAGE est présenté comme complémentaire au calibrage basé sur la justesse et à la validation externe, plutôt que comme un remplacement, particulièrement dans les domaines à enjeux élevés comme la médecine ou le droit où une preuve spécifique au domaine est requise. De plus, la qualité de la cible dépend de la fiabilité des modules d'extraction et d'équivalence de réponses.