Geometry-Calibrated Conformal Abstention for Language Models

1. Énoncé du problème

Les grands modèles de langage (LLM) échouent souvent à reconnaître leurs propres limites de connaissances. Lorsqu'ils sont confrontés à des requêtes hors de leur distribution d'entraînement ou de leur base de connaissances, ils ont tendance à générer des réponses qui semblent plausibles mais sont factuellement incorrectes (hallucinations) plutôt que de s'abstenir (dire « Je ne sais pas »).

• Limites de l'entraînement : Réentraîner les modèles pour récompenser l'abstention est difficile en raison de la rareté des benchmarks qui pénalisent explicitement les devinettes et récompensent l'ignorance. De plus, de telles interventions peuvent entraîner un surajustement ou un comportement excessivement conservateur où les modèles refusent de répondre même lorsqu'ils connaissent la réponse.
• Méthodes post-hoc existantes : La prédiction conforme (CP) traditionnelle offre des garanties à échantillon fini pour l'incertitude, mais repose sur des « scores de non-conformité ». Dans la génération de texte en libre cours, définir une fonction de score de vérité terrain est intraitable car les réponses correctes peuvent prendre une infinité de formes sémantiquement équivalentes.
• Question centrale : Peut-on équiper les LLM d'un mécanisme post-hoc pour s'abstenir de manière fiable de répondre en cas d'incertitude, sans réentraînement, tout en fournissant des garanties théoriques sur la justesse ?

2. Méthodologie : Abstention conforme (CA)

Les auteurs proposent l'Abstention Conforme (CA), un cadre qui combine la théorie de la prédiction conforme avec une nouvelle stratégie de calibration basée sur la géométrie des représentations.

A. Cadre théorique (Abstention Conforme)

CA adapte la CP au contexte de la génération de langage en se concentrant sur la confiance de prédiction plutôt que sur les scores de non-conformité. Elle établit deux garanties à échantillon fini :

1. Garantie de participation : Bornes la probabilité que le modèle fournisse une réponse (ne s'abstienne pas).
2. Garantie de justesse conditionnelle : Bornes la probabilité qu'une réponse fournie soit correcte, étant donné que le modèle a choisi de participer.

Le cadre utilise un score d'incertitude $r(\hat{y}|x)$ (par exemple, la perplexité). En fixant un seuil $\tau$ basé sur un ensemble de calibration, le modèle s'abstient si le score dépasse $\tau$. Les preuves théoriques (Théorème 3.1, Lemme 3.2) démontrent que si les paires entrée-sortie sont échangeables, la justesse conditionnelle des réponses conservées est bornée inférieurement par un niveau de confiance spécifié par l'utilisateur.

B. Calibration via la géométrie des représentations

Pour s'assurer que le score d'incertitude reflète fidèlement l'état interne du modèle (connaissance vs ignorance), les auteurs introduisent une stratégie de calibration basée sur la géométrie des représentations de tokens à travers les couches du transformeur. Ils émettent l'hypothèse que lorsque le modèle exploite ses connaissances internes, les mises à jour du MLP (Perceptron Multicouche) induisent des transformations géométriques spécifiques dans les états cachés.

Ils extraient trois signaux géométriques de la trajectoire de l'embedding du dernier token de requête :

1. Proximité ($\omega$) : Mesure la contribution de la mise à jour du MLP. Elle calcule la distance entre les embeddings pré-MLP et post-MLP. Une petite distance (proximité élevée) indique que le MLP a activement façonné la représentation.
2. Rotation de l'embedding ($\theta$) : Mesure l'angle de rotation induit par la mise à jour du MLP. De grandes rotations suggèrent un changement significatif dans la direction de prédiction, souvent associé à la récupération de connaissances spécifiques.
3. Alignement ($\phi$) : Mesure l'angle entre l'embedding du token et la direction anisotrope dominante des données de la distribution interne. Un alignement élevé suggère que le modèle opère au sein de sa distribution apprise ; une déviation suggère une extrapolation (incertitude).

Hypothèses validées :

• H1 : Les prédictions correctes sont associées à une forte contribution de connaissances (ω élevé) induisant une rotation significative (θ élevé).
• H2 : Les prédictions correctes restent alignées avec le cône anisotrope de la distribution interne (φ faible), tandis que les incorrectes s'en écartent.

C. Pipeline de calibration

1. Extraction de caractéristiques : Pour chaque token, le modèle calcule un vecteur de caractéristiques $(\Omega, \Theta, \Phi_{in}, \Phi_{out})$ capturant les signaux géométriques à travers toutes les couches.
2. Calcul de distance : Le système calcule la distance de Mahalanobis de ces caractéristiques par rapport aux distributions des prédictions correctes et incorrectes.
3. Entraînement du calibrateur : Un modèle XGBoost est entraîné pour mapper ces caractéristiques géométriques (combinées à la perplexité brute) en un score d'incertitude affiné.
4. Décision : Le score d'incertitude final détermine s'il faut s'abstenir en fonction du seuil conforme.

3. Contributions clés

1. Cadre d'Abstention Conforme : Une méthode post-hoc fournissant des garanties rigoureuses à échantillon fini pour les taux de participation et la justesse conditionnelle dans la génération en libre cours, contournant l'intratabilité des scores de non-conformité.
2. Calibration basée sur la géométrie : Une approche novatrice de quantification de l'incertitude qui exploite les dynamiques géométriques internes des couches de transformeur (contributions du MLP, rotations et anisotropie) pour mieux aligner la confiance avec la justesse réelle.
3. Garanties théoriques : Des preuves montrant que l'échangeabilité est préservée sous les transformations déterministes utilisées pour dériver les scores d'incertitude, assurant la validité des bornes conformes.
4. Évaluation complète : Expériences extensives sur six jeux de données divers (NQ, TruthfulQA, GSM8K, etc.) et plusieurs tailles de modèles (Gemma-3, LLaMA-3).

4. Résultats expérimentaux

• Performance : La méthode proposée surpasse significativement de solides références (incluant la Perplexité, l'Entropie Sémantique, les méthodes basées sur l'attention et la confiance verbalisée) sur tous les jeux de données.
• Justesse conditionnelle : Sous l'abstention conforme, la méthode atteint une justesse conditionnelle moyenne de 75,0 %. Cela signifie que lorsque le modèle décide de répondre, il est correct 75 % du temps, une amélioration significative par rapport aux références qui oscillent souvent autour de 50-60 %.
• Robustesse : La méthode maintient des performances élevées à travers différents taux de participation (de 10 % à 90 % des requêtes répondues).
• Études d'ablation : La permutation des signaux géométriques ($\omega, \theta, \phi$) entraîne des baisses de performance comparables, indiquant que les trois signaux sont cruciaux et complémentaires.
• Calibration de référence : Les auteurs montrent que l'application simple de leur calibrateur aux références existantes dégrade souvent les performances (en raison d'un surajustement sur des signaux de faible dimension), alors que leurs caractéristiques géométriques de haute dimension bénéficient considérablement de la calibration.

5. Importance

Ce travail comble une lacune critique de fiabilité dans le déploiement des LLM. En permettant aux modèles de s'abstenir de manière sélective avec des garanties théoriques, la CA réduit le risque d'hallucinations dans des domaines à haut risque (santé, droit, science) sans nécessiter de réentraînement coûteux. L'introduction de la géométrie des représentations comme proxy de « l'implication des connaissances » offre un nouveau paradigme pour la quantification de l'incertitude, allant au-delà des probabilités de surface pour atteindre les mécanismes internes de traitement de l'information par les modèles. Cela rend le système plus digne de confiance et exploitable pour des applications réelles où admettre son ignorance est préférable à fournir de fausses informations.