Résumé Technique : CaliDist

Énoncé du Problème

Les grands modèles de langage (LLM), particulièrement ceux affinés par apprentissage par renforcement à partir de la rétroaction humaine (RLHF), présentent fréquemment une décalibration sévère, tendant vers une surconfiance. Les paradigmes de calibration existants font face à des limitations significatives :

1. Méthodes dépendantes des logits : Les techniques post-hoc traditionnelles comme la mise à l'échelle de la température (Temperature Scaling - TS) nécessitent un accès direct aux logits du modèle, ce qui les rend inapplicables aux API propriétaires de type boîte noire.
2. Méthodes basées sur la cohérence : Les approches reposant sur l'auto-cohérence (par exemple, mesurer la stabilité de la réponse à travers de multiples passages forward stochastiques) entraînent des coûts de calcul élevés et mesurent la cohérence interne plutôt que la robustesse face à des défis externes.
3. Écart de robustesse comportementale : Une dimension critique de la fiabilité reste sous-explorée : la robustesse comportementale d'un modèle face à des informations non pertinentes ou trompeuses. Des études récentes indiquent que les LLM sont fragiles, modifiant souvent leurs prédictions lorsqu'ils sont exposés à des « distracteurs » plausibles mais non pertinents. Cette fragilité reflète des phénomènes cognitifs humains tels que l'effet de désinformation (où la mémoire est altérée par des informations post-événementielles) et l'effet Dunning-Kruger (où une faible compétence est couplée à une auto-évaluation gonflée).

Méthodologie : CALIDIST

Les auteurs proposent CALIDIST, un nouveau cadre de calibration post-hoc qui quantifie et pénalise la susceptibilité d'un modèle à la distraction. La méthode opère sans nécessiter d'accès aux composants internes du modèle (logits ou états cachés), ce la rend applicable aux LLM en boîte blanche et en boîte noire.

Mécanisme Central

Le cadre suit un processus en trois étapes pour chaque échantillon d'entrée :

1. Génération de Distracteurs :
   Le prompt original $\pi_o$ est augmenté de $k$ distracteurs sémantiques ($D = \{d_1, \dots, d_k\}$). Ces distracteurs sont construits sur la base des étiquettes de classes non sélectionnées et se répartissent en trois styles distincts :

   • Style Assertion : Énoncés faisant autorité mais trompeurs (ex: « Un expert dit que la réponse est... »).
   • Style Probe (Sonde) : Questions directes contestant la certitude du modèle (ex: « Pensez-vous que la réponse pourrait être... ? »).
   • Style Sample-Corruption (Corruption d'échantillon) : Indices trompeurs intégrés directement dans les données d'entrée (ex: corrompre une hypothèse dans une tâche de NLI).

2. Quantification de l'Instabilité :
   Le modèle génère des prédictions et des scores de confiance pour le prompt original et pour les $k$ prompts distraits. Deux métriques sont calculées :

   • Instabilité de Prédiction ($\mu$) : La fréquence pondérée des changements de prédiction lorsque le modèle est distrait. Un $\mu$ élevé indique que le modèle est facilement influençable.
   • Instabilité de Confiance ($\delta$) : L'ampleur du décalage entre la confiance originale et la confiance moyenne sous distraction. Un $\delta$ élevé indique une certitude volatile.

3. Score de Fiabilité et Calibration :
   Ces métriques sont synthétisées en un Score de Fiabilité ($\lambda$) :
   $$\lambda_{raw} = \frac{1 - \mu}{\delta + \epsilon}$$
   Ici, $(1-\mu)$ agit comme un mécanisme de filtrage (effondrant la fiabilité si les prédictions basculent), tandis que $\delta$ agit comme un gain de sensibilité au dénominateur. Le score brut est normalisé et projeté sur un facteur d'échelle $\sigma$ via une fonction sigmoïde paramétrée (fondée sur le Platt Scaling) :
   $$\sigma(\lambda) = \frac{1}{1 + e^{-\beta(\lambda - \alpha)}}$$
   La confiance calibrée finale est obtenue en mettant à l'échelle la confiance originale : $Conf_{\sigma} = \sigma \cdot P(y|x)$. Les paramètres $\alpha$ et $\beta$ sont appris sur un ensemble de validation (held-out) afin de minimiser le Brier Score.

Principales Contributions

1. La robustesse comportementale comme signal de calibration : L'article introduit la robustesse comportementale à la distraction comme une nouvelle dimension critique pour la calibration des LLM, démontrant empiriquement une forte corrélation négative entre l'instabilité de prédiction et la précision.
2. Le Cadre CALIDIST : Une nouvelle méthode post-hoc préservant la précision qui ajuste de manière adaptative les scores de confiance en fonction de la stabilité d'un modèle face à des distracteurs sémantiques.
3. Applicabilité Boîte Noire : Contrairement aux méthodes dépendantes des logits, CALIDIST ne nécessite aucun accès interne au modèle, fonctionnant efficacement sur des API propriétaires (ex: GPT-4o, Gemini) via des log-probabilités ou une confiance verbalisée.
4. Supériorité Empirique : Des expériences approfondies sur sept benchmarks de compréhension du langage naturel (NLU) et six LLM distincts démontrent que CALIDIST surpasse systématiquement les bases solides, incluant la mise à l'échelle de la température et diverses méthodes de cohérence.

Résultats Expérimentaux

Les auteurs ont évalué CALIDIST sur des jeux de données incluant MNLI, MSciNLI, PPDB, HellaSwag, Commonsense QA, Yahoo Answers et AQuA-RAT en utilisant des modèles tels que Llama-3.1, Qwen-3, Phi-4-mini, Gemma-3, GPT-4o-Mini et Gemini-2.0-Flash.

• Réduction de l'Erreur de Calibration : CALIDIST a obtenu une amélioration relative de 70 % de l'Expected Calibration Error (ECE) en moyenne, réduisant l'ECE de 23 % à 7 %.
• Comparaison avec les Baselines :
  • CALIDIST a systématiquement obtenu des ECE et des Brier Scores plus faibles que la mise à l'échelle de la température (TS), l'auto-cohérence, la cohérence basée sur l'entropie et le First-Second-Distance (FSD).
  • Dans les configurations boîte noire utilisant la confiance verbalisée, CALIDIST a nettement surpassé les bases verbalisées non calibrées.
  • Sur les modèles propriétaires (GPT-4o-Mini, Gemini-2.0-Flash), CALIST a atteint des résultats de calibration de pointe, surpassant substantiellement toutes les bases.
• Efficacité : CALIST est plus efficace en termes de calcul que les méthodes de cohérence. Alors que l'auto-cohérence nécessite souvent 15 à 40 passages forward, CALIST obtient des résultats supérieurs avec beaucoup moins de passages (par exemple, $k \approx 3$ à $9$ selon l'espace des étiquettes), réduisant l'utilisation de tokens d'environ 5 fois par rapport aux bases d'auto-cohérence.
• Généralisabilité : Les paramètres sigmoïdes appris ($\alpha, \beta$) ont démontré une forte généralisabilité à travers les domaines, transférant efficacement des tâches sources (ex: MNLI) vers des tâches cibles plus exigeantes (ex: MSciNLI).

Signification et Revendications

L'article affirme que la stabilité comportementale est un proxy puissant et mesurable de la probabilité d'erreur d'un modèle. En opérationnalisant des concepts psychologiques tels que l'effet de désinformation et l'effet Dunning-Kruger en métriques d'ingénierie, CALIST fournit une mesure directe et spécifique à l'instance de la fiabilité.

Les auteurs soulignent que leur approche déplace la calibration de la confiance d'un simple ajustement statistique vers une évaluation de la robustesse comportementale. Cela est particulièrement significatif pour les applications à enjeux élevés où :

• L'accès interne au modèle est restreint (scénarios boîte noire).
• L'efficacité computationnelle est primordiale.
• La fiabilité nécessite de comprendre comment un modèle se comporte sous pression cognitive.

Le travail suggère que pour réellement faire confiance à la confiance d'un modèle, il faut d'abord comprendre son comportement sous pression. Les auteurs notent que bien que leur évaluation se concentre sur les modèles de moins de 10 milliards de paramètres pour cibler les applications de bordure (edge) rentables, le cadre fournit une base pour développer des « tests de stress » spécifiques au modèle et pour intégrer des signaux comportementaux dans les futurs objectifs d'entraînement.