Adaptive Conformal Prediction for Improving Factuality of Generations by Large Language Models

1. Problématique

Les Grands Modèles de Langage (LLM) sont performants mais sujets aux hallucinations, générant des outputs fluides mais factuellement incorrects. Ce problème est critique dans des domaines à haut risque (médecine, droit, etc.).

Pour atténuer ces risques, la prédiction conformelle a été récemment appliquée aux LLMs. Cette méthode fournit des garanties statistiques d'erreur (couverture marginale) sans hypothèse sur la distribution des données. Cependant, les approches existantes souffrent d'un manque d'adaptabilité :

• Elles utilisent un seuil global unique (un quantile calibré) appliqué uniformément à toutes les entrées (prompts), indépendamment de leur difficulté, de leur ambiguïté ou de leur rareté.
• Cela entraîne un mésajustement conditionnel : pour certains prompts, le seuil est trop conservateur (sur-couverture, trop d'informations filtrées), tandis que pour d'autres, il est trop permissif (sous-couverture, risques d'erreurs non détectées).
• L'objectif est donc de maintenir les garanties de couverture marginale tout en améliorant la couverture conditionnelle (c'est-à-dire la fiabilité pour chaque type de prompt spécifique).

2. Méthodologie

Les auteurs proposent une approche de prédiction conformelle adaptative qui transforme les scores de non-conformité en fonction des caractéristiques de l'entrée (le prompt).

A. Cadre de base (Prédiction Conformelle pour LLMs)

• Décomposition des claims : Pour les générations de texte long, la réponse est décomposée en affirmations atomiques vérifiables.
• Score de non-conformité $V(x, y)$ : Défini comme le seuil maximal d'incertitude tel que toutes les affirmations retenues soient correctes.
• Filtrage : Un ensemble d'affirmations est retenu si leur score d'incertitude $s(c)$ est inférieur à un seuil calibré.

B. Approche Adaptative Proposée

L'idée centrale est de normaliser les scores de non-conformité en fonction de l'entrée $x$ pour rendre leur distribution conditionnelle invariante.

1. Estimation du Quantile Conditionnel :

   • L'algorithme apprend une fonction $\hat{\tau}(x)$ qui estime le quantile conditionnel $(1-\alpha)$ du score original $V(x, y)$, étant donné l'entrée $x$.
   • Cette estimation repose sur des représentations d'embeddings du prompt (obtenues via un modèle multilingue) et une régression de quantiles conditionnels (réseau de neurones MLP).

2. Transformation des Scores :

   • Les scores originaux sont transformés par division par l'estimation du quantile conditionnel :
     $$\tilde{V}(x, y) = \frac{V(x, y)}{\hat{\tau}(x)}$$
   • Cette normalisation multiplicative réduit la variabilité des scores entre différents types de prompts.

3. Calibration et Inférence :

   • L'ensemble des données est divisé en trois parties : $D_{cal1}$ (pour entraîner l'estimateur $\hat{\tau}$), $D_{cal2}$ (pour calibrer le seuil global sur les scores transformés), et $D_{test}$.
   • À l'inférence, les scores d'incertitude des candidats sont également normalisés par $\hat{\tau}(x)$ et comparés à un seuil global unique.

Cette méthode s'applique aussi bien aux questions à réponse ouverte (Long-form QA) qu'aux questions à choix multiples (MCQA).

3. Contributions Clés

1. Nouvelle approche de détection d'hallucinations : Proposition d'une méthode de prédiction conformelle qui apprend une correction adaptative aux scores de conformité via une régression de quantiles conditionnels basée sur les embeddings des prompts.
2. Garanties théoriques préservées : La méthode conserve les garanties de couverture marginale à échantillon fini de la prédiction conformelle standard, tout en améliorant significativement la couverture conditionnelle sur des prompts hétérogènes.
3. Validation empirique robuste : Des expériences sur plusieurs modèles (Mistral-7B, Llama-3.1-8B, Gemma-3-12B) et domaines démontrent une meilleure détection des hallucinations et une stabilité de la couverture supérieure aux méthodes existantes.

4. Résultats Expérimentaux

Les expériences ont été menées sur :

• Long-form QA : 8 catégories (Biographies, Inventions, Lieux, etc.) avec 300 générations par catégorie.
• MCQA : 16 catégories du dataset MMLU.

Principaux constats :

• Couverture Conditionnelle : Contrairement aux méthodes globales qui échouent à maintenir une couverture uniforme par catégorie (ex: sur-couverture sur les "Inventions" complexes, sous-couverture sur les "Biographies" simples), la méthode adaptative aligne la couverture empirique sur la cible pour chaque catégorie individuellement.
• Efficacité du filtrage : La méthode adaptative permet souvent de réduire la fraction d'éléments filtrés (claims ou réponses) tout en maintenant la même garantie de fiabilité, évitant ainsi un rejet excessif d'informations correctes.
• Performance des modèles : La méthode surpasse les baselines sur tous les modèles testés. L'utilisation de la fonction de score "Claim Conditioned Probability" (CCP) s'est révélée la plus performante pour le filtrage des claims.
• Profils de performance (Dolan-Moré) : Les courbes montrent que la méthode adaptative est plus robuste et fournit une calibration plus fiable sur l'ensemble des catégories hétérogènes par rapport à la méthode standard.

5. Signification et Impact

Ce travail est significatif car il résout un problème fondamental de l'application de la prédiction conformelle aux LLMs : l'hétérogénéité des prompts.

• Fiabilité accrue : En permettant une calibration dépendante du prompt, la méthode offre des garanties de fiabilité plus réalistes et plus justes pour des applications réelles où les questions varient en difficulté.
• Sélection adaptative : Elle permet de filtrer dynamiquement les réponses peu fiables sans sacrifier la couverture sur les cas faciles, optimisant ainsi l'utilité du modèle.
• Généralité : L'approche est applicable à divers types de tâches de génération (texte libre, choix multiples) et ne nécessite pas de regroupement manuel des données (groupes prédéfinis), s'appuyant plutôt sur l'apprentissage de représentations.

En conclusion, cette méthode représente une avancée majeure vers le déploiement de LLMs dans des environnements critiques, en fournissant des garanties de facticité plus fines et plus fiables que les approches statiques actuelles.