Domain-Shift-Aware Conformal Prediction for Large Language Models

Résumé Technique : Prédiction Conforme Sensible au Décalage de Domaine pour les Grands Modèles de Langage

Énoncé du Problème
Les Grands Modèles de Langage (LLM) produisent fréquemment des sorties excessivement confiantes mais factuellement incorrectes (hallucinations), ce qui pose des risques importants dans des domaines à enjeux élevés comme la santé ou la finance. Bien que la Prédiction Conforme (CP) offre un cadre fondé sur des principes pour la quantification de l'incertitude (UQ) avec des garanties de couverture à échantplon fini et sans hypothèse de distribution, la CP standard repose sur l'hypothèse d'échangeabilité. Cette hypothèse exige que les données de calibration et de test soient tirées de la même distribution. Dans les déploiements réels, le décalage de domaine (domain shift) est omniprésent ; les prompts de test diffèrent souvent considérablement des données de calibration historiques en raison de l'évolution du comportement des utilisateurs ou des distributions d'entrée. Sous de tels décalages, la CP standard souffre fréquemment de sous-couverture, produisant des ensembles de prédiction trop étroits pour contenir la véritable réponse, échouant ainsi à fournir des garanties d'incertitude fiables.

Méthodologie : Cadre DS-CP
Les auteurs proposent la Prédiction Conforme Sensible au Décalage de Domaine (DS-CP), un cadre conçu pour adapter la CP aux LLM sous décalage de domaine sans nécessiter de données cibles étiquetées. La méthode traite l'infaisabilité de l'estimation des rapports de densité dans des espaces de prompts non structurés et de haute dimension par les étapes suivantes :

1. Plongement Sémantique : Au lieu d'opérer dans l'espace des tokens bruts, le cadre utilise un modèle de plongement pré-entraîné $h: \mathcal{X} \to \mathcal{Z}$ pour projeter les prompts dans un espace sémantique de dimension inférieure. Cela capture la similitude inter-domaines, permettant de caractériser le décalage de domaine par le décalage de la distribution des plongements.
2. Estimation du Rapport de Densité : Dans l'espace de plongement, un classificateur de domaine est entraîné pour distinguer les prompts sources (calibration) des prompts cibles (test). Ce classificateur estime le rapport de densité $\tilde{r}(z) = \frac{dP'_Z}{dP_Z}(z)$, qui sert de poids aux échantillons de calibration en fonction de leur proximité avec le domaine cible.
3. Pondération Régularisée : Pour éviter que les ensembles de prédiction ne dégénèrent en l'ensemble complet de l'espace de sortie (un risque lorsque les rapports de densité sont fortement déséquilibrés en raison de décalages importants ou de petits échantillons), les auteurs introduisent une étape de régularisation. Le poids assigné au point de test est remplacé par un paramètre régularisé $\lambda$ qui dépend uniquement des données de calibration.
   • La distribution des scores empiriques est construite comme suit :
     $$\hat{\mu}_n = \sum_{i=1}^n \frac{\hat{w}_i}{\sum \hat{w}_j + \lambda} \delta_{S_i} + \frac{\lambda}{\sum \hat{w}_j + \lambda} \delta_{\infty}$$
     où $\hat{w}_i$ sont les rapports de densité estimés pour les échantillons de calibration, et $\lambda$ est choisi (typiquement comme $\max_i \hat{w}_i$) pour équilibrer validité et adaptativité.
4. Construction de l'Ensemble de Prédiction : L'ensemble de prédiction final pour un nouveau prompt est défini par le quantile $(1-\alpha)$ de cette distribution empirique pondérée.

Garanties Théoriques
L'article établit des limites de couverture à échantplon fini pour DS-CP :

• Limite Inférieure : La probabilité de couverture est garantie d'être au moins de $1 - \alpha$ moins un terme d'écart. Cet écart dépend des poids normalisés et de la distance de variation totale entre les distributions de scores des points de calibration et de test dans l'espace de plongement.
• Condition de Lissage : Les auteurs démontrent que si le score de non-conformité varie de manière fluide par rapport au plongement sémantique, l'écart de couverture reste faible même si les distributions de prompts bruts sont distinctes.
• Conservatisme : Une limite supérieure est fournie, montrant que le terme de régularisation $\lambda$ introduit un degré contrôlé de conservatisme (sur-couverture) lorsque la taille de l'échantillon effectif des données de calibration pertinentes est faible.
• Récupération de la CP Standard : Sous la condition d'échangeabilité (absence de décalage de domaine), la méthode se réduit exactement à la CP standard, garantissant l'absence de perte de validité dans le cas idéal.

Résultats Expérimentaux
Le cadre a été évalué sur le benchmark MMLU, en traitant différentes catégories de sujets comme des domaines distincts pour simuler un décalage de domaine. Les expériences ont été menées sur 16 LLM open-source issus de 9 familles de modèles.

• Couverture : La CP standard a fréquemment échoué à atteindre la couverture cible de 90 %, chutant souvent significativement en dessous de ce niveau lorsque les domaines de calibration et de test divergeaient. DS-CP a systématiquement amélioré la couverture, la maintenant plus proche du niveau cible à travers tous les modèles et paires de domaines.
• Taille de l'Ensemble : Bien que DS-CP ait produit des ensembles de prédiction légèrement plus grands que la CP standard pour compenser le décalage, l'augmentation est restée modeste. Cela démontre un compromis réussi entre la restauration de la validité et le maintien de l'efficacité.
• Adaptativité : L'analyse a montré que DS-CP corrige sélectivement la sous-couverture dans les cas difficiles (où la CP standard échoue) tout en apportant des ajustements minimaux lorsque la CP est déjà valide, prouvant qu'il ne s'agit pas simplement d'un élargissement uniforme de l'ensemble.

Signification et Revendications
L'article affirme fournir un pas pratique vers une quantification de l'incertitude fiable pour les LLM lors de leur déploiement réel. Sa principale signification réside dans :

1. L'extension de la CP au-delà de l'échangeabilité : Il offre une méthode systématique et théoriquement fondée pour gérer le décalage de domaine dans les LLM, un scénario où la CP standard échoue.
2. Adaptation Sémantique : En exploitant les plongements sémantiques plutôt que le texte brut, il rend l'estimation du rapport de densité réalisable pour les entrées de LLM de haute dimension.
3. Fiabilité Équilibrée : Il atteint un équilibre entre validité statistique (préservation des garanties de couverture) et adaptativité (ajustement des ensembles de prédiction au domaine cible spécifique), répondant au problème critique des prédictions peu fiables dans les applications critiques pour la sécurité.

Les auteurs notent des limites, notamment la dépendance à la qualité des estimateurs de plongement et de rapport de densité, la nécessité de prompts cibles non étiquetés, et l'accent actuel mis sur les tâches à choix multiples plutôt que sur la génération ouverte. Cependant, ils avancent que DS-CP représente une adaptation rigoureuse de la prédiction conforme spécifiquement adaptée à la nature de haute dimension et non structurée des prompts de LLM sous décalage de distribution.