Token-Level Density-Based Uncertainty Quantification Methods for Eliciting Truthfulness of Large Language Models

1. Énoncé du Problème

Les Grands Modèles de Langage (LLM) sont enclins à générer des hallucinations et des affirmations non factuelles, posant des risques significatifs dans des applications critiques pour la sécurité. Bien que l'Quantification d'Incertitude (UQ) soit une approche principale pour détecter ces erreurs, les méthodes existantes font face à deux limitations majeures :

• Inefficacité des Méthodes Basées sur la Densité : Les techniques traditionnelles d'UQ basées sur la densité (par exemple, la Distance de Mahalanobis) ont été très réussies dans la classification de texte mais ont échoué à bien performer dans les tâches de génération de texte lorsqu'elles sont appliquées au niveau de la séquence. Les tentatives précédentes ont produit des performances comparables à une sélection aléatoire.
• Coût Computationsnel : Les méthodes d'UQ les plus avancées pour les LLM reposent souvent sur des approches basées sur la cohérence (par exemple, l'Entropie Sémantique, l'échantillonnage de multiples générations) ou des ensembles profonds, qui introduisent une surcharge computationnelle massive (augmentation de 300 à 700 % du temps d'inférence), les rendant peu pratiques pour des applications en temps réel ou à grande échelle.
• Limitations des Caractéristiques : Les méthodes supervisées récentes qui utilisent les états internes des LLM reposent souvent sur des caractéristiques simplistes ou échouent à intégrer efficacement des métriques basées sur la densité robustes et établies.

2. Méthodologie

Les auteurs proposent un nouveau cadre d'UQ supervisé, au niveau des tokens, basé sur la densité qui adapte la Distance de Mahalanobis (MD) pour les modèles génératifs. L'innovation centrale réside dans le passage des embeddings au niveau de la séquence aux embeddings au niveau des tokens et leur agrégation de manière intelligente.

Composants Clés :

1. Extraction d'Embeddings au Niveau des Tokens :

   • Au lieu de moyenner les embeddings pour former un vecteur de séquence unique, la méthode extrait les embeddings d'état caché pour chaque token généré à partir de multiples couches du LLM.
   • Sélection des Embeddings : Pour construire la distribution de référence (centroïde et matrice de covariance), la méthode filtre les données d'entraînement pour n'inclure que les réponses de haute qualité (correctes). Cela garantit que le modèle de densité représente des générations « véridiques ».

2. Distance de Mahalanobis (MD) par Couche :

   • Pour chaque couche $l$, la méthode calcule la distance de Mahalanobis entre l'embedding d'un token et le centroïde des embeddings de tokens « corrects » sélectionnés de cette couche.
   • MD Relative (RMD) : La méthode implémente également la Distance de Mahalanobis Relative, qui soustrait la distance à une distribution de fond (par exemple, l'ensemble de données C4 général) pour mieux distinguer la véracité intra-domaine du bruit général.
   • Agrégation : Les scores au niveau des tokens sont moyennés à travers la séquence pour produire un score au niveau de la séquence (MD Moyenne au Niveau des Tokens ou ATMD / ATRMD).

3. Régression Linéaire Supervisée :

   • Puisque la couche la plus performante varie selon la tâche, la méthode traite les scores MD par couche comme des caractéristiques.
   • Un modèle de Régression Linéaire est entraîné pour prédire le score d'incertitude (ciblé comme la métrique de qualité négative, par exemple $-ROUGE$ ou $-Précision$) en utilisant ces scores par couche.
   • ACP : Pour gérer la multicolinéarité parmi les caractéristiques de couche, les 10 premières Composantes Principales (ACP) sont utilisées comme entrée du régresseur.
   • Score Hybride (HUQ) : Le score d'incertitude final peut être un hybride du score MD supervisé et de la probabilité de séquence (Probabilité Maximale de Séquence, MSP), combinés via une fonction de pondération apprise.

3. Contributions Clés

• Adaptation au Niveau des Tokens : L'article démontre que l'application de méthodes basées sur la densité au niveau des tokens (plutôt qu'au niveau de la séquence) est cruciale pour le succès dans la génération de LLM, surmontant l'échec des approches précédentes basées sur la densité au niveau de la séquence.
• Cadre Supervisé Efficace : Ils introduisent une méthode supervisée légère sur le plan computationnel qui combine des scores de densité par couche avec une régression linéaire, évitant ainsi le besoin d'échantillonnage ou d'ensemblage coûteux.
• Évaluation Complète : La méthode a été validée sur 11 ensembles de données diversifiés (couvrant le résumé, la QA avec réponses longues/courtes, et la QA à choix multiples) et deux tâches : génération sélective au niveau de la séquence et vérification des faits au niveau de l'affirmation.
• Généralisation : La méthode montre une forte robustesse dans des contextes hors domaine, maintenant ses performances même lorsqu'elle est entraînée sur différents types de tâches (par exemple, entraînement sur le résumé/QA et test sur la QA à choix multiples).

4. Résultats Expérimentaux

Les expériences ont utilisé les modèles Llama 8b v3.1, Gemma 9b v2 et Mistral 7b.

• Performance de Génération Sélective :

  • Les méthodes proposées (SATRMD+MSP et HUQ-SATRMD) ont nettement surpassé toutes les bases de référence, y compris les méthodes non supervisées les plus avancées (Entropie Sémantique, SAR) et d'autres méthodes supervisées (SAPLMA, Factoscope).
  • Métriques : Mesurées par le Ratio de Rejet de Prédiction (PRR). Les méthodes proposées ont obtenu les rangs moyens les plus élevés sur les ensembles de données. Par exemple, sur l'ensemble de données MMLU, SATRMD+MSP a nettement surpassé la méthode suivante la plus performante.
  • Analyse par Couche : Contrairement aux tâches de classification où la dernière couche est souvent la meilleure, les résultats ont montré que les couches intermédiaires fournissent souvent les embeddings les plus informatifs pour l'incertitude dans les LLM uniquement décodeurs.

• Performance de Vérification des Faits :

  • Sur la vérification des faits au niveau de l'affirmation (Mistral 7b), HUQ-SATRMD a obtenu le meilleur ROC-AUC (0,750), surpassant la base de référence CCP de 3,4 %.

• Efficacité Computationnelle :

  • Surcharge : Les méthodes proposées introduisent une surcharge computationnelle minimale de 5,3 % – 7,6 % par rapport à l'inférence standard des LLM.
  • Comparaison : Cela est drastiquement inférieur aux méthodes basées sur l'échantillonnage comme l'Entropie Sémantique ou SAR, qui entraînent une surcharge de 315 % – 700 %.

• Robustesse :

  • La méthode est robuste à la taille de l'ensemble de données d'entraînement (performant bien avec aussi peu que 200 à 500 instances).
  • Elle n'est pas hautement sensible au seuil de correction utilisé pour filtrer les embeddings d'entraînement.

5. Importance

Ce travail comble le fossé entre l'UQ basée sur la densité efficace dans la classification et le domaine difficile de la génération de texte par les LLM. En déplaçant la granularité vers le niveau des tokens et en utilisant une combinaison linéaire supervisée de caractéristiques par couche, les auteurs fournissent une solution qui est :

1. Plus Précise : Surpasse nettement les méthodes d'UQ les plus avancées actuelles dans la détection des hallucinations.
2. Plus Efficace : Rend l'estimation d'incertitude en temps réel réalisable pour les environnements de production en évitant l'échantillonnage coûteux.
3. Généralisable : Démontre la capacité de transférer les capacités d'estimation d'incertitude à travers différents domaines et types de tâches, une exigence critique pour le déploiement de LLM dans diverses applications du monde réel.

L'article conclut que les méthodes basées sur la densité, lorsqu'elles sont correctement adaptées à l'architecture au niveau des tokens des LLM, constituent une alternative supérieure à la fois aux bases de référence triviales basées sur la probabilité et aux méthodes d'échantillonnage coûteuses sur le plan computationnel.