Résumé Technique : Repenser l'Évaluation pour la Détection des Hallucinations des LLM

Énoncé du Problème

Les grands modèles de langage (LLM) génèrent fréquemment du contenu infidèle, fabriqué ou incohérent, connu sous le nom d'hallucinations. Bien que des efforts considérables aient été consacrés à la détection de ces hallucinations et à la création de jeux de données de référence (Benchmarks de Détection d'Hallucinations ou HDB), les auteurs identifient des lacunes critiques dans la littérature actuelle. Plus précisément, les benchmarks existants échouent souvent à refléter les scénarios d'utilisation réels, en particulier ceux impliquant la Génération Augmentée par Récupération (RAG) avec des contextes longs. De plus, de nombreux benchmarks reposent sur des hallucinations non organiques (injectées) ou manquent de bruit d'étiquetage réaliste, conduisant à une surestimation des performances des détecteurs et à un échec à tester la résistance des modèles face aux données bruyantes prévalentes dans les applications réelles.

Méthodologie

1. Désiderata pour les HDB

Les auteurs établissent d'abord un ensemble de sept propriétés souhaitables (désiderata) qu'un benchmark efficace de détection d'hallucinations devrait présenter :

• D1. Hallucinations Organiques : Le contenu doit être généré naturellement par les LLM, et non injecté manuellement ou provoqué pour halluciner.
• D2. Étiquettes de Test Vérifiées par des Humains : Les étiquettes d'évaluation doivent être fiables, idéalement vérifiées par plusieurs annotateurs humains experts.
• D3. Tâches à Contexte Long : Les benchmarks doivent couvrir des tâches à forte demande et riches en connaissances (comme la RAG) où le contexte est long et les hallucinations difficiles à identifier pour les humains.
• D4. Étiquettes d'Entraînement Réalistes : Les données d'entraînement doivent inclure un bruit d'étiquetage réaliste (à la fois dépendant de l'échantillon et indépendant de l'échantillon) pour refléter une supervision faible ou une annotation humaine imparfaite.
• D5. Types d'Hallucinations Complets : Couverture des hallucinations intrinsèques (incohérentes avec le contexte) et extrinsèques (non vérifiables par le contexte).
• D6. Diversité des LLM : Les générations doivent provenir de plusieurs LLM modernes pour assurer un suivi impartial des progrès.
• D7. Domaines Multiples : Les données doivent couvrir des domaines diversifiés pour tester la généralisation.

2. Examen Critique des Benchmarks Existants

Les auteurs analysent 24 HDB existants par rapport à ces desiderata. Ils constatent qu'aucun benchmark existant ne satisfait les sept propriétés. Les lacunes clés identifiées incluent :

• Un manque sévère de benchmarks basés sur la RAG avec des contextes longs.
• L'absence de bruit d'étiquetage réaliste dans les ensembles d'entraînement, malgré la prévalence d'étiquettes bruyantes dans l'apprentissage supervisé réel.
• De nombreux benchmarks reposent sur des hallucinations non organiques (par exemple, des hallucinations provoquées), qui sont plus faciles à détecter que les hallucinations organiques.

3. Le Benchmark TRIVIA+

Pour combler ces lacunes, les auteurs introduisent TRIVIA+, un nouveau HDB basé sur la RAG.

• Construction des Données : Le jeu de données utilise des invites provenant de jeux de données établis (TRIVIAQA, NaturalQuestions, MS-MARCO, CovidQA, DROP). Un LLM commercial SOTA (>150B paramètres) et des modèles open-source (Gemma-7b, Mixtral-8x7b) génèrent des réponses.
• Filtrage Organique : Pour enrichir la proportion de vraies hallucinations sans altérer la nature organique du texte, les auteurs filtrent pour une faible chevauchement ROUGE (<0,1) entre la réponse générée et la vérité terrain.
• Processus d'Annotation :
  • Étiquettes : Les annotateurs étiquettent les phrases comme 'Soutenue', 'Contredite', 'Non Mentionnée' ou 'Supplémentaire'. Ces catégories se mappent sur des étiquettes binaires 'Fidèle' ou 'Non Fidèle'.
  • Fiabilité : Un processus de vote multi-étapes (jusqu'à 6 annotateurs par échantillon) garantit des étiquettes de test de haute qualité.
  • Génération de Bruit : Pour l'entraînement, les auteurs génèrent quatre ensembles d'étiquettes bruyantes :
    1. Supervision Faible (WS) : Étiquettes provenant d'un LLM agissant comme Juge.
    2. Travailleur Dissident (DW) : Simulation des lacunes dans la formation des annotateurs en utilisant les étiquettes d'annotateurs spécifiques en désaccord.
    3. Étiquette Dissidente (DL) : Simulation d'un contrôle qualité imparfait en remplaçant aléatoirement des étiquettes par des étiquettes en désaccord.
    4. Inversion Aléatoire (RF) : Inversion aléatoire des étiquettes (bruit indépendant de l'échantillon).

4. Configuration Expérimentale

Les auteurs évaluent des détecteurs SOTA populaires sur TRIVIA+ et d'autres HDB basés sur la RAG (HaluEval, RAGTruth, Dolly).

• Détecteurs Testés :
  • Non Supervisés : SelfCheckGPT (utilisant GPT-4-mini et Claude-Sonnet-3.5), LLM-as-a-Judge.
  • Supervisés : Few-shot (FS), Optimisé par Invite (PO) et Affinement Fin Supervisé (SFT) de Mistral-7B-Instruct.
• Analyse du Bruit : Les expériences examinent l'impact des étiquettes bruyantes à la fois sur l'entraînement (en utilisant des ensembles d'entraînement bruyants) et sur l'évaluation (en utilisant des ensembles de test bruyants).

Résultats Clés

1. Performance sur les Benchmarks Organiques vs Non Organiques

• Non Organique (HaluEval) : Les détecteurs performent exceptionnellement bien, le SFT atteignant un score F1 de 0,996. Les auteurs attribuent cela à la séparabilité des hallucinations provoquées.
• Organique (TRIVIA+, RAGTruth) : La performance chute considérablement. Sur TRIVIA+, le meilleur score F1 est de 0,694 (LLM-as-a-Judge), et le SFT n'atteint que 0,663. Cela indique un écart important entre les capacités actuelles et le plafond de performance pour les hallucinations organiques basées sur la RAG.

2. La Compétitivité du LLM-as-a-Judge

Contrairement à la littérature précédente suggérant que les méthodes supervisées surpassent les approches zero-shot, les auteurs constatent qu'une simple base de référence LLM-as-a-Judge performe de manière compétitive, et parfois mieux, que les modèles affinis finement de manière supervisée sur les benchmarks organiques.

3. Impact du Bruit d'Étiquetage

• Biais d'Évaluation : Lorsque les détecteurs sont évalués sur des étiquettes de test bruyantes (par exemple, des étiquettes WS), les métriques de performance peuvent être biaisées de manière optimiste (par exemple, le F1 du SFT apparaît comme 0,708 sur les étiquettes WS contre 0,663 sur les étiquettes propres).
• Entrave à l'Entraînement : Les étiquettes d'entraînement bruyantes entravent considérablement les détecteurs supervisés, en particulier ceux utilisant un affinement fin global (SFT). La performance du SFT chute de 0,663 (propre) à environ 0,63–0,64 avec des étiquettes bruyantes. En revanche, les méthodes locales comme Few-Shot (FS) et Optimisé par Invite (PO) montrent une plus grande robustesse face au bruit d'entraînement.
• Bruit Dépendant de l'Échantillon : Le bruit dépendant de l'échantillon (DW, DL) est plus préjudiciable à la performance de détection que le bruit aléatoire (RF).

4. Défis du Contexte Long

• Longueur du Contexte : Les détecteurs se dégradent fortement sur les contextes longs (>5K caractères). Sur TRIVIA+, les scores F1 chutent de 0,09 à 0,23 pour les contextes longs par rapport aux courts.
• Limitations Structurelles : Les détecteurs basés sur l'attention (comme ReDeEP) font face à des contraintes de mémoire ; 14 à 22 % des échantillons TRIVIA+ n'ont pas pu être traités en raison des limites de longueur de séquence sur le matériel standard.

Signification et Revendications

L'article revendique que ses résultats et le benchmark proposé TRIVIA+ motiveront et favoriseront la recherche nécessaire en matière de détection d'hallucinations pour les tâches basées sur la RAG. La signification réside dans :

1. Exposer l'Écart : Démontrer que les détecteurs actuels laissent "ample marge" pour atteindre les plafonds de performance sur des tâches RAG réalistes et organiques.
2. Standards de Benchmarking : Fournir un cadre rigoureux (les sept desiderata) pour évaluer les futurs benchmarks, soulignant que les existants échouent souvent à répondre à des critères essentiels comme la génération organique et la vérification humaine.
3. Prise de Conscience du Bruit : Établir que le bruit d'étiquetage réaliste est un facteur critique qui entrave la performance de détection, enjoignant la communauté à adopter des techniques d'apprentissage robustes (Apprentissage avec Étiquettes Bruyantes) pour ce domaine.
4. Réalité du Contexte Long : Souligner les défis spécifiques posés par les tâches RAG à contexte long, qui sont actuellement sous-représentées dans la littérature mais centrales au déploiement moderne des LLM.

Les auteurs concluent que les travaux futurs devraient se concentrer sur le développement de détecteurs et de benchmarks généralisables entre domaines et équipés de bruit réaliste pour mieux refléter les défis du déploiement des LLM dans des domaines sensibles et réels.