A Lightweight Retrieval-Grounded Framework for Hallucination Detection and Correction in Large Language Models

Résumé Technique : Un cadre léger fondé sur la recherche pour la détection et la correction des hallucinations dans les grands modèles de langage

Énoncé du problème
Les grands modèles de langage (LLM) sont devenus centraux dans des applications allant de la réponse aux questions au support à la décision en entreprise. Cependant, ils restent sujets aux « hallucinations » — des sorties qui paraissent fluides et plausibles mais qui sont factuellement incorrectes, non étayées par des preuves ou incohérentes avec les connaissances vérifiées. Ce problème pose des risques importants dans des domaines à enjeux élevés tels que la santé, la finance et le raisonnement juridique. Les stratégies d'atténuation existantes, incluant la génération augmentée par recherche (RAG), l'auto-vérification, la vérification assistée par outils et les cadres de débat multi-agents, souffrent souvent de limitations spécifiques : elles peuvent se concentrer uniquement sur la détection sans offrir de correction, reposent sur une inférence répétée de grands modèles ce qui augmente les coûts computationnels, ou introduisent une orchestration complexe qui entrave la reproductibilité.

Méthodologie
L'article propose un cadre léger fondé sur la recherche conçu pour détecter et corriger les hallucinations sans la surcharge computationnelle d'une inférence multi-LLM en direct. Le système est structuré comme un pipeline modulaire qui sépare la génération, la recherche, la vérification et la correction.

1. Simulation d'agents modulaires : Contrairement aux systèmes multi-agents conventionnels qui invoquent plusieurs instances de LLM en direct, ce cadre modélise les agents comme des étapes de traitement modulaires opérant sur des réponses de référence pré-générées. Cette conception isole la vérification et la correction de la variabilité de la génération, assurant une évaluation contrôlée et reproductible.
2. Module de recherche : Le système utilise le TF-IDF (Term Frequency-Inverse Document Frequency) pour la recherche de preuves plutôt que des plongements sémantiques (embeddings). Ce choix privilégie l'efficacité computationnelle, l'interprétabilité et la reproductibilité, évitant ainsi les dépendances vis-à-vis de modèles de recherche neuronaux externes. Étant donné une requête $q$, le système extrait les $k$ documents les plus pertinents ($D$).
3. Agent de vérification : Ce composant évalue la cohérence factuelle d'une réponse générée ($r_g$) par rapport aux preuves extraites ($D$). Il emploie un score de vérification pondéré combinant deux signaux :
   • Similitude Réponse–Preuve : La similitude cosinus TF-IDF entre la réponse générée et les documents extraits.
   • Pertinence Requête–Preuve : La similitude cosinus TF-IDF entre la requête originale et les documents extraits.
   • Le score est calculé comme suit : $Score = \alpha \cdot Sim(r_g, D) + (1 - \alpha) \cdot Sim(q, D)$, où $\alpha$ contrôle l'importance relative des deux signaux.
   • Une règle de décision basée sur un seuil ($\tau$) classifie la réponse comme hallucinée ($Score < \tau$) ou non hallucinée ($Score \geq \tau$).
4. Agent de correction : Lorsqu'une réponse est signalée comme hallucinée, l'agent de correction révise le contenu. Il supprime les affirmations non étayées et incorpore des informations cohérentes avec les preuves tout en préservant les parties pertinentes de la réponse originale. Crucialement, ce mécanisme est conçu pour être guidé par les preuves et léger, évitant des étapes d'inférence LLM supplémentaires.

Contributions clés
L'article présente quatre contributions primaires :

1. Un cadre de détection et de correction léger qui évite l'inférence multi-LLM coûteuse tout en préservant un raisonnement modulaire inspiré des agents.
2. Un pipeline unifié qui s'étend au-delà de la simple détection pour produire des réponses corrigées guidées par les preuves.
3. Une formulation de vérification pondérée basée sur un seuil qui combine explicitement la similitude réponse–preuve et la pertinence requête–preuve.
4. Une évaluation expérimentale reproductible sur les jeux de données MedHallu et TruthfulQA, démontrant de solides performances de détection et une réduction mesurable des hallucinations.

Résultats expérimentaux
Le cadre a été évalué sur deux jeux de données : MedHallu (9 000 échantillons représentant des hallucinations dans le domaine médical) et TruthfulQA (817 échantillons représentant des défis de facticité adverses).

• Performance de détection : En utilisant un seuil optimal ($\tau = 0,55$), le cadre a atteint un score F1 d'environ 0,93 (spécifiquement 0,931 sur l'ensemble combiné) et un rappel de 0,891. Sur le jeu de données MedHallu spécifiquement, le score F1 a atteint 0,942.
• Performance de correction : L'étape de correction a réduit le taux d'hallucination dans le contexte de MedHallu de 1,0000 à 0,5784, ce qui représente une réduction de 42,16 % des réponses hallucinées.
• Comparaisons avec les bases de référence : Les expériences ont montré que la recherche seule est insuffisante pour la détection, car elle ne parvient pas à valider explicitement la cohérence entre la réponse et la preuve. L'ajout du module de vérification pondérée a considérablement amélioré les métriques de détection.
• Limitations observées : Sur TruthfulQA, l'étape de correction a montré un « taux de régression » de 0,2485, indiquant que la correction basée sur la similitude peut parfois modifier inutilement des réponses factuelles. Cela suggère que, bien qu'efficace pour les hallucinations spécifiques à un domaine, l'approche actuelle basée sur la similitude nécessite un contrôle rigoureux pour les requêtes adverses ou basées sur des idées reçues.

Signification et affirmations
L'article affirme que sa principale importance réside dans l'offre d'une alternative reproductible et efficacement calculable aux systèmes de vérification multi-agents complexes. En modélisant les agents comme des étapes modulaires plutôt que comme des appels LLM en direct, le cadre élimine la nécessité d'une inférence répétée de grands modèles, le rendant adapté aux environnements à ressources limitées.

Les auteurs soutiennent que la vérification explicite est essentielle ; la recherche seule fournit un contexte mais ne confirme pas le support factuel. Leur formulation de score pondéré comble cette lacune. De plus, le travail souligne que l'atténuation ne doit pas s'arrêter à la détection ; la étape de correction proposée améliore activement la fiabilité factuelle de la sortie finale. Cependant, l'article reconnaît modestement que la recherche TF-IDF et la similitude lexicale sont plus faibles pour les cas lourds en raisonnement ou adverses, suggérant que les futures itérations devraient incorporer des plongements sémantiques et une vérification basée sur l'implication.