💻 computer science

A Multi-Layer Framework for Hallucination Detection and Mitigation in Large Language Models Using Retrieval Grounding and Small Language Model Verification

Cet article propose un cadre multicouche qui améliore la fiabilité factuelle des grands modèles de langage en décomposant les réponses en affirmations atomiques, en les ancrant par la recherche d'informations, et en les vérifiant via un petit modèle de langage et un raisonnement neuro-symbolique, atteignant ainsi des gains de performance significatifs sur les ensembles de données HotpotQA et SciFact tout en maintenant l'interprétabilité et l'efficacité computationnelle.

Auteurs originaux : Md. Mahmudul Hasan, Israk Kayum Chowdhury, Md. Eliyas Akondo, Tanvir Ahammad, Khandaker Mohammad Mohi Uddin

Publié 2026-06-25

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Md. Mahmudul Hasan, Israk Kayum Chowdhury, Md. Eliyas Akondo, Tanvir Ahammad, Khandaker Mohammad Mohi Uddin

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un conteur très talentueux et qui parle vite (le Grand Modèle de Langage, ou LLM). Ce conteur peut tisser un récit qui semble parfait, qui coule avec fluidité et qui semble incroyablement assuré. Mais voici le hic : parfois, ce conteur invente des choses. Il peut inventer une date, un lieu ou un fait qui semble plausible mais qui est en réalité faux. C'est ce qu'on appelle une « hallucination ».

Le problème est que, comme l'histoire semble si fluide, vous pourriez la croire sans vérifier.

Ce document propose une nouvelle façon de vérifier le travail du conteur avant que vous n'entendiez la version finale. Au lieu de simplement écouter toute l'histoire et de deviner si elle est vraie, les auteurs ont construit une usine de vérification des faits à plusieurs couches. Voici comment cela fonctionne, étape par étape, en utilisant des analogies simples :

1. Le conteur écrit le brouillon

D'abord, le LLM rédige une réponse à votre question. Disons que vous demandez : « Qui a remporté le prix Nobel de physique en 1903 ? »
Le LLM pourrait dire : « Marie Curie a remporté le prix Nobel de physique en 1903, et elle en a aussi remporté un second en chimie en 1911. »
À ce stade, le système traite cette réponse comme non vérifiée. C'est juste un brouillon.

2. Décomposer l'histoire en briques Lego (Décomposition atomique)

Au lieu de vérifier tout le paragraphe d'un coup, le système décompose la réponse en minuscules « briques Lego » individuelles (affirmations atomiques).

Brique 1 : « Marie Curie a remporté le prix Nobel de physique en 1903. »
Brique 2 : « Elle a remporté un second prix en chimie en 1911. »

Pourquoi faire cela ? Parce qu'une histoire peut être vraie à 99 % mais contenir un seul petit mensonge. Si vous vérifiez toute l'histoire, vous pourriez manquer ce petit mensonge. En vérifiant chaque brique, vous pouvez identifier précisément où se trouve l'erreur.

3. La recherche du bibliothécaire (Ancrage par récupération)

Maintenant, pour chaque « brique », le système envoie un bibliothécaire (un système de récupération) dans une immense bibliothèque de documents pour trouver des preuves.

Le bibliothécaire cherche des livres ou des articles qui parlent de Marie Curie et de 1903.
Si le bibliothécaire trouve un livre qui dit : « Oui, elle a gagné en 1903 », cette brique reçoit un tampon « Confirmée ».
Si le bibliothécaire trouve un livre qui dit : « Elle a gagné en 1905 », cette brique reçoit un tampon « Contredite ».
Si le bibliothécaire revient les mains vides ou trouve un livre qui parle d'elle mais pas de l'année, la brique reçoit un tampon « Incertaine ».

Résultat clé : L'article a découvert que si vous supprimez cette étape du bibliothécaire, tout le système s'effondre. Sans preuve réelle provenant de la bibliothèque, le système ne peut pas distinguer le vrai du faux.

4. Le juge rapide (Vérification par un petit modèle de langage)

Ensuite, le système fait appel à un Petit Modèle de Langage (SLM). Voyez cela comme un juge rapide et efficace, très doué pour lire la « brique » et les « notes du bibliothéraire » et décider : Est-ce vrai, faux ou imprécis ?

Ce juge est plus petit et plus rapide que le conteur original.
Il ne se contente pas de dire « Vrai » ou « Faux ». Il donne un score de confiance. Par exemple : « Je suis sûr à 90 % que c'est vrai » ou « Je ne suis sûr qu'à 40 % ».
Si les preuves sont faibles, le juge dit : « Je ne peux pas encore décider » (Incertain) plutôt que de deviner.

5. Le sage ancien (Raisonnement neuro-symbolique)

Parfois, les preuves sont complexes. Peut-être que le bibliothécaire a trouvé deux livres qui se contredisent, ou que le juge est confus.
C'est ici qu'intervient la couche de Raisonnement Neuro-Symbolique. Voyez cela comme un sage ancien qui connaît les règles de la logique.

Si le juge est incertain, le sage applique des règles strictes (comme « Si la date est fausse, toute l'affirmation est fausse »).
Le sage peut également corriger l'affirmation. Si le LLM a dit « 1911 » mais que la preuve indique « 1903 », le sage ne se contente pas de supprimer la phrase ; il peut la réécrire pour dire « 1903 ».
Cette couche explique également pourquoi une décision a été prise, rendant le processus transparent.

6. Le rapport final (Sortie calibrée sur la confiance)

Enfin, le système reconstruit la réponse en utilisant uniquement les briques qui ont passé les vérifications.

Les briques vraies restent.
Les briques corrigées sont rectifiées.
Les briques fausses sont supprimées.
Les briques incertaines sont soit supprimées, soit signalées par une mention « nous ne sommes pas sûrs de cette partie ».

Le système vous donne également un « Score de confiance ». Il vous dit : « Je suis confiant à 85 % dans cette réponse. » Si le score est bas, vous savez qu'il faut être prudent.

Qu'ont-ils découvert ?

Les chercheurs ont testé cette usine sur deux types de tâches :

Vérification de faits scientifiques : Vérifier si des affirmations scientifiques étaient vraies.
Questions complexes : Répondre à des questions qui nécessitent de relier plusieurs morceaux d'information.

Les résultats :

Le bibliothécaire est essentiel : Lorsqu'ils ont supprimé le bibliothécaire (l'étape de récupération), la capacité du système à obtenir la bonne réponse a chuté drastiquement. Cela prouve que vous avez besoin de preuves réelles, et non de la simple mémoire de l'IA.
Le petit juge fait le gros du travail : Le petit juge rapide (SLM) a fait la majeure partie du travail pour décider si les faits étaient vrais ou faux. Le « Sage ancien » (la couche de raisonnement) n'a pas beaucoup modifié le score final dans ces tests, mais il a été très efficace pour expliquer pour-même et corriger les erreurs.
Mieux vaut prévenir que guérir : Le système est conçu pour être prudent. Il préfère dire « Je ne sais pas » (Incertain) plutôt que de deviner et de se tromper. Cela signifie qu'il peut passer à côté de certains faits vrais, mais il ment rarement avec assurance.

L'essentiel à retenir

Ce document montre que vous n'avez pas besoin d'un supercalculateur pour vérifier le travail d'une IA. En décomposant les réponses en petits morceaux, en les vérifiant par rapport à des documents réels, en utilisant un « mini-IA » rapide pour juger et en appliquant des règles de logique simples, vous pouvez attraper les mensonges et corriger les erreurs. Le résultat est une IA qui ne se contente pas de paraître assurée, mais qui est réellement digne de confiance.

Résumé Technique : Un Cadre Multicouche pour la Détection et l'Atténuation des Hallucinations dans les Grands Modèles de Langage

1. Énoncé du Problème

Les Grands Modèles de Langage (LLM) génèrent des textes fluides et cohérents mais produisent fréquemment des « hallucinations » — des affirmations qui sont factuellement incorrectes, non étayées ou incomplètes. Ce problème est particulièrement critique dans des domaines à enjeux élevés tels que la santé, l'éducation et la recherche scientifique, où des inexactitudes mineures peuvent conduire à des malentendus importants ou à des prises de décision erronées. Les méthodes de détection existantes souffrent souvent de plusieurs limitations :

Granularité Grossière : De nombreuses approches évaluent l'ensemble de la réponse comme une unité unique, échouant à détecter les hallucinations partielles où une réponse est majoritairement correcte mais contient des affirmations spécifiques fausses.
Manque d'Ancrage Externe : Les méthodes basées sur l'auto-cohérence ou l'analyse des états internes dépendent des propres sorties ou états cachés du modèle, ce qui peut propager les mêmes erreurs.
Coût Computationnel : Les méthodes de débat multi-agents ou d'échantillonnage répété sont souvent trop coûteuses pour un déploiement en temps réel.
Écarts d'Intégration : La génération augmentée par récupération (RAG), la vérification des faits et l'estimation de l'incertitude sont souvent traitées comme des processus distincts plutôt que comme un pipeline unifié.

L'article plaide pour la nécessité de décomposer les réponses en affirmations atomiques, de les ancrer dans des preuves externes, de les vérifier efficacement et d'affiner les cas incertains grâce à un raisonnement structuré.

2. Méthodologie

Les auteurs proposent un Cadre Multicouche qui intègre l'ancrage par récupération, la décomposition en affirmations atomiques, la vérification par un Petit Modèle de Langage (SLM) et le raisonnement neuro-symbolique. Le pipeline opère à travers les étapes suivantes :

2.1 Génération Initiale et Décomposition Atomique

Génération : Un LLM génère une réponse initiale ( $A_0$ ) à une requête utilisateur ( $Q$ ). Cette réponse est traitée comme non vérifiée.
Décomposition : Le cadre décompose $A_0$ en un ensemble d'affirmations factuelles atomiques ( $F = \{f_1, f_2, ..., f_n\}$ ). Chaque affirmation est une proposition auto-contenue et vérifiable (par exemple, séparer « Marie Curie est née à Varsovie » et « Marie Curie a remporté deux prix Nobel »). Le contenu non vérifiable (opinions, style) est exclu.

2.2 Couche 1 : Ancrage Sémantique (Récupération)

Pour chaque affirmation atomique $f_i$ , le système récupère des preuves pertinentes ( $E_i$ ) à partir d'un corpus de documents ( $D$ ) en utilisant une recherche sémantique basée sur les vecteurs.
Les affirmations et les segments de documents sont encodés en vecteurs denses, et la similitude cosinus est utilisée pour identifier les $k$ segments d'évidence les plus pertinents.
Cette couche fournit le contexte factuel nécessaire à la vérification, réduisant la dépendance vis-à-vis des connaissances internes du LLM.

2.3 Couche 2 : Porte d'Incertitude et de Cohérence (Vérification par SLM)

Un Petit Modèle de Langage (SLM) léger, spécifiquement Qwen2.5-1.5B-Instruct, agit comme un vérificateur probabiliste.
Le SLM reçoit l'affirmation ( $f_i$ ), l'évidence récupérée ( $E_i$ ) et la requête originale ( $Q$ ).
Il produit des probabilités pour trois étiquettes : SUPPORTÉE, CONTRADITE et NON SPÉCIFIÉE.
Calibration : Le système calcule l'incertitude (entropie normalisée) et applique des seuils de décision ( $\tau$ ). Pour minimiser les faux positifs, un seuil conservateur ( $\tau \approx 0,6$ ) est utilisé dans le système final, bien qu'un seuil plus bas ( $\approx 0,40$ ) produise un F1 score plus élevé. Les affirmations à faible confiance sont marquées comme incertaines plutôt que d'être forcées dans une décision binaire.

2.4 Couche 3 : Raisonnement Neuro-Symbolique

Cette couche affine les décisions pour les cas limites ou incertains.
Elle emploie un ensemble prédéfini de règles logiques (par exemple, les affirmations numériques nécessitent des preuves explicites) et un LLM de raisonnement pour réévaluer les affirmations où la confiance du SLM est faible ou l'évidence ambiguë.
La sortie est un verdict affiné : SUPPORTÉE, CORRIGÉE (affirmation modifiée), REJETÉE ou INSUFFISANTE, accompagné d'une explication en langage naturel ( $w_i$ ).

2.5 Sortie Calibrée selon la Confiance

La réponse finale ( $A^*$ ) est reconstruite en utilisant uniquement les affirmations validées et corrigées.
Un Score de Confiance global ( $T$ ) est calculé sur la base des probabilités de support et de l'incertitude des affirmations incluses, fournissant à l'utilisateur un indicateur de fiabilité.

3. Contributions Clés

Décomposition au Niveau de l'Affirmation : Le cadre déplace la détection d'hallucination de l'évaluation au niveau de la réponse vers une analyse au niveau de l'affirmation atomique, permettant l'identification d'hallucinations partielles au sein de réponses par ailleurs correctes.
Pipeline de Vérification Hybride : Il intègre l'ancrage par récupération, la vérification par SLM et le raisonnement neuro-symbolique dans une architecture unique. Cela combine l'efficacité des modèles légers avec la cohérence logique du raisonnement basé sur des règles.
Conception Sensible à l'Incertitude : En modélisant explicitement l'incertitude et en utilisant des seuils conservateurs, le système donne la priorité à l'évitement des faux positifs « SUPPORTÉS » plutôt qu'à la maximisation du rappel, ce qui le rend adapté aux applications à haute confiance.
Interprétabilité : Le système génère des explications sur les raisons pour lesquelles les affirmations sont acceptées, rejetées ou corrigées, et fournit un score de confiance global, renforçant la transparence.

4. Résultats Expérimentaux

Le cadre a été évalué sur deux jeux de données : SciFact (vérification d'affirmations scientifiques) et HotpotQA (réponse à des questions multi-sauts).

4.1 Métriques de Performance

SciFact : Le cadre complet a atteint une précision de 0,511 et un score macro-F1 de 0,504.
- Observation : La variante « sans raisonneur » a performé de manière presque identique, suggérant que le vérificateur SLM gère l'essentiel du travail de classification structurée pour ce jeu de données.
HotpotQA : Le pipeline complet a atteint un score F1 au niveau du jeton (token) de 0,146.
- Étude d'Ablation : Le retrait de la composante de récupération a provoqué une chute drastique des performances (le F1 est passé à 0,034), soulignant que l'ancrage par récupération est le composant le plus critique pour la qualité de la réponse.
- Le retrait de la couche de raisonnement ou du vérificateur SLM a eu un impact minimal sur le F1 au niveau du jeton, mais a affecté le comportement de vérification et l'interprétabilité.

4.2 Comportement de Vérification et Calibration

Stratégie Conservatrice : Le modèle classifie fréquemment les affirmations comme NON SPÉCIFIÉES (42,7 % des affirmations) lorsque l'évidence est faible, plutôt que de deviner. Cela réduit les faux positifs mais diminue le rappel des affirmations supportées.
Calibration de la Confiance : L'AUC-ROC était de 0,87, et la courbe de calibration a montré que des scores de confiance plus élevés étaient généralement corrélés à une plus grande exactitude. Le système distingue efficacement les affirmations supportées, contredites et incertaines.
Sensibilité au Seuil : Bien que le F1 score optimal se soit produit à un seuil de $\approx 0,40$ , le système final utilise un seuil plus strict ( $\approx 0,6$ ) pour garantir une haute précision et réduire le risque de valider des affirmations non étayées.

4.3 Efficacité

Le pipeline complet dure en moyenne 20,6 secondes par requête.
L'étape de vérification par SLM représente la majorité de la latence, tandis que la récupération ajoute un overhead minimal. C'est nettement plus efficace que le débat multi-agents ou l'échantillonnage répété de grands modèles.

5. Signification et Revendications

L'article affirme que ce cadre offre un équilibre pratique entre précision, fiabilité, interprétabilité et coût computationnel. Sa signification réside dans :

Atténuation des Hallucinations Partielles : En vérifiant les affirmations individuellement, le système peut corriger des erreurs spécifiques sans rejeter l'intégralité de la réponse.
Réduction de la Charge Computationnelle : L'utilisation d'un petit vérificateur spécialisé (SLM) au lieu de solliciter de manière répétée un grand LLM rend le système réalisable pour un déploiement réel.
Calibration de la Confiance : Le système ne se contente pas de produire une réponse ; il fournit un score de confiance et une explication, permettant aux utilisateurs d'évaluer la fiabilité de l'information.
Fiabilité Fondée sur l'Évidence : Les résultats démontrent que sans ancrage par récupération, la performance de vérification s'effondre, prouvant que l'évidence externe est essentielle pour la fiabilité factuelle.

Les auteurs concluent que bien que le système reste conservateur (pouvant manquer certaines affirmations supportées pour éviter les erreurs), ce compromis est nécessaire pour les applications à enjeux élevés où une réponse confiante mais incorrecte est plus préjudiciable qu'une réponse incertaine. Des travaux futurs sont suggérés pour améliorer la qualité de la récupération, étendre les règles de raisonnement et tester le cadre dans des contextes de domaine ouvert plus larges.