💬 NLP

Retromorphic Testing with Hierarchical Verification for Hallucination Detection in RAG

Ce papier présente RT4CHART, un cadre de test rétro-morphique qui améliore la détection des hallucinations dans les systèmes RAG grâce à une vérification hiérarchique des affirmations et à une annotation plus précise des données de référence.

Auteurs originaux : Boxi Yu, Yuzhong Zhang, Liting Lin, Lionel Briand, Emir Muñoz

Publié 2026-03-31

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Boxi Yu, Yuzhong Zhang, Liting Lin, Lionel Briand, Emir Muñoz

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🕵️‍♂️ Le Problème : L'IA qui "Invente" des Choses

Imaginez que vous posez une question à un assistant très intelligent (une IA), mais que vous lui donnez aussi un dossier de documents (des articles, des contrats, des manuels) pour l'aider à répondre. C'est ce qu'on appelle le RAG (Génération Augmentée par la Recherche).

Le problème ? Parfois, l'IA, même avec le dossier sous les yeux, commence à halluciner. Elle invente des faits, mélange les chiffres ou affirme des choses qui ne sont pas écrites dans le dossier. C'est comme si un avocat lisait un contrat, puis vous disait : "Et il est aussi écrit que vous avez droit à une voiture de fonction", alors que c'est faux.

Les outils actuels pour détecter ces erreurs sont souvent trop brouillons :

Soils ils vous disent juste : "C'est faux" (sans dire pourquoi).
Soils ils vous disent : "Il y a un problème ici" (mais sans vous montrer la preuve dans le dossier).

💡 La Solution : RT4CHART, le Détective de la Vérité

Les auteurs ont créé un nouvel outil appelé RT4CHART. Pour le comprendre, imaginons une scène de crime ou un audit comptable.

1. L'Analogie du "Détective en Équipe" (Décomposition)

Au lieu de lire la réponse de l'IA d'un seul bloc (comme on lit un roman), RT4CHART la découpe en petits morceaux.

Imaginez une phrase : "Le vol part à 14h, il faut un passeport, et le billet coûte 500€."
RT4CHART sépare cela en trois petites affirmations indépendantes :
1. Le vol part à 14h.
2. Il faut un passeport.
3. Le billet coûte 500€.

Chaque affirmation est comme un petit suspect qu'on va interroger séparément.

2. L'Enquête en Deux Étapes (Vérification Hiérarchique)

C'est ici que la magie opère. RT4CHART ne se contente pas de jeter un coup d'œil rapide. Il fait deux passes d'enquête :

Étape 1 : L'Enquête Locale (Le Quartier)
Le détective regarde d'abord de petits bouts du dossier (des "fenêtres" de texte). Il cherche si l'affirmation est soutenue par ce petit bout.
- Exemple : Si le dossier dit "Le vol part à 14h" dans la première page, c'est bon.
- Le piège : Parfois, la preuve est éparpillée. Une phrase dit "Le vol part..." et la suivante dit "...à 14h". Si on regarde juste un petit bout, on peut rater la preuve.
Étape 2 : L'Enquête Globale (La Carte Complète)
C'est l'étape cruciale. Si l'enquête locale a un doute, ou si la preuve semble dispersée, le détective relit tout le dossier d'un coup.
- Il vérifie si les petits bouts d'indices s'assemblent pour former la vérité.
- Il cherche aussi les contradictions. Si le dossier dit "Seuls les nouveaux clients sont éligibles" et que l'IA dit "Tout le monde est éligible", le détective pointe le doigt sur la phrase exacte du dossier qui prouve le mensonge.

3. Le Verdict Final (L'Étiquette)

Pour chaque petite affirmation, RT4CHART donne une étiquette claire :

✅ Vrai (Entailed) : C'est écrit dans le dossier.
❌ Faux (Contradicted) : Le dossier dit le contraire (et on vous montre la phrase exacte).
⚠️ Sans fondement (Baseless) : Le dossier ne dit rien à ce sujet (l'IA a inventé).

🌟 Pourquoi c'est révolutionnaire ?

Pas de mystère : Contrairement aux autres outils qui donnent juste un "score" (ex: 0,32 sur 1), RT4CHART vous dit : "L'affirmation sur le prix est fausse, voici la ligne du document qui prouve que c'est 450€, pas 500€." C'est comme avoir un surlignage rouge avec la source exacte.
Plus précis : En découpant la réponse, il ne rate pas les petites erreurs cachées dans une longue phrase.
Il a trouvé plus de mensonges que les autres ! Les auteurs ont réexaminé les bases de données utilisées pour tester les IA. Ils ont découvert que les anciennes étiquettes manquaient énormément d'erreurs. Avec leur nouvelle méthode, ils ont trouvé 1,68 fois plus d'hallucinations que ce qu'on pensait avant. C'est comme si on pensait qu'un bâtiment était solide, et qu'en réalité, il y avait des fissures partout qu'on n'avait pas vues.

🎯 En Résumé

Imaginez que vous êtes le chef d'une entreprise et que votre assistant (l'IA) vous prépare un rapport basé sur des documents internes.

Les anciens outils vous disent juste : "Attention, ce rapport est suspect."
RT4CHART vous dit : "Le paragraphe 3 est correct. Le paragraphe 4 est faux : vous avez écrit que le budget est de 10k, mais le document dit 5k. Voici la page 12 où c'est écrit. Et le paragraphe 5 est inventé de toutes pièces."

C'est un outil de vérification de la traçabilité. Il garantit que chaque mot de la réponse de l'IA peut être relié à une preuve concrète dans le dossier, rendant l'IA beaucoup plus fiable et transparente pour les humains.

1. Problématique

Les modèles de langage (LLM) utilisés dans les systèmes de Génération Augmentée par Récupération (RAG) peuvent toujours produire des « hallucinations », c'est-à-dire des affirmations non étayées ou contradictoires par rapport au contexte récupéré.

Le défi principal identifié par les auteurs est triple :

Manque de granularité : La plupart des détecteurs existants fournissent un score global pour une réponse entière, sans identifier quelle partie de la réponse est erronée.
Absence de preuves explicites : Même les méthodes de détection au niveau des segments (spans) ne fournissent souvent pas les preuves contextuelles spécifiques qui contredisent ou étayent l'affirmation.
Biais des benchmarks : Les benchmarks actuels (comme RAGTruth) sous-estiment considérablement la prévalence des hallucinations en raison d'annotations incomplètes (faux négatifs).

L'objectif est de définir la fidélité strictement par rapport au contexte récupéré (et non aux connaissances paramétriques du modèle) et de fournir un outil d'audit capable de localiser les erreurs avec des preuves textuelles précises.

2. Méthodologie : RT4CHART

Les auteurs proposent RT4CHART (Retromorphic Testing for Context-grounded Hallucination Assessment in Retrieval-Augmented Text), un cadre de test basé sur le concept de test rétro-morphique.

A. Fondement Théorique : Test Rétro-morphique

Le test rétro-morphique inverse le flux de génération : au lieu de vérifier si une réponse correspond à une « vérité absolue », il vérifie si la réponse générée peut être retracée vers ses entrées originales (le contexte $C$ et la question $Q$ ).

Programme Forward ( $P$ ) : Le pipeline RAG qui génère la réponse $A$ à partir de $(C, Q)$ .
Programme Backward ( $B$ ) : Le vérificateur qui analyse $A$ pour produire une trace de vérification $T$ (ensemble de claims, labels et preuves) et vérifie la cohérence avec $C$ .

B. Pipeline de Vérification Hiérarchique

Le système fonctionne en quatre étapes principales :

Décomposition des Claims : La réponse générée $A$ est décomposée en une liste ordonnée de propositions atomiques et auto-contenues (claims). Chaque claim conserve un lien vers le segment de texte original de la réponse.
Vérification Locale (Local Verification) :
- Le contexte $C$ est découpé en fenêtres glissantes (chunks) avec chevauchement.
- Chaque claim est vérifié indépendamment contre ces chunks locaux.
- Un mécanisme de fusion OR-join combine les résultats locaux : si un seul chunk contient une contradiction, le claim est marqué comme contradictoire ; si un seul chunk le soutient, il est marqué comme déduit (Entailed).
Vérification Globale (Global Verification) :
- Cette étape corrige les limites de la vérification locale (où les preuves peuvent être dispersées sur plusieurs chunks).
- Chaque claim est réévalué face au contexte complet $C$ .
- Le vérificateur global utilise les résultats locaux comme indices de recherche (« hints ») mais doit extraire les preuves finales du contexte complet.
- Stratégie adaptative : Si un claim est marqué « Baseless » localement, le vérificateur global cherche activement des preuves dispersées.
Agrégation au niveau de la Réponse :
- Un mécanisme AND-join strict est appliqué : si un seul claim est marqué comme contradictoire (Con) ou sans fondement (Nic/Baseless), l'ensemble de la réponse est considérée comme une hallucination.
- Le système retourne pour chaque claim un label (Entailed, Contradicted, Baseless) et les segments de contexte correspondants (preuves de soutien ou de contradiction).

3. Contributions Clés

Cadre RT4CHART : Une approche de test rétro-morphique qui transforme la détection d'hallucinations en un problème de traçabilité, produisant des verdicts au niveau des claims, des segments localisés et des preuves contextuelles explicites.
Pipeline de Vérification Hiérarchique : Une combinaison de vérification locale (pour la granularité et la vitesse) et globale (pour la cohérence globale), permettant de gérer des contextes longs où les preuves sont dispersées.
Benchmark Amélioré (RAGTruth-Enhance) : Les auteurs ont ré-annoté le jeu de données RAGTruth. Cette nouvelle version révèle que les annotations originales manquaient massivement d'hallucinations (1,68 fois plus de cas d'hallucinations découverts).
Résultats Empiriques Solides : Démonstration que RT4CHART surpasse les méthodes de l'état de l'art sur les deux benchmarks (RAGTruth++ et RAGTruth-Enhance).

4. Résultats Expérimentaux

Les évaluations ont été menées sur RAGTruth++ (408 échantillons) et RAGTruth-Enhance (2 675 échantillons).

Détection au niveau de la réponse (Answer-level) :
- Sur RAGTruth++, RT4CHART atteint un score F1 de 0,776, soit une amélioration de 83 % par rapport à la meilleure baseline (Vectara, F1=0,424).
- Sur RAGTruth-Enhance, le score F1 passe de 0,724 (meilleure baseline) à 0,845 (+17 %).
- La performance est principalement due à une rappel (recall) bien supérieur, crucial pour l'audit où il vaut mieux sur-détecter que rater une hallucination.
Localisation au niveau des segments (Span-level) :
- RT4CHART obtient le meilleur F1 de localisation sur les deux jeux de données (47,5 % sur RAGTruth-Enhance), surpassant les détecteurs spécialisés comme Lettuce.
Abalations et Sensibilité :
- La vérification locale est le principal moteur de performance.
- La vérification globale est complémentaire et particulièrement utile lorsque les preuves sont dispersées sur plusieurs chunks.
- Le système est robuste aux changements de modèle de juge (GPT-4o mini vs GLM-4.7) et reproductible.
Coût : L'audit est peu coûteux (environ 0,01 $ par échantillon), le rendant viable pour des audits post-déploiement.

5. Signification et Impact

Audit Transparent : RT4CHART passe d'un score opaque à un diagnostic fondé sur des preuves, permettant aux développeurs de comprendre pourquoi une réponse est fausse et où se trouve l'erreur.
Qualité des Données : L'étude met en lumière la sous-annotation massive des benchmarks existants, suggérant que la prévalence réelle des hallucinations dans les systèmes RAG est bien plus élevée que ce qui est rapporté.
Applicabilité Opérationnelle : En se concentrant strictement sur le contexte récupéré, le système est adapté aux environnements professionnels (ex: support client, documentation juridique) où la source de vérité doit être le document récupéré et non la mémoire du modèle.

En résumé, RT4CHART représente une avancée significative en transformant la détection d'hallucinations d'une tâche de classification binaire globale en un processus d'audit granulaire, vérifiable et fondé sur des preuves.