💬 NLP

Faithfulness-Aware Uncertainty Quantification for Fact-Checking the Output of Retrieval Augmented Generation

Ce papier présente FRANQ, une nouvelle méthode de quantification de l'incertitude qui distingue la véracité factuelle de la fidélité au contexte récupéré pour détecter plus précisément les hallucinations dans les systèmes de génération augmentée par récupération (RAG).

Auteurs originaux : Ekaterina Fadeeva, Aleksandr Rubashevskii, Dzianis Piatrashyn, Roman Vashurin, Shehzaad Dhuliawala, Artem Shelmanov, Timothy Baldwin, Preslav Nakov, Mrinmaya Sachan, Maxim Panov

Publié 2026-04-20

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Ekaterina Fadeeva, Aleksandr Rubashevskii, Dzianis Piatrashyn, Roman Vashurin, Shehzaad Dhuliawala, Artem Shelmanov, Timothy Baldwin, Preslav Nakov, Mrinmaya Sachan, Maxim Panov

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🕵️‍♂️ Le Problème : Le Détective Confiant mais Trompé

Imaginez un détective très intelligent (c'est l'IA ou le Grand Modèle de Langage) qui doit répondre à des questions complexes. Pour ne pas se tromper, ce détective consulte une pile de dossiers (les documents récupérés). C'est ce qu'on appelle le RAG (Génération Augmentée par la Récupération).

Le problème, c'est que ce détective a deux défauts majeurs :

Il invente des faits (hallucinations) : Parfois, il répond avec ses propres connaissances, mais il se trompe.
Il suit aveuglément les dossiers : Parfois, les dossiers qu'on lui donne sont faux ou incomplets. S'il suit ces dossiers à la lettre, il répétera les erreurs comme un perroquet.

Jusqu'à présent, les systèmes de vérification étaient un peu bêtes : ils disaient "Si ce n'est pas écrit dans le dossier, c'est faux !". Mais imaginez que le détective dise : "La Terre est ronde". Si le dossier est vide sur ce sujet, l'ancien système disait : "Faux ! Ce n'est pas dans le dossier !". C'est injuste, car la Terre est ronde, même si le dossier est muet.

🛠️ La Solution : FRANQ (Le Nouveau Système de Vérification)

Les auteurs de l'article ont créé FRANQ. Imaginez FRANQ comme un inspecteur de police très méticuleux qui ne se contente pas de vérifier si le détective a lu le dossier. Il pose deux questions cruciales à chaque affirmation :

Est-ce que le détective a copié le dossier ? (On appelle ça la Fidélité).
Est-ce que ce qui est dit est VRAI dans la réalité ? (On appelle ça la Facticité).

FRANQ fonctionne en trois étapes simples, comme un triage médical :

Étape 1 : Le Triage (Fidélité)

L'inspecteur regarde l'affirmation et le dossier.

Cas A : Le détective a copié le dossier.
- Analogie : Le détective a lu le dossier et répété ce qu'il y a écrit.
- Action : L'inspecteur vérifie si le dossier lui-même est fiable. Si le dossier est faux, l'affirmation est fausse, même si le détective l'a bien copiée.
Cas B : Le détective a utilisé sa propre mémoire.
- Analogie : Le détective a fermé les yeux sur le dossier et a répondu de sa tête.
- Action : L'inspecteur vérifie si la mémoire du détective est bonne. S'il dit "La Terre est ronde" sans le dossier, l'inspecteur dit : "Bon, ce n'est pas dans le dossier, mais c'est vrai, donc on valide !".

Étape 2 : Le Calcul de la Confiance

FRANQ utilise des mathématiques pour calculer une "note de confiance" en mélangeant ces deux scénarios.

Si le détective a copié un dossier douteux, la note de confiance chute.
Si le détective a utilisé sa propre connaissance pour dire quelque chose de vrai, la note de confiance reste haute.

Étape 3 : L'Étalonnage (Le Calibrage)

Parfois, les outils de mesure de l'inspecteur sont un peu déréglés (comme une balance qui indique 10kg pour un chat). FRANQ utilise une petite astuce mathématique (la régression isotone) pour "recalibrer" ses instruments. C'est comme si l'inspecteur comparait ses mesures avec une balance de référence avant de donner son verdict final. Cela rend ses prédictions beaucoup plus précises.

🧪 Pourquoi c'est génial ? (Les Résultats)

Les chercheurs ont testé FRANQ sur des milliers de questions, du style "Comment faire un gâteau ?" (réponses courtes) à "Expliquez l'histoire de la Rome antique" (réponses longues).

Avant FRANQ : Les systèmes confondaient souvent "ce qui n'est pas dans le dossier" avec "ce qui est faux". Ils punissaient les IA quand elles avaient raison par elles-mêmes.
Avec FRANQ : Le système fait la différence. Il sait dire : "Attends, ce n'est pas dans le dossier, mais c'est vrai, donc c'est bon !". Ou encore : "C'est dans le dossier, mais le dossier est faux, donc c'est dangereux !".

🎯 En Résumé : L'Analogie du Restaurant

Imaginez un chef (l'IA) qui cuisine un plat.

L'ancien système disait : "Si la recette n'est pas dans le livre de cuisine, c'est un plat raté." (Même si le chef a inventé un plat délicieux).
FRANQ, c'est le critique gastronomique qui dit :
1. "Est-ce que le chef a suivi la recette ?" (Fidélité).
2. "Si oui, la recette était-elle bonne ?" (Vérification du dossier).
3. "Si non, est-ce que le plat est quand même délicieux ?" (Vérification de la réalité).

FRANQ permet donc de construire des IA plus honnêtes, qui ne s'inventent pas des histoires, mais qui ne sont pas non plus esclaves de documents erronés. C'est un pas de géant vers des assistants IA plus fiables pour la santé, le droit ou l'éducation.

1. Problématique : Les limites de la détection d'hallucinations en RAG

Les modèles de langage (LLM) augmentés par la récupération (Retrieval-Augmented Generation ou RAG) sont devenus la norme pour les questions ouvertes, car ils permettent d'accéder à des connaissances externes. Cependant, ils restent sujets aux hallucinations (générations factuellement incorrectes).

L'article identifie une faille critique dans les approches existantes de détection d'hallucinations : la confusion entre fidélité (faithfulness) et facticité (factuality).

Fidélité : Le contenu généré est-il déduit ou soutenu par le contexte récupéré ?
Facticité : Le contenu généré est-il objectivement vrai, indépendamment du contexte ?

Les méthodes actuelles considèrent souvent toute affirmation non soutenue par le contexte récupéré comme une hallucination. Cela conduit à deux erreurs :

Faux positifs : Une affirmation factuellement correcte provenant des connaissances internes du modèle (mais absente du contexte récupéré) est faussement étiquetée comme hallucination.
Faux négatifs : Une affirmation soutenue par un contexte récupéré erroné est considérée comme fiable, alors qu'elle est factuellement fausse.

L'objectif est donc de développer un système capable de distinguer ces deux modes d'échec pour quantifier l'incertitude de manière plus précise.

2. Méthodologie : FRANQ

Les auteurs proposent FRANQ (Faithfulness-aware Retrieval Augmented UNcertainty Quantification), une nouvelle méthode d'estimation de l'incertitude qui décompose la probabilité qu'une affirmation soit vraie en deux branches conditionnelles.

A. Décomposition Probabiliste

La probabilité qu'une affirmation $c$ soit vraie est estimée selon la formule suivante :
$P(c \text{ est vraie}) = P(c \text{ est fidèle}) \cdot P(c \text{ est vraie} | \text{fidèle}) + P(c \text{ n'est pas fidèle}) \cdot P(c \text{ est vraie} | \text{n'est pas fidèle})$

Cette approche traite séparément les deux sources d'erreur potentielles :

Le cas Fidèle (Faithful) : L'affirmation est soutenue par le contexte récupéré. Ici, l'erreur provient souvent d'une mauvaise application du contexte par le modèle.
Le cas Non-Fidèle (Unfaithful) : L'affirmation ne provient pas du contexte récupéré (elle vient des connaissances internes du modèle). Ici, l'erreur provient des connaissances paramétriques du modèle.

B. Composants Techniques

Pour approximer les termes de l'équation, FRANQ utilise des techniques spécifiques adaptées au type de question (courte ou longue) :

Estimation de la Fidélité : Utilisation de AlignScore, une métrique basée sur RoBERTA fine-tunée pour mesurer la consistance factuelle entre une affirmation et le contexte. Contrairement aux seuils binaires, AlignScore fournit une estimation continue, ce qui est crucial pour les cas de fondation partielle.
Facticité sous condition Non-Fidèle :
- Questions longues : Utilisation de la Parametric Knowledge (probabilité de l'affirmation basée uniquement sur les connaissances internes du LLM, sans contexte récupéré).
- Questions courtes : Utilisation de la Somme des Valeurs Propres (Sum of Eigenvalues) pour capturer la diversité des échantillons.
Facticité sous condition Fidèle :
- Questions longues : Utilisation de la Probabilité Maximale de l'Affirmation (Max Claim Probability).
- Questions courtes : Utilisation de l'Entropie Sémantique (Semantic Entropy) pour mesurer l'incertitude sémantique.
Calibration : Pour éviter les incohérences entre les différentes métriques d'incertitude, les auteurs appliquent une régression isotonique (isotonic regression) pour calibrer les scores. Une variante clé, Condition-Calibrated, calibre séparément les scores pour les cas fidèles et non-fidèles, ce qui s'avère être la stratégie la plus performante.

3. Contributions Clés

Méthode FRANQ : Un cadre probabiliste unifié qui sépare l'évaluation de la fidélité de celle de la facticité, permettant une détection d'erreurs factuelles plus nuancée que les méthodes baselines.
Nouveau Dataset Long-Form QA : Création d'un ensemble de données annoté spécifiquement pour le RAG, contenant 76 questions complexes et 1 782 affirmations atomiques. Ce dataset est annoté pour la fidélité et la facticité via un processus hybride (annotation automatique par GPT-4o suivie d'une validation manuelle ciblée sur les cas difficiles).
Évaluation Exhaustive : Des expériences menées sur des tâches de questions-réponses courtes et longues, utilisant plusieurs modèles (Llama, Falcon, Gemma) et comparant FRANQ à de nombreuses méthodes d'incertitude (baselines générales, spécifiques au RAG, et classificateurs supervisés).

4. Résultats Expérimentaux

Les expériences montrent que FRANQ surpasse systématiquement les approches existantes :

Performance Globale : La version Condition-Calibrated de FRANQ obtient les meilleurs scores (PR-AUC et PRR) sur la majorité des modèles et des tâches, tant pour les questions courtes que longues.
Robustesse : FRANQ démontre une grande robustesse face à deux types de corruption de la récupération :
- Récupération non pertinente : Remplacement aléatoire de 50% des passages.
- Récupération factuellement erronée : Modification des passages récupérés pour y insérer des faits faux. FRANQ parvient toujours à détecter les erreurs factuelles, même lorsque le contexte soutient l'erreur.
Efficacité : L'ajout de la calibration (régression isotonique) est très léger en termes de coût computationnel (quelques centaines d'octets de modèle, < 1 seconde de temps d'entraînement) tout en apportant des gains significatifs.
Analyse par Ablation : L'étude montre que le choix de la méthode pour les cas "non-fidèles" est critique pour les questions longues (la Parametric Knowledge est essentielle), tandis que pour les questions courtes, le système est plus robuste aux choix de méthodes.

5. Signification et Impact

Ce travail apporte une avancée conceptuelle majeure dans l'évaluation des systèmes RAG :

Changement de paradigme : Il déplace le focus de la simple vérification de l'alignement contextuel (fidélité) vers la vérification de la vérité objective (facticité). Cela permet d'éviter de pénaliser les modèles lorsqu'ils utilisent correctement leurs connaissances internes pour compléter un contexte incomplet.
Praticité : La méthode est légère, ne nécessite pas de réentraînement massif du LLM, et peut être intégrée comme un module de post-traitement ou de contrôle de génération.
Fiabilité : En distinguant les sources d'incertitude, FRANQ offre un outil plus fiable pour le "fact-checking" automatique, essentiel pour le déploiement de l'IA dans des domaines sensibles (santé, droit, éducation).

En conclusion, FRANQ établit un nouvel état de l'art pour la quantification de l'incertitude en RAG en prouvant que la prise en compte explicite de la fidélité améliore considérablement la capacité à détecter les erreurs factuelles réelles.