💬 NLP

QuCo-RAG: Quantifying Uncertainty from the Pre-training Corpus for Dynamic Retrieval-Augmented Generation

QuCo-RAG introduit un cadre de génération augmentée par récupération dynamique et indépendant du modèle qui atténue les hallucinations en quantifiant l'incertitude grâce aux statistiques objectives du corpus de pré-entraînement (frérence des entités et co-occurrence) via Infini-gram, réalisant ainsi des gains de performance significatifs sur divers modèles et références sans dépendre de signaux internes peu fiables du modèle.

Auteurs originaux : Dehai Min, Kailin Zhang, Tongtong Wu, Lu Cheng

Publié 2026-05-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Dehai Min, Kailin Zhang, Tongtong Wu, Lu Cheng

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un ami très intelligent et bien informé (une IA) qui adore raconter des histoires et répondre à des questions. Mais parfois, cet ami devient un peu trop confiant et se met à inventer des choses — par exemple, affirmer qu'un film a été réalisé par quelqu'un qui n'a jamais fait de film. C'est ce qu'on appelle une « hallucination ».

Pendant longtemps, les chercheurs ont tenté de résoudre ce problème en demandant à l'IA : « Es-tu sûr ? » L'IA regardait alors dans son propre cerveau (ses signaux internes) et répondait : « Oui, je suis sûr à 99 % ! » Mais le problème, c'est que l'IA est mauvaise pour évaluer sa propre confiance. Elle peut être sûre à 99 % d'un mensonge complet.

Voici QuCo-RAG : le « vérificateur de faits » de la bibliothèque

Les auteurs de cet article, QuCo-RAG, ont décidé d'arrêter de demander à l'IA si elle est sûre. À la place, ils ont construit un système qui vérifie les faits de l'IA contre une immense bibliothèque objective de données (le corpus d'apprentissage préalable) avant même que l'IA ne termine sa phrase.

Pensez-y ainsi :

Ancienne méthode (signaux internes) : Vous demandez à l'IA : « Connais-tu cela ? » L'IA répond : « Je me sens vraiment confiante ! » (même si elle a tort).
Méthode QuCo-RAG (statistiques du corpus) : Vous demandez à l'IA : « Ce fait existe-t-il dans la bibliothèque ? » Si la bibliothèque n'en a aucune trace, le système dit : « Stop ! Nous n'avons pas la preuve de cela. Allons chercher cela dans le monde réel (récupérer des données) avant de le dire. »

Comment cela fonctionne : le filet de sécurité en deux étapes

Le système utilise un processus en deux étapes pour attraper les mensonges, en utilisant un index de bibliothèque ultra-rapide appelé Infini-gram (qui peut parcourir 4 billions de mots en millisecondes).

Étape 1 : La vérification du « mot rare » (avant de parler)
Avant que l'IA ne commence à répondre, le système analyse la question.

L'analogie : Imaginez que vous demandez : « Qui est le président de la minuscule nation insulaire de Zogblorp ? »
La vérification : Le système consulte la bibliothèque. Si le mot « Zogblorp » n'apparaît que 5 fois dans toute l'histoire de l'écriture humaine (fréquence faible), le système sait : « C'est obscur. L'IA ne connaît probablement pas bien ce sujet et risque d'inventer. »
L'action : Il saisit immédiatement un livre (récupère des données) pour aider l'IA à répondre correctement avant même qu'elle ne commence à parler.

Étape 2 : La vérification « Se sont-ils jamais rencontrés ? » (pendant qu'elle parle)
Alors que l'IA génère une réponse phrase par phrase, le système observe ce qu'elle dit.

L'analogie : L'IA dit : « Le célèbre chef Gordon Ramsay et le célèbre peintre Van Gogh étaient les meilleurs amis. »
La vérification : Le système consulte la bibliothèque pour voir si « Gordon Ramsay » et « Van Gogh » apparaissent jamais dans la même phrase ou le même paragraphe ensemble.
La logique : S'ils n'apparaissent jamais ensemble dans toute la bibliothèque (aucune co-occurrence), c'est un énorme signal d'alarme. C'est comme dire « La lune et un grille-pain sont les meilleurs amis » — c'est possible, mais si personne n'a jamais écrit cela, l'IA hallucine probablement.
L'action : Le système arrête l'IA, dit : « Attendez, ces deux-là ne traînent jamais ensemble dans nos livres », et récupère les informations correctes pour corriger la phrase.

Pourquoi c'est une grande avancée

L'article montre que cette méthode est bien supérieure à demander à l'IA de vérifier ses propres sentiments.

Elle fonctionne sur des modèles « boîte noire » : Même si vous ne savez pas quels livres l'IA a lus (comme avec GPT-4 ou Llama-3), ce système fonctionne. Il utilise le fait que la plupart des modèles d'IA ont lu des livres similaires (Internet, Wikipédia, etc.). Ainsi, vérifier une bibliothèque publique fonctionne pour presque n'importe quelle IA intelligente.
Elle attrape les « menteurs confiants » : D'autres méthodes manquent souvent quand l'IA se trompe avec assurance. QuCo-RAG les attrape parce qu'elle ne se soucie pas de ce que l'IA ressent ; elle ne se soucie que du fait que l'information existe dans la bibliothèque.
Elle est rapide et efficace : Elle ne vérifie pas chaque mot. Elle ne vérifie que lorsqu'elle repère un mot « rare » ou une combinaison « suspecte » de faits. Cela économise du temps et de l'argent par rapport aux méthodes qui vérifient tout constamment.

Les résultats

Lorsqu'ils ont testé cela sur des questions de culture générale difficiles (comme « Qui a réalisé ce film et quel est le nom de sa mère ? »), QuCo-RAG a obtenu beaucoup plus de bonnes réponses que les meilleures méthodes précédentes. Elle a amélioré la précision jusqu'à 14 points, ce qui est un bond massif dans le monde de l'IA.

En résumé : Au lieu de faire confiance à l'ego de l'IA (« Je suis sûr ! »), QuCo-RAG fait confiance à la bibliothèque (« Montrez-moi la preuve »). Si la preuve n'est pas là, elle empêche l'IA d'inventer des choses.

Résumé Technique : QuCo-RAG

Énoncé du Problème

La Génération Augmentée par Récupération Dynamique (Dynamic RAG) vise à atténuer les hallucinations dans les Grands Modèles de Langage (LLM) en déterminant de manière adaptative quand récupérer des preuves externes durant la génération. Cependant, les méthodes de Dynamic RAG existantes (par exemple, FLARE, DRAGIN, SeaKR) reposent sur des signaux internes au modèle—tels que les probabilités de tokens, l'entropie ou les poids d'attention—pour quantifier l'incertitude. L'article soutient que ces signaux sont fondamentalement peu fiables car les LLM sont généralement mal calibrés, exhibant souvent une haute confiance dans des sorties erronées (« hallucinations confiantes »). De plus, des travaux théoriques suggèrent que même des modèles parfaitement calibrés doivent halluciner sur des faits rares pour maintenir une cohérence statistique. Par conséquent, les signaux internes échouent à distinguer entre une génération incertaine et des erreurs confiantes, entraînant un déclenchement de récupération incohérent et des performances sous-optimales.

Méthodologie : QuCo-RAG

Les auteurs proposent QuCo-RAG (Quantification de l'incertitude à partir du corpus de pré-entraînement pour la Génération Augmentée par Récupération Dynamique), un cadre qui déplace la quantification de l'incertitude de la confiance interne subjective vers des statistiques objectives dérivées du corpus de pré-entraînement. Le système opère en deux étapes distinctes, exploitant le moteur Infini-gram pour des requêtes à latence milliseconde sur des corpus de trillions de tokens.

1. Évaluation des Connaissances Pré-Génération (Incertitude d'Entrée)

Avant le début de la génération, le système évalue la question d'entrée pour détecter des lacunes de connaissances :

Extraction d'Entités : Un extracteur léger identifie les entités clés ( $E_Q$ ) à partir de la question.
Vérification de Fréquence : Le système interroge la fréquence de chaque entité dans le corpus de pré-entraînement ( $P$ ).
Condition de Déclenchement : Si la fréquence moyenne des entités tombe en dessous d'un seuil ( $\tau_{entity}$ ), indiquant des risques liés à des connaissances « longue traîne », la récupération est déclenchée immédiatement. La question originale est utilisée comme requête pour récupérer des documents, qui sont préfixés au contexte.

2. Vérification des Affirmations en Exécution (Incertitude de Sortie)

Pendant la génération, le système surveille chaque phrase générée ( $s_i$ ) pour un soutien probant :

Extraction de Triplets : Un modèle léger extrait des triplets de connaissances $(h, r, t)$ de la phrase générée.
Vérification de Co-occurrence : Au lieu de vérifier l'affirmation relationnelle complète (qui souffre de variabilité lexicale), le système vérifie la fréquence de co-occurrence des entités tête ( $h$ ) et queue ( $t$ ) dans une fenêtre définie ( $\omega$ ) au sein du corpus de pré-entraînement.
Condition de Déclenchement : Si le nombre de co-occurrences est nul (ou inférieur à un seuil $\tau_{cooc}$ ), le système infère un manque de soutien probant, signalant un risque élevé d'hallucination.
Action : La récupération est déclenchée avec une requête orientée sémantique ( $h \oplus r$ ), et la phrase est régénérée en utilisant le contexte récupéré.

Contributions Clés

Changement de Paradigme : L'article introduit une approche agnostique au modèle qui ancre les décisions de récupération dans des statistiques de corpus plutôt que dans des signaux internes de modèle peu fiables.
Détection en Deux Étapes : Il formalise un mécanisme dual adressant à la fois l'incertitude d'entrée (entités rares) et l'incertitude de sortie (paires d'entités non soutenues).
Utilisation de l'Infrastructure : La méthode utilise efficacement Infini-gram pour effectuer des requêtes statistiques en temps réel sur d'immenses corpus de pré-entraînement (par exemple, 4 trillions de tokens) avec une latence négligeable.
Applicabilité Étendue : Le cadre démontre que les statistiques d'un corpus transparent (OLMo-2) peuvent servir de proxies efficaces pour des modèles dont les données d'entraînement sont non divulguées ou propriétaires (par exemple, Llama-3, Qwen2.5, GPT-4/5).

Résultats Expérimentaux

Les auteurs ont évalué QuCo-RAG sur des benchmarks de QA multi-sauts (2WikiMultihopQA, HotpotQA) et ont étendu l'évaluation à la génération de longs textes (ASQA) et à la QA biomédicale (PubMedQA).

Performance sur OLMo-2 : En utilisant la famille OLMo-2 (7B, 13B, 32B) avec un accès complet à leur corpus de pré-entraînement, QuCo-RAG a obtenu des améliorations de 5 à 12 points en Exact Match (EM) par rapport aux bases de référence de l'état de l'art (incluant DRAGIN, ETC et SeaKR).
Transférabilité Inter-Modèles : Lorsqu'appliqué à des modèles avec des données non divulguées (Llama-3, Qwen2.5, GPT-4.1/5), QuCo-RAG a amélioré l'EM jusqu'à 14 points, surpassant les bases de référence reposant sur des signaux internes. Notamment, il a surpassé les modèles GPT utilisant leurs outils de recherche web intégrés.
Efficacité : QuCo-RAG a atteint des performances supérieures tout en maintenant une haute efficacité. Il a déclenché significativement moins de récupérations par question (par exemple, ~1,7 sur HotpotQA) comparé à des méthodes comme FS-RAG ou SeaKR, qui déclenchent souvent des récupérations excessives avec une précision moindre.
Généralisation de Domaine : La méthode s'est généralisée de manière robuste à la génération de longs textes et au domaine biomédical sans ajustement spécifique à la tâche, tandis que les méthodes basées sur des signaux internes ont lutté avec l'efficacité ou l'efficacité dans ces contextes spécialisés.

Signification et Revendications

L'article revendique l'établissement de la vérification ancrée dans le corpus comme un paradigme principé et pratiquement agnostique au modèle pour le Dynamic RAG. Les auteurs soutiennent que :

Fiabilité : Les statistiques de corpus fournissent un signal plus fiable pour l'incertitude que les scores de confiance internes au modèle, qui sont sujets à un mauvais calibrage.
Évolutivité : L'approche s'étend efficacement aux modèles avec des données d'entraînement non divulguées en exploitant le chevauchement substantiel dans les corpus de pré-entraînement à l'échelle du web.
Sécurité et Robustesse : En détectant la « co-occurrence nulle » comme un indicateur fort de risque d'hallucination, la méthode offre un moyen principé d'atténuer les hallucinations confiantes, en particulier pour les connaissances longue traîne où les modèles sont les plus sujets à l'erreur.

Les auteurs reconnaissent des limitations, notamment la dépendance à une correspondance lexicale exacte (qui peut manquer des co-occurrences sous des alias) et les contraintes temporelles des corpus de pré-entraînement statiques. Cependant, ils postulent que la stratégie conservatrice de déclencher une récupération en cas de doute est préférable au risque d'hallucinations non détectées.