💬 NLP

Cite Pretrain: Retrieval-Free Knowledge Attribution for Large Language Models

Ce papier présente CitePretrain, une méthode de pré-entraînement continu sans récupération externe qui, grâce à une technique d'indexation active, permet aux grands modèles de langage d'attribuer de manière fiable leurs réponses aux documents vus durant l'entraînement, améliorant ainsi significativement la précision des citations et la robustesse face au bruit.

Auteurs originaux : Yukun Huang, Sanxing Chen, Jian Pei, Manzil Zaheer, Bhuwan Dhingra

Publié 2026-04-07

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Yukun Huang, Sanxing Chen, Jian Pei, Manzil Zaheer, Bhuwan Dhingra

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🌟 Le Problème : Le "Grand Savant" qui invente ses sources

Imaginez un Grand Savant (une Intelligence Artificielle comme nous) qui a lu des millions de livres, d'articles et de sites web pendant son enfance (c'est ce qu'on appelle le pré-entraînement).

Quand vous lui posez une question, il répond brillamment. Mais il y a un gros problème : il a souvent tendance à mentir sur ses sources.

Il dit : "Comme l'explique le livre L'Histoire de France..." alors qu'il n'a jamais lu ce livre, ou pire, il invente un titre qui n'existe pas.
C'est ce qu'on appelle une hallucination.

Pour éviter cela, les systèmes actuels utilisent un bibliothécaire externe (un outil de recherche) qui va chercher la réponse dans une bibliothèque juste avant de répondre.

Le hic ? C'est lent, ça coûte cher, et si le bibliothécaire se trompe de livre ou si la bibliothèque est fermée, le Grand Savant reste muet ou répond n'importe quoi.

💡 La Solution : Apprendre au Savant à citer de l'intérieur

Les auteurs de ce papier se sont demandé : "Et si on entraînait le Grand Savant à se souvenir non seulement des faits, mais aussi de d'où il les a appris, sans avoir besoin d'un bibliothécaire externe ?"

Ils ont créé une nouvelle méthode appelée CitePretrain (Pré-entraînement avec citations).

1. L'Analogie du "Système de Rangement" (Active Indexing)

Imaginez que vous apprenez à un enfant à ranger ses jouets.

L'ancienne méthode (Passive Indexing) : Vous lui donnez une boîte avec une étiquette "Voitures" et vous lui dites juste de mettre les voitures dedans. L'enfant apprend à ranger, mais il ne sait pas pourquoi cette voiture va dans cette boîte précise. S'il doit décrire la voiture plus tard, il oublie souvent l'étiquette.
La nouvelle méthode (Active Indexing) : Vous faites deux choses :
1. En avant (Forward) : Vous montrez la boîte "Voitures" et vous demandez : "Raconte-moi tout ce qu'il y a dedans !" (Le modèle apprend à associer l'étiquette au contenu).
2. En arrière (Backward) : Vous montrez une voiture rouge et vous demandez : "Dans quelle boîte dois-je la ranger ?" (Le modèle apprend à associer le fait à l'étiquette).

En pratiquant ces deux exercices en boucle avec des millions de documents, le modèle apprend à lier fermement un fait à son document d'origine, comme un nœud solide.

2. Le Benchmark (Le Terrain de Jeu) : CitePretrain-Bench

Pour tester si leur méthode fonctionne, ils ont créé un terrain de jeu spécial. Ils ont mélangé :

Des documents réels (Wikipedia, articles scientifiques).
Des documents fictifs et invisibles (comme des livres secrets que le modèle n'a jamais vus avant).

C'est comme si on donnait au Grand Savant un nouveau livre qu'il n'a jamais lu, puis qu'on lui demandait de répondre à des questions en citant exactement le bon chapitre de ce nouveau livre. Si le modèle cite le bon livre, c'est qu'il a vraiment appris, pas qu'il a deviné.

🚀 Les Résultats : Pourquoi c'est génial ?

Les chercheurs ont testé cela sur des modèles de taille moyenne (comme Qwen-2.5). Voici ce qu'ils ont découvert :

Moins de mensonges : Grâce à leur méthode "Active", le modèle cite correctement ses sources jusqu'à 30 % de plus que les anciennes méthodes. C'est comme passer d'un élève qui triche à un élève qui a vraiment révisé ses cours.
La force de la répétition intelligente : Plus ils ajoutent d'exercices de "rangement" (données augmentées), plus le modèle devient bon. Même avec 16 fois plus de données d'entraînement, il continue de progresser !
Le duo gagnant : La méthode fonctionne mieux quand on combine l'entraînement "En avant" et "En arrière". C'est comme apprendre à la fois à lire une recette et à identifier les ingrédients.
Le filet de sécurité : Même si le "bibliothécaire externe" (la recherche web) est en panne ou donne de mauvaises infos, le Grand Savant peut toujours répondre avec ses propres connaissances internes et citer ses sources. C'est une sécurité incroyable.

🎯 En résumé

Ce papier nous dit : "Ne faites pas confiance aveuglément à un moteur de recherche externe pour vérifier les réponses de l'IA. Entraînez l'IA à devenir son propre archiviste."

En apprenant à l'IA à lier chaque fait à son document d'origine dès le début de son apprentissage, on obtient un assistant plus honnête, plus rapide (pas besoin de chercher à chaque fois) et plus transparent. C'est un pas de géant vers des intelligences artificielles dignes de confiance.

1. Problématique et Contexte

Les modèles de langage (LLM) sont de plus en plus utilisés pour générer du contenu, mais leur manque de fiabilité et leur tendance à l'hallucination (générer des faits faux ou des références inventées) constituent un obstacle majeur à leur adoption dans des contextes critiques.

Limites des citations internes actuelles : Lorsqu'un LLM génère des citations directement à partir de sa mémoire paramétrique (citations internes), le taux d'hallucination est extrêmement élevé (jusqu'à 91,4 %), et les attributions sont souvent incorrectes.
Limites des systèmes RAG (Retrieval-Augmented Generation) : La solution actuelle consiste à utiliser un récupérateur externe (RAG) pour trouver des documents et les citer. Cependant, cette approche introduit une latence, dépend d'une infrastructure externe (recherche web, bases de données), et peut échouer si la récupération est bruyante ou si les documents pertinents ne sont pas trouvés.
Objectif de la recherche : Déterminer si l'on peut entraîner des LLMs à attribuer de manière fiable leurs réponses aux documents vus lors de la pré-entraînement (ou de la pré-entraînement continu), sans avoir besoin d'un récupérateur externe au moment de l'inférence (mode "closed-book").

2. Méthodologie : Le Framework CitePretrain

Les auteurs proposent une approche en deux étapes pour apprendre au modèle à lier les connaissances factuelles à des identifiants de documents (titres) de manière robuste.

A. Benchmark : CitePretrain-Bench

Pour évaluer cette capacité, les auteurs ont construit un benchmark mixant :

Corpus réels : Wikipedia, Common Crawl, et des articles arXiv.
Documents nouveaux : Des documents inédits non vus lors de la pré-entraînement initiale, pour tester la capacité d'apprentissage et d'attribution de nouvelles connaissances.
Tâches : Des questions-réponses (QA) à la fois courtes (faits uniques) et longues (synthèse multi-factuelle), exigeant des citations précises.

B. Stratégie d'Entraînement : "Active Indexing"

L'approche se distingue par une méthode d'indexation active lors de la pré-entraînement continu, composée de deux phases :

Indexation Passive (Baseline) :
- Les identifiants de documents (titres) sont simplement ajoutés à la fin de chaque document pendant l'entraînement.
- Résultat : Le modèle apprend à copier les titres pour des citations littérales, mais échoue à associer des faits paraphrasés ou synthétisés à la bonne source.
Indexation Active (Proposition) :
Cette méthode utilise l'augmentation de données synthétiques pour renforcer l'association entre les faits et les sources via deux objectifs complémentaires :
- Augmentation "Forward" (Source $\to$ Fait) : Génération de paires Question-Réponse basées sur un document spécifique. Le modèle doit répondre à une question en utilisant les informations du document, conditionné par son identifiant. Cela renforce la récupération de la mémoire interne.
- Augmentation "Backward" (Fait $\to$ Source) : Création de paires Instruction-Réponse nécessitant la synthèse d'informations provenant de plusieurs documents différents. Le modèle doit générer la réponse et attribuer chaque fait à l'identifiant du document source correspondant. Cela force le modèle à apprendre à citer la bonne source même lorsque l'information est reformulée ou combinée.

L'entraînement final combine la pré-entraînement continu (avec ces données augmentées) et un instruction tuning pour eliciter le comportement de citation.

3. Contributions Clés

CitePretrain-Bench : Un benchmark complet pour évaluer l'attribution interne des connaissances, couvrant des documents réels et synthétiques, ainsi que des tâches de citation courtes et longues.
Active Indexing : Une nouvelle méthode de pré-entraînement qui ne se contente pas de mémoriser des liens verbatim, mais apprend au modèle à reconnaître et citer la source correcte même lorsque le fait est exprimé différemment (paraphrase, synthèse).
Preuve de concept "Retrieval-Free" : Démonstration qu'un modèle peut citer ses sources d'entraînement sans accès à un moteur de recherche externe, réduisant ainsi la latence et la dépendance infrastructurelle.
Analyse de l'échelle : Étude montrant que la performance continue de s'améliorer avec la quantité de données augmentées (jusqu'à 16x la taille originale) et la taille du modèle.

4. Résultats Expérimentaux

Les expériences ont été menées sur les modèles Qwen-2.5 (3B, 7B, 14B) et Llama-3.

Performance Supérieure : L'Indexation Active surpasse systématiquement l'Indexation Passive et les méthodes de base.
- Gain de précision des citations allant jusqu'à 30,2 % par rapport à la baseline passive sur toutes les tâches.
- Sur la tâche RepliQA (documents synthétiques), la précision des citations passe de ~2,4 % (Passive) à 32,6 % (Active Indexing combiné) pour le modèle Qwen-7B.
Complémentarité des Directions : La combinaison des augmentations "Forward" et "Backward" donne les meilleurs résultats, confirmant que les deux objectifs sont nécessaires pour une attribution robuste.
Impact de la Taille du Modèle : Bien que les modèles plus grands (7B, 14B) performent mieux, la taille seule ne suffit pas. Même un modèle propriétaire puissant comme GPT-4.1, sans entraînement spécifique pour l'attribution interne, échoue à générer des citations fiables comparé aux modèles entraînés avec Active Indexing.
Robustesse aux Paraphrases : Contrairement aux méthodes passives qui échouent sur des faits non littéraux, Active Indexing permet au modèle de citer correctement même lorsque la question ou la réponse reformule le contenu du document.
Hybridation Interne/Externe : L'étude montre que les citations internes et externes sont complémentaires. Un système hybride (utilisant la récupération externe quand elle est disponible et fiable, et basculant sur la mémoire interne quand la récupération échoue) offre la meilleure robustesse globale.

5. Signification et Implications

Transparence et Régulation : Cette approche répond aux exigences croissantes (comme l'AI Act de l'UE) concernant la traçabilité des sorties des modèles IA. Elle permet de relier directement une réponse à sa source d'entraînement sans infrastructure externe complexe.
Efficacité Opérationnelle : En éliminant le besoin d'un récupérateur externe pour chaque requête, la méthode réduit la latence et les coûts d'infrastructure, rendant les systèmes de citation plus évolutifs.
Nouvelle Voie pour la Mémoire des LLM : Le papier démontre que la mémoire des LLMs peut être structurée de manière à être "interrogable" et "attribuable" de manière fiable, transformant la mémoire paramétrique d'une boîte noire en une base de connaissances traçable.
Limites et Avenir : Bien que prometteuse, la méthode nécessite un investissement initial en calcul pour l'augmentation des données. Les auteurs soulignent également la nécessité de travailler sur la vie privée (pour éviter que le modèle ne révèle des données sensibles via les citations) et d'étendre ces méthodes à d'autres langues et domaines spécialisés.

En résumé, CitePretrain propose une solution élégante au problème de l'hallucination des citations en transformant l'apprentissage de l'indexation des documents en une tâche fondamentale du modèle lui-même, rendant les LLMs plus fiables, transparents et autonomes.