🤖 AI

CiteCheck: Retrieval-Grounded Detection of LLM Citation Hallucinations in Scientific Text

L'article présente CiteCheck, un cadre hybride qui combine la récupération de documents scientifiques avec une vérification structurée par des LLM pour détecter avec précision les hallucinations de citations dans les textes scientifiques, obtenant des performances supérieures sur un nouveau benchmark en physique par rapport aux références existantes.

Auteurs originaux : Khashayar Khajavi, Shaghayegh Sadeghi, Rise Adhikari, Alexander Tessier

Publié 2026-05-28

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Khashayar Khajavi, Shaghayegh Sadeghi, Rise Adhikari, Alexander Tessier

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous lisez un rapport scientifique rédigé par un robot très confiant et très rapide. Le robot écrit magnifiquement, mais lorsqu'il énumère les livres et les articles qu'il a utilisés comme sources, il invente parfois des choses. Il pourrait inventer un titre de livre, mélanger le nom de l'auteur, ou même créer un article entier qui n'a jamais existé. Cela s'appelle une « hallucination de citation ».

L'article que vous avez fourni présente un nouvel outil appelé CITECHECK pour détecter ces erreurs. Considérez CITECHECK non pas comme un robot qui devine, mais comme un bibliothécaire-détective surdoué avec une mission précise : vérifier si une référence est réelle et si les détails sont corrects.

Voici comment fonctionne CITECHECK, décomposé en étapes simples :

1. La « Recherche en bibliothèque » (Récupération)

Lorsque CITECHECK voit une citation (comme « Smith, 2023, The Physics of Stars »), il ne fait pas confiance à la mémoire du robot. Au lieu de cela, il agit comme un bibliothécaire qui se précipite immédiatement vers les étagères (ou sur Internet) pour trouver le livre réel.

Il consulte plusieurs bases de données (comme CrossRef, Semantic Scholar et arXiv) pour trouver le véritable article correspondant au titre.
S'il ne trouve pas de correspondance, il sait immédiatement que la citation est probablement fausse.

2. Le jeu « Trouvez la différence » (Vérification)

Une fois que le bibliothécaire a trouvé le livre réel, CITECHECK place la citation du robot côte à côte avec la couverture et les détails du livre réel.

Il utilise un « juge » IA intelligent pour les comparer.
Le Score : Le juge attribue à la citation un score de 0 à 10.
- 10 (Correspondance exacte) : Le robot a tout obtenu juste.
- 6 ou 7 (Hallucination mineure) : Le livre existe, mais le robot s'est trompé sur l'année, a mal orthographié le nom de l'auteur, ou a légèrement modifié l'URL. C'est comme commander une pizza et recevoir les bons ingrédients mais la mauvaise croûte.
- 0 ou 1 (Hallucination majeure) : Le livre n'existe pas du tout, ou le robot décrit un livre complètement différent. C'est comme commander une pizza et recevoir un sandwich qui n'existe pas.

3. Le « Deuxième avis » (Passage par l'examinateur)

Parfois, le robot peut être astucieux. Il pourrait vous fournir une URL réelle (comme un lien vers un véritable article) mais l'associer à un titre ou un auteur fictif. C'est comme vous donner une vraie adresse mais vous dire que la mauvaise personne y habite.

CITECHECK dispose d'une étape « examinateur » pour ces cas suspects. Une seconde IA examine attentivement pour s'assurer que le titre et les auteurs correspondent réellement au lien, et pas seulement le lien lui-même.

Le « Terrain d'entraînement » (La référence de comparaison)

Pour prouver que leur outil fonctionne, les auteurs ont construit une « salle de sport d'entraînement » pour le système. Ils ont pris 982 citations réelles de physique et créé deux types de versions falsifiées :

Faux mineurs : Des articles réels avec de petites erreurs sournoises (comme changer « 2023 » en « 2024 »).
Faux majeurs : Des articles entièrement inventés qui semblent plausibles mais n'existent pas.

Les Résultats : Le détective gagne

Lorsqu'ils ont testé CITECHECK contre d'autres grands modèles d'IA (comme GPT, Claude et Gemini), les résultats étaient clairs :

CITECHECK était le meilleur. Il a correctement identifié les citations réelles par rapport aux fausses environ 89 % du temps.
Pourquoi il a gagné : Les autres modèles d'IA tentaient de deviner à partir de leur mémoire ou simplement en lisant le texte. CITECHECK a gagné parce qu'il est réellement allé vérifier les faits contre de véritables bases de données avant de prendre une décision.
Même lorsque les autres IA avaient des « fiches de triche » (des exemples de ce qu'il fallait rechercher) ou qu'on leur permettait d'utiliser Internet, elles ne pouvaient toujours pas battre la méthode de CITECHECK : « Chercher d'abord, puis comparer ».

La Conclusion

L'article affirme que pour empêcher l'IA de mentir sur ses sources, on ne peut pas simplement demander à l'IA d'« être honnête ». Il faut un système qui récupère d'abord la véritable preuve, puis utilise une comparaison structurée pour déceler les mensonges. CITECHECK fait exactement cela, agissant comme un vérificateur de faits fiable pour l'écriture scientifique.

Résumé Technique : CITECHECK

Énoncé du Problème

Les modèles de langage de grande taille (LLM) sont de plus en plus intégrés dans les flux de travail scientifiques, notamment pour la rédaction de manuscrits et la génération de rapports. Cependant, un problème critique de fiabilité persiste : les LLM génèrent fréquemment des « hallucinations de citations ». Il s'agit de références qui semblent stylistiquement légitimes mais contiennent des métadonnées corrompues (par exemple, des auteurs, des années ou des DOI incorrects) ou pointent vers des articles totalement inexistants. De telles erreurs compromettent la traçabilité, l'attribution et la reproductibilité de la communication scientifique. Les méthodes de vérification existantes reposent souvent sur les connaissances paramétriques internes du modèle ou sur de simples recherches web, qui peinent à distinguer entre une dérive subtile des métadonnées et une fabrication complète, ou échouent à ancrer la vérification dans des preuves académiques structurées.

Méthodologie : Le Cadre CITECHECK

CITECHECK est un cadre hybride conçu pour détecter les hallucinations de citations en ancrant chaque référence dans des sources académiques externes plutôt qu'en s'appuyant sur les connaissances internes du LLM. Le système fonctionne via un pipeline structuré composé de quatre étapes principales :

1. Extraction des Métadonnées

Le système analyse d'abord une chaîne de citation brute en champs structurés (titre, auteurs, année, URL, DOI, identifiant arXiv). Il utilise un analyseur basé sur des règles pour les motifs standards et n'active un analyseur basé sur un LLM que lorsque l'extraction déterministe échoue. Cette étape génère des signaux de récupération sans déterminer la validité.

2. Cascade de Récupération des Candidats

CITECHECK tente de localiser la publication réelle correspondant à la citation en utilisant une cascade en cascade sur plusieurs sources externes :

Recherche Directe : Si un identifiant arXiv est présent, une recherche directe sur arXiv est effectuée en premier.
API Structurées : Le système interroge CrossRef, Semantic Scholar et OpenAlex en utilisant des recherches basées sur le titre.
Recherche Web de Secours : Si les sources structurées ne parviennent pas à retourner une correspondance fiable, une recherche web assistée par un LLM est déclenchée.
Logique de Sélection : Les candidats sont acceptés en fonction de la similarité Levenshtein normalisée entre le titre de la citation nettoyée et le titre du candidat, avec des seuils de confiance supplémentaires (par exemple, provenant de CrossRef) et des signaux de classement basés sur l'année.

3. Vérification Structurée par LLM

Une fois une publication candidate récupérée, un LLM vérificateur compare les métadonnées de la citation originale aux métadonnées du candidat récupéré. Contrairement aux invites de classification standard, le vérificateur produit :

Un score numérique (0–10) représentant le degré d'accord.
Un niveau de confiance et une brève justification.
L'identification des écarts spécifiques.
Le système utilise un score numérique pour permettre des frontières de décision calibrées plutôt que de s'appuyer sur l'étiquette catégorielle du modèle, qui peut être incohérente.

4. Seuillage et Passage de Relecteur

Le score numérique est mappé à trois étiquettes en utilisant des seuils fixes ( $\tau_M$ et $\tau_E$ ) déterminés sur un ensemble de validation :

EXACT : La citation décrit fidèlement la publication réelle ( $s \ge \tau_E$ ).
MINOR : L'article visé existe, mais les champs de métadonnées sont corrompus ( $\tau_M \le s < \tau_E$ ).
MAJOR : Aucune publication correspondante n'existe, ou le candidat est trop dissimilaire ( $s < \tau_M$ ).

Un « Passage de Relecteur » est appliqué aux cas suspects où un identifiant (URL/identifiant arXiv) aboutit à un article réel, mais où la similarité des titres est faible. Un deuxième juge LLM réévalue ces cas pour s'assurer que le texte de la citation décrit précisément la source, empêchant ainsi les faux positifs où un lien valide est associé à des métadonnées fabriquées.

Construction de l'Ensemble de Données

Pour évaluer le cadre, les auteurs ont construit un benchmark de 982 citations issues de la littérature en physique, couvrant neuf sous-domaines (par exemple, astrophysique, matière condensée, informatique quantique).

Corruptions Contrôlées : L'ensemble de données comprend des citations valides, des « hallucinations mineures » (dérive des métadonnées telles que des auteurs ou des années modifiés tout en conservant l'identité de l'article) et des « hallucinations majeures » (références entièrement fabriquées restant topiquement plausibles).
Génération : Les corruptions ont été générées à l'aide de GPT-4o-mini avec des paramètres de température spécifiques pour simuler des erreurs de transcription (mineures) et une fabrication substantielle (majeures).
Équilibre : Le benchmark final est à peu près équilibré entre les trois classes (36,25 % valides, 30,55 % mineures, 33,20 % majeures).

Résultats

Évalué sur un ensemble de test retenu de 792 citations, CITECHECK a obtenu :

88,9 % de Précision
88,7 Macro-F1

Performance Comparative :

CITECHECK a surpassé les modèles de base directs de LLM (GPT-5.4, Claude Sonnet 4.6, Gemini 2.5 Flash) dans les configurations zero-shot et few-shot.
Il a dépassé le modèle de base le plus performant (Claude Sonnet 4.6 avec recherche web et exemples few-shot) de 5,8 points Macro-F1 et 5,7 points de précision.
Notamment, CITECHECK a atteint ce résultat tout en restant zero-shot à l'étape de vérification, démontrant que la vérification ancrée dans la récupération est plus efficace que la supervision en contexte ou le simple prompting.
Études d'Ablation : La suppression de la recherche web de secours a réduit le Macro-F1 de 7,0 points, et la suppression du passage de relecteur l'a réduit de 4,0 points, confirmant la nécessité à la fois d'une récupération large et d'une revue ciblée pour gérer les dérives subtiles des métadonnées.

Importance et Revendications

L'article affirme que la vérification fiable des citations nécessite un passage d'une dépendance aux connaissances internes du LLM à un pipeline combinant récupération académique, comparaison structurée basée sur un LLM et règles de décision calibrées.

Les points clés soulignés par les auteurs incluent :

La Récupération est Essentielle : Même les LLM puissants peinent à détecter les hallucinations sans accès à des preuves externes ; la recherche web améliore considérablement les performances de base mais est insuffisante à elle seule sans comparaison structurée.
Comparaison Structurée plutôt que Prompting : Traiter la vérification comme une récupération de candidats suivie d'une comparaison des métadonnées donne une précision supérieure au prompting direct, en particulier pour les hallucinations « mineures » où l'article existe mais dont les métadonnées sont corrompues.
Détection Granulaire : Le cadre distingue avec succès les correspondances exactes, les erreurs mineures de métadonnées et les fabrications majeures, une nuance souvent perdue dans la détection binaire « réel vs faux ».

Les auteurs concluent que CITECHECK fournit une base pour des pipelines de vérification plus larges pour les textes scientifiques générés par l'IA, bien qu'ils reconnaissent des limitations concernant l'accent actuel sur la physique et la nécessité de travaux futurs sur les bibliographies générées naturellement par des LLM et l'alignement au niveau des affirmations.