Imaginez que vous écrivez un rapport scolaire sur l'histoire du voyage spatial. Pour avoir l'air intelligent, vous ajoutez une liste de sources en bas de page. Mais et si certaines de ces sources étaient inventées ? Et si le titre du livre semblait réel, le nom de l'auteur était celui d'un scientifique célèbre, et l'éditeur était un lieu bien réel, mais que le livre lui-même n'avait jamais existé ? C'est ce qu'on appelle une « hallucination ». Dans le monde de l'Intelligence Artificielle (IA), les Grands Modèles de Langage (LLM) sont comme des étudiants super intelligents capables de rédiger des essais et des résumés instantanément. Cependant, il leur arrive d'être si confiants qu'ils inventent de fausses références pour paraître plus crédibles. C'est un problème majeur pour la science car, si les chercheurs utilisent ces citations fictives, toute la chaîne de la connaissance se brise. Pour y remédier, les scientifiques construisent des « vérificateurs de citations » — des outils numériques conçus pour vérifier si une référence est réelle ou un mensonge. Mais jusqu'à présent, il n'existait aucun moyen équitable de tester quel outil était le meilleur détective, car tout le monde testait ses outils sur des ensembles différents et désordonnés de faux articles.

Entrez en scène HALLMARK, une nouvelle étude qui agit comme un « examen » géant et organisé pour ces outils de vérification de citations. Les chercheurs ont créé une banque de tests massive de 2 526 références fausses et réelles, allant de mensonges évidents (comme un livre publié en l'an 3000) à des ruses plus subtiles (comme un auteur réel associé à un titre fictif). Ils ont ensuite soumis 13 outils différents à l'épreuve, incluant des vérificateurs de bases de données simples et des modèles d'IA avancés. L'étude a découvert une vérité surprenante : la chose la plus importante pour un vérificateur de citations n'est pas le nombre de mensonges qu'il attrape, mais la fréquence à laquelle il accuse faussement un article réel d'être un mensonge. Si un outil est trop agressif, il signale tellement d'articles réels comme étant faux que plus personne ne peut faire confiance à ses avertissements. L'article a également révélé que la plupart des outils d'IA sont déroutés par les articles publiés après leur « date de coupure d'entraînement » (la date à laquelle leurs connaissances s'arrêtent), signalant souvent de nouveaux articles réels comme étant faux parce qu'ils ne les reconnaissent pas. Bien que les meilleurs outils puissent repérer les faux, l'étude suggère que le véritable défi est de trouver un équilibre où l'outil est assez intelligent pour attraper les mensonges sans pour autant hurler « faux ! » à tout ce qu'il ne connaît pas.

Le Gros Problème : L'Épidémie de la « Référence Fictive »

Imaginez que vous êtes un bibliothécaire. Quelqu'un vous tend une pile de livres et vous dit : « Voici les sources pour ma recherche. » Vous vérifiez le premier, et il semble parfait. Vous vérifiez le deuxième, et il est également excellent. Mais vous réalisez que le troisième livre n'existe pas dans la bibliothèque, et que le quatrième sera publié l'année prochaine. C'est exactement ce qui se passe lorsque les modèles d'IA génèrent du texte. Ils sont si doués pour paraître confiants qu'ils inventent parfois des références qui semblent réelles mais qui sont totalement imaginaires. C'est ce qu'on appelle une hallucination de citation.

Par le passé, les humains vérifiaient ces références. Mais aujourd'hui, avec l'IA qui écrit énormément, nous avons besoin d'outils automatisés pour effectuer cette vérification. Le problème est que chaque outil prétend être le meilleur, mais ils sont tous testés sur des choses différentes. C'est comme avoir trois alarmes incendie testées dans trois maisons différentes avec des types de fumée différents ; vous ne pouvez pas savoir quelle alarme est réellement la meilleure tant que vous ne les avez pas toutes testées dans le même bâtiment avec la même fumée.

La Solution : HALLMARK (Le Grand Examen de Citation)

Les auteurs de ce papier ont construit HALLMARK, qui signifie « benchmark d'hallucination ». Considérez cela comme un grand test standardisé pour les vérificateurs de citations. Ils n'ont pas simplement jeté des articles faux au hasard aux outils ; ils ont créé un examen structuré avec trois niveaux de difficulté :

1. Niveau 1 (Facile) : Ce sont des mensonges évidents. Comme un DOI (un identifiant numérique pour un article) qui ne fonctionne pas, ou un nom de conférence qui a été inventé. Une simple recherche devrait les débusquer.
2. Niveau 2 (Moyen) : Ceux-ci sont plus délicats. Imaginez un auteur réel et une conférence réelle, mais le titre de l'article est faux. Ou un article réel cité à la mauvaise conférence. Il faut croiser les détails pour les attraper.
3. Niveau 3 (Difficile) : Ce sont les « chefs-d'œuvre » du mensonge. L'article est entièrement inventé mais semble si réaliste qu'un humain pourrait même le croire. Ou le titre est différent d'un seul mot par rapport à un article réel (comme « Attention is All You Need » vs « Attention is All You Want »).

La banque de tests contient 2 526 entrées. Certaines sont des articles réels extraits d'une base de données, et d'autres sont des faux créés par des humains, par l'IA, ou en déstructurant systématiquement des articles réels. Crucialement, ils ont veillé à ce que les articles « faux » ne figurent pas dans les données d'entraînement des outils d'IA testés, afin que les outils ne puissent pas simplement « mémoriser » les réponses.

Les Trois Grandes Découvertes

Les chercheurs ont testé 13 outils différents, allant de simples recherches en base de données à des agents d'IA avancés capables de chercher sur Internet. Voici ce qu'ils ont trouvé :

1. Le Piège du « Faux Positif »

La plus grande surprise a été que le Taux de Faux Positifs (FPR) est le chiffre le plus important, et non le nombre de mensonges que l'outil attrape (le Rappel).

• L'Analogie : Imaginez un agent de sécurité à un concert. S'il arrête 100 personnes pour vérifier leurs billets, et que 99 d'entre elles sont en réalité des fans avec des billets valides, l'agent est inutile, même s'il a attrapé la personne qui n'en avait pas.
• Le Constat : Certains outils étaient comme cet agent trop zélé. Ils attrapaient presque tous les articles faux (haut rappel), mais ils signalaient aussi tellement d'articles réels comme étant faux (haut taux de faux positifs) que les résultats devenaient inutilisables. L'étude a montré qu'à un taux réaliste de papiers faux (environ 2 %), un outil avec un taux de faux positifs élevé se tromperait 35 fois sur 36 lorsqu'il déclencherait une alerte. Les meilleurs outils étaient ceux qui étaient prudents et ne signalaient que les éléments dont ils étaient certains, même s'ils en passaient quelques-uns à côté.

2. Le Paradoxe de l'« Agent »

Les chercheurs ont tenté de donner des « super-pouvoirs » aux outils d'IA en les laissant utiliser des moteurs de recherche et des bases de données pour vérifier les références (ce qu'on appelle des « recherches agentiques »).

• Le Constat : Vous pourriez penser que donner plus d'informations à un outil le rendrait plus intelligent. Mais souvent, cela le rendait moins précis. Lorsque l'IA recevait l'ordre de chercher dans plusieurs bases de données, elle avait tendance à signaler un article comme faux si une seule base de données ne parvenait pas à le trouver. Comme les articles réels ne sont pas toujours présents dans chaque base de données, l'IA commençait à signaler des articles réels comme étant faux. C'était comme un détective qui arrête quelqu'un simplement parce qu'un témoin ne l'a pas reconnu, ignorant les autres témoins qui disaient qu'il était innocent. L'étude a montré que ces outils « agentiques » augmentaient leurs fausses alertes d'environ 5 fois par rapport à lorsqu'ils utilisaient uniquement leurs propres connaissances.

3. L'Aveuglement de la « Date de Coupure d'Entraînement »

Les modèles d'IA sont entraînés sur des données allant jusqu'à une certaine date (leur « coupure »). Ils ne connaissent pas les événements survenus après.

• Le Constat : Lorsque les chercheurs ont testé les outils sur des articles publiés en 2024 et 2025 (après la coupure d'entraînement de la plupart des modèles), les outils sont devenus fous. Ils commençaient à signaler presque chaque nouvel article comme étant faux parce qu'ils ne reconnaissaient ni les auteurs ni les revues. C'était comme un bibliothécaire qui ne connaîtrait que les livres publiés avant 2020 et qui refuserait soudainement de croire que tout nouveau livre existe. Seuls les modèles les plus récents (avec les données d'entraînement les plus récentes) ont réussi à rester calmes et à ne pas trop signaler les nouveaux articles.

Ce que cela signifie pour l'avenir

L'article conclut qu'il n'existe pas d'outil « parfait ». Le bon outil dépend de la situation :

• Pour une vérification rapide : Un outil simple basé sur des règles (comme celui que les auteurs ont créé, nommé bibtex-updater) est excellent car il crie rarement au loup, même s'il laisse passer certains mensonges subtils.
• Pour une analyse approfondie : Si vous devez attraper chaque mensonge et que vous pouvez vous permettre de réviser manuellement les faux positifs plus tard, alors un outil d'IA plus agressif peut être préférable.

L'étude souligne que la confiance dans la science dépend du fait que ces outils ne se contentent pas de débusquer les mensonges, mais qu'ils ne mentent pas non plus sur la vérité. Si un outil signale trop de papiers réels comme étant faux, les chercheurs cesseront de l'écouter, et les faux papiers passeront entre les mailles du filet. Les auteurs suggèrent que l'avenir de la vérification des citations réside dans des outils qui sont prudents, calibrés et conscients de leurs propres limites, plutôt que dans des outils qui sont simplement bruyants et agressifs.

En résumé, HALLMARK n'a pas seulement trouvé un vainqueur ; il nous a appris comment juger les juges. Il a montré que dans la lutte contre les fausses références, être prudent est souvent plus important que d'être rapide, et que parfois, savoir ce que l'on ne sait pas est l'outil le plus puissant de tous.