What Citations Get Wrong: A Full-Corpus Audit of Reference Existence and Claim Support in a Major NLP Conference
Cet article audite les actes de l'ACL 2026 pour constater que, bien que la quasi-totalité des références citées existent, un audit automatisé en une seule passe du support des affirmations a échoué à se reproduire en raison d'une configuration de modèle non consignée, démontrant qu'une vérification rigoureuse des citations nécessite une journalisation opérationnelle stricte pour garantir la reproductibilité.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans la vaste bibliothèque de la science moderne, une citation est bien plus qu'un simple nom dans une liste ; c'est une promesse. Lorsqu'un auteur écrit une phrase et pointe vers un autre article, il prend deux engagements distincts. Premièrement, il promet que l'article vers lequel il pointe existe réellement et peut être trouvé. Deuxièmement, et c'est beaucoup plus difficile à vérifier, il promet que l'article vers lequel il pointe dit réellement ce que l'auteur affirme qu'il dit. Pendant des décennies, la communauté scientifique s'est principalement inquiétée de la première promesse, surtout avec l'essor de l'intelligence artificielle. Il existe une crainte croissante que des programmes informatiques inventent de faux articles, remplissant les listes de références de titres et d'auteurs qui n'ont jamais existé, polluant ainsi efficacement le registre académique avec de la fiction. Cette anxiété a été bruyante, mais les preuves étayant cette crainte ont été ténues. Parallèlement, la seconde promesse — l'exactitude de l'affirmation elle-même — a reçu beaucoup moins d'attention, même si elle constitue le test plus ancien et plus fondamental pour déterminer si un scientifique dit la vérité sur ses sources.
Un chercheur nommé Tao An a décidé de tester ces deux promesses à la fois, non pas sur un petit échantillon, mais sur une année entière de publications d'une conférence majeure en informatique. L'équipe a audité chaque référence des actes de l'Association for Computational Linguistics de 2026, une collection contenant près de 4 500 articles et plus de 200 000 références, pour vérifier si elles pointaient vers des documents réels. Pour un sous-ensemble plus restreint de ces citations, ils ont également vérifié si le document soutenait réellement la phrase qui le citait. L'objectif était de voir si la crainte de références générées par l'IA était fondée sur la réalité, et de mesurer la fréquence à laquelle un auteur déforme ce que ses sources disent réellement.
L'enquête a commencé par la première promesse : l'existence. Les chercheurs ont construit un système pour vérifier si chaque référence pointait vers un travail réel et récupérable. Ils ont découvert que la grande majorité des références, soit environ 91 pour cent, menaient avec succès à de la littérature réelle. Le faible nombre de références qui ne correspondaient pas n'étaient pas des faux articles, mais plutôt des éléments comme des articles de blog, de la documentation logicielle ou des erreurs d'analyse où l'ordinateur avait mal lu le texte. Lorsque l'équipe a examiné manuellement la infime fraction de références qui semblaient suspectes, ils n'ont trouvé que deux cas, sur près de 210 000, où un article a été confirmé comme étant totalement inexistant. Ce résultat suggère que, sur cette plateforme majeure, la crainte de voir l'IA remplir la littérature de papiers inventés est largement infondée. Les références sont presque toujours réelles.
Cependant, l'histoire a complètement changé lorsque les chercheurs sont passés à la seconde promesse : savoir si l'article cité soutenait réellement l'affirmation. C'est une tâche beaucoup plus difficile, qui nécessite au système de lire l'article cité et de le comparer à la phrase qui le référence. L'équipe a utilisé un processus en deux étapes impliquant des modèles informatiques pour signaler les citations qui semblaient déformer leurs sources. Lors de leur première tentative, le système a signalé un très petit nombre d'erreurs, suggérant que les auteurs étaient principalement précis. Mais lorsque les chercheurs ont exécuté exactement le même processus une seconde fois, en utilisant le même code informatique et les mêmes articles, les résultats ont été radicalement différents. Le deuxième et le troisième passages ont trouvé un nombre d'erreurs environ six fois plus élevé que le premier.
Cette incohérence est devenue la découverte la plus importante de l'étude. Les chercheurs ont remonté la cause à une variable cachée : le modèle informatique spécifique utilisé pour rendre le jugement initial n'avait pas été enregistré. Lors du premier passage, le système était silencieusement revenu par défaut à un modèle plus faible qui avait manqué de nombreuses erreurs. Lors des passages suivants, un modèle différent, plus puissant, a été utilisé, ce qui a permis de détecter beaucoup plus de problèmes. Comme le premier passage utilisait un modèle qui n'avait jamais été consigné, les chercheurs ne pouvaient pas affirmer avec certitude ce que ce premier résultat mesurait réellement. La leçon était frappante : un audit automatisé unique, même s'il est vérifié minutieusement à la main, ne peut être fiable si le processus ne peut pas être répété avec les outils exacts. La mesure elle-même était instable.
Lorsque les chercheurs ont examiné les données qui ont pu être reproduites, ils ont constaté que les erreurs étaient réelles, mais qu'elles n'étaient pas le genre de non-sens généré par des machines que les gens craignaient. Les erreurs confirmées étaient des erreurs humaines subtiles. Un auteur avait pris un article réel et affirmé qu'il disait le contraire de ce qu'il argumentait, ou avait cité une conclusion large alors que l'article ne soutenait qu'une conclusion étroite. Il ne s'agissait pas d'hallucinations créées par une intelligence artificielle ; c'étaient le genre d'erreurs qu'un chercheur fatigué pourrait commettre en se précipitant pour terminer un manuscrit. Ces erreurs étaient invisibles pour tout outil qui vérifie uniquement si une référence existe, car les articles étaient réels, mais le lien entre l'affirmation et la source était rompu.
L'étude a également révélé que le processus de révision par les pairs, où d'autres scientifiques vérifient les articles avant leur publication, ne semblait pas détecter ces erreurs de soutien. Lorsque l'équipe a comparé les articles de conférence publiés à un ensemble de brouillons non révisés, le taux d'erreurs de citation était statistiquement le même. Cela suggère que le système actuel de révision par les pairs n'est pas conçu pour vérifier chaque citation par rapport à sa source, une tâche qui prendrait trop de temps pour des réviseurs bénévoles. Au lieu de cela, la responsabilité de garantir qu'une citation soutient réellement l'affirmation incombe probablement à l'auteur lui-même avant de soumettre son travail.
En fin de compte, l'audit a fourni un portrait clair de l'endroit où se situent les problèmes. La crainte que le registre scientifique soit inondé de faux articles inexistants n'est pas soutenue par les données ; les références sont presque toujours réelles. Le véritable problème est l'exactitude des affirmations attachées à ces références. Ces erreurs sont subtiles, humaines et difficiles à détecter automatiquement parce que les outils utilisés pour les trouver ne sont pas encore assez stables pour donner un chiffre unique et fiable. L'étude conclut qu'avant de pouvoir faire confiance aux machines pour surveiller l'intégrité de la science, nous devons d'abord nous assurer que les machines elles-mêmes sont cohérentes et que leurs propres erreurs sont pleinement comprises. Les défauts qui subsistent ne sont pas le signe d'un système s'effondrant sous le poids de l'intelligence artificielle, mais plutôt un rappel de la complexité durable de la recherche humaine.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.