Is the ACL Responsible NLP Checklist a Box-Ticking Exercise? A Large-Scale Analysis of EMNLP 2025

Imaginez le monde de l'intelligence artificielle (IA) comme un immense chantier de construction en pleine effervescence. Chaque jour, des équipes d'ingénieurs construisent de nouvelles machines incroyables — certaines qui écrivent de la poésie, d'autres qui diagnostiquent des maladies, et d'autres encore qui traduisent des langues instantanément. Mais tout comme pour n'importe quel projet de construction, il y a des règles. Vous ne voudriez pas qu'un constructeur ignore les codes de sécurité, utilise des matériaux instables ou construise un pont qui s'effondre dès la première voiture. Dans le monde de la recherche en IA, ces « codes de sécurité » sont appelés Pratiques de Traitement du Langage Naturel (NLP) Responsables. Il s'agit d'un ensemble de directives demandant aux chercheurs d'être transparents sur la manière dont ils ont construit leurs modèles, de réfléchir à qui pourrait être blessé par leur travail, et de s'assurer que leurs données ont été collectées de manière éthique.

Pour s'assurer que tout le monde respecte ces règles, les grandes conférences d'IA (comme celle où ce papier a été présenté) ont introduit une Liste de contrôle (Checklist). Voyez cette liste de contrôle comme un formulaire d'inspection finale qu'un constructeur doit remplir avant qu'un bâtiment ne soit approuvé. Elle pose des questions telles que : « Avez-vous vérifié les risques de sécurité ? », « Avez-vous crédité les personnes qui ont fabriqué vos outils ? » et « Avez-vous obtenu l'autorisation des personnes que vous avez étudiées ? ». L'objectif était de transformer ces idées éthiques vastes et intimidantes en de simples cases « Oui » ou « Non » que les chercheurs pourraient cocher, garantissant ainsi que leur travail soit sûr et honnête pour tout le monde.

Mais voici la grande question : ces chercheurs réfléchissent-ils réellement profondément aux réponses, ou se contentent-ils de cocher les cases à la hâte pour pouvoir publier leurs articles ? C'est exactement ce que cette étude examine. Les auteurs, une équipe de chercheurs de l'Université d'Aberdeen, ont décidé de jouer les détectives. Ils ont rassemblé les listes de contrôle de plus de 3 000 articles soumis à la conférence EMNLP 2025 et les ont analysées comme une équipe de police scientifique examinant une scène de crime. Ils n'ont pas seulement regardé les marques « Oui » ou « Non » ; ils ont examiné les petites notes (justifications) que les auteurs ont écrites pour expliquer leurs choix. Ils voulaient voir si la liste de contrôle rendait réellement les chercheurs plus responsables, ou si elle était devenue un jeu ennuyeux et machinal de « cocher les cases ».

Le grand braquage du « Cocher les cases »

Les auteurs de cette étude ont traité les listes de contrôle de l'EMNLP 2025 comme un immense puzzle. Ils ont construit un pipeline informatique spécial (un ensemble d'outils automatisés) pour lire des milliers de documents PDF et leurs listes de contrôle correspondantes, reliant les réponses aux sections spécifiques des articles où les auteurs affirment avoir effectué le travail. Ils ont analysé un ensemble massif de 73 922 réponses et justifications individuelles. Ce qu'ils ont découvert suggère que, pour de nombreux chercheurs, la liste de contrôle est devenue moins une inspection de sécurité sérieuse qu'un « exercice de cocher des cases » — une tâche accomplie simplement pour s'en débarrasser.

Le problème de « l'après-coup »
L'une des conclusions les plus frappantes est que les chercheurs traitent souvent l'éthique comme une réflexion après coup, comme si l'on se souvenait de verrouiller la porte d'entrée seulement après être déjà parti de la maison. L'étude a révélé que pour le « Main Track » (voie principale) de la conférence, les auteurs avaient tendance à isoler les questions d'éthique du reste de leur article. Au lieu d'intégrer la sécurité et l'éthique dans le récit de leur recherche, ils les ajoutaient à la fin. C'est comme si un chef avait écrit une recette pour un gâteau délicieux, mais n'avait mentionné la sécurité du four que dans une minuscule note de bas de page à la toute fin, plutôt que d'expliquer comment il a vérifié la température pendant la cuisson.

Le désastre des justifications de type « Non »
Lorsque les chercheurs répondaient « Non » à une question (signifiant : « Non, je n'ai pas fait cette chose éthique spécifique »), ils étaient censés expliquer pourquoi. C'est la partie la plus critique de la liste de contrôle, car elle vous force à admettre ce que vous n'avez pas fait. Cependant, les auteurs ont découvert que 44,9 % de ces justifications de « Non » étaient soit vides (blanches), soit incroyablement brèves (un ou deux mots comme « Non applicable »).

Imaginez un conducteur arrêté pour un phare cassé. Lorsque le policier demande : « Pourquoi ne l'avez-vous pas réparé ? », le conducteur se contente de hausser les épaules et dit : « Peu importe », ou ne dit rien du tout. C'est ce que près de la moitié des chercheurs ont fait. Ils n'ont pas expliqué pourquoi ils avaient sauté l'étape de sécurité ; ils ont simplement coché la case et sont passés à la suite. C'est un problème majeur car, sans une bonne explication, personne ne sait si le risque était réellement faible ou si le chercheur s'en fichait simplement.

L'angle mort des « Risques »
La découverte la plus inquiétante concerne la question sur les risques potentiels. C'est la partie où les chercheurs sont invités à réfléchir : « Mon IA pourrait-elle être utilisée pour blesser des gens ? Pourrait-elle propager des biais ? ». L'étude a révélé que 53 % des auteurs ont écarté ces risques, affirmant que leur travail n'avait « aucun risque » ou « aucun impact social ».

Les auteurs soutiennent que c'est comme si un fabricant de voitures disait : « Notre nouvelle voiture n'a aucun risque de collision », sans jamais tester les freins. L'article suggère qu'en cochant simplement « Aucun risque » sans une réflexion profonde et honnête, les chercheurs ignorent les dangers réels de leurs créations. La conception de la liste de contrôle ne les a pas assez forcés à réfléchir ; elle leur a permis de s'en sortir trop facilement.

La faille logique
L'étude a également révélé que les listes de contrôle étaient pleines de contradictions logiques. La liste de contrôle est structurée comme un arbre : si vous répondez « Non » à une question majeure (le parent), toutes les questions plus petites en dessous (les enfants) devraient également être « Non » ou « Non applicable ». Or, les auteurs ont découvert que 6 % de toutes les listes de contrôle présentaient des erreurs logiques.

Par exemple, un chercheur pourrait répondre « Non » à la question « Avez-vous utilisé des données ? », mais répondre ensuite « Oui » à la question enfant « Avez-vous décrit les données que vous avez utilisées ? ». C'est comme dire : « Je n'ai pas fait de gâteau », puis immédiatement ajouter : « Oui, j'ai utilisé des pépites de chocolat ». Ces contradictions suggèrent que de nombreux auteurs remplissaient le formulaire avec négligence, ne réalisant pas que leurs réponses n'avaient pas de sens. Cette confusion rend difficile pour les examinateurs de faire confiance à la liste de contrôle.

Main Track vs. Findings Track
Les chercheurs ont comparé le « Main Track » (les articles les plus prestigieux) au « Findings Track » (des articles avec des contributions solides mais plus étroites). Ils s'attendaient à ce que le Main Track soit plus prudent. Bien que le Main Track présente une meilleure conformité, les mauvaises habitudes étaient présentes dans les deux. Même dans les articles de haut niveau, les chercheurs évitaient les réflexions éthiques et écrivaient des justifications vides. Cela suggère que le problème ne vient pas seulement de la qualité des articles, mais de la façon dont la liste de contrôle elle-même est utilisée (ou détournée) par tout le monde.

Le verdict : Un formulaire d'inspection défaillant ?

L'article conclut que la conception actuelle de la liste de contrôle ne remplit pas sa mission. Elle ne parvient pas à forcer les chercheurs à réfléchir à l'éthique et aux risques de leur travail. Au lieu de cela, elle est devenue un obstacle bureaucratique que les gens traversent à la hâte. Les auteurs soulignent que la liste de contrôle encourage une « conformité de surface » — où les chercheurs semblent suivre les règles sans réellement faire le travail difficile de réflexion.

L'étude suggère que la liste de contrôle a besoin d'une refonte sérieuse. Ils recommandent :

1. Imposer un nombre minimum de mots : Si vous dites « Non », vous devez fournir une véritable explication, pas seulement un haussement d'épaules.
2. Une meilleure conception : Le formulaire devrait empêcher les contradictions logiques (comme le problème du « Pas de gâteau, mais oui des pépites de chocolat ») en masquant automatiquement les questions qui ne s'appliquent pas.
3. Une surveillance accrue : Les examinateurs devraient examiner de beaucoup plus près les réponses de type « Aucun risque », car affirmer qu'une nouvelle technologie présente un risque nul est souvent un signal d'alarme.

En résumé, l'article soutient que nous ne pouvons pas compter sur une simple liste de contrôle pour rendre l'IA sûre. Si les personnes qui construisent le futur de la technologie se contentent de cocher des cases sans réfléchir, l'« inspection de sécurité » est un faux acte. Les auteurs espèrent qu'en exposant ces failles, la communauté pourra construire un meilleur système — un système qui oblige réellement les chercheurs à s'arrêter et à se demander : « Est-ce sûr ? » avant de publier.