Convergent assessment cannot be policed: a residual-entropy bound on authorship attribution and its consequences for integrity in quantitative disciplines

Imaginez que vous soyez un détective tentant de résoudre un mystère : « Qui a écrit ceci ? » Dans le monde des écoles et des universités, c'est la question ultime de l'intégrité académique. Pendant des années, le principal outil utilisé par les détectives a été une sorte de « scanner d'empreintes digitales » conçu pour les récits longs et fluides — les essais. Ces scanners recherchent de minuscules habitudes uniques dans la façon dont une personne écrit, comme l'usage des virgules ou la structure de ses phrases. Mais voici le rebondissement : les chatbots d'IA deviennent si doués pour écrire ces récits que les scanners ont du mal à suivre. Les écoles tentent de remédier à cela en appliant la même logique de « scanner d'essais » à tout le reste que font les étudiants, comme les problèmes mathématiques, les questionnaires à choix multiples et les tâches de codage.

Pour comprendre pourquoi cela pourrait être une impasse, nous devons examiner deux idées simples. Premièrement, pensez à l'« information » comme étant la quantité de détails uniques dans un message. Un long essai est comme une empreinte digitale désordonnée et unique ; il possède des tonnes de petits détails qui peuvent dire qui l'a fabriqué. Une réponse mathématique, comme le nombre « 42 », est comme une bille parfaite et lisse. Si deux personnes résolvent le même problème correctement, elles produisent toutes deux exactement le même « 42 ». Il n'y a pas de désordre, pas d'empreinte digitale unique, et pas de détail supplémentaire à inspecter. Deuxièmement, pensez à l'« attribution d'auteur » comme à l'acte d'utiliser ces détails uniques pour prouver qui a fait le travail. S'il n'y a pas de détails uniques dès le départ, aucune technologie sophistiquée ne peut magiquement les inventer. Ce document pose une question audacieuse : Que se passe-t-il lorsque nous essayons d'utiliser un scanner d'empreintes digitales sur une bille parfaitement lisse ?

La grande découverte du document : Le problème de la « bille lisse »

Cet article de recherche, intitulé « Convergent assessment cannot be policed » (L'évaluation convergente ne peut être policée), soutient que les écoles commettent une erreur fondamentale. Elles essaient d'utiliser les règles basées sur les essais pour surveiller les mathématiques, les sciences et les tests à choix multiples, mais l'auteur affirme que cela est impossible. Ce n'est pas que les détecteurs d'IA sont mauvais ou que les outils doivent être améliorés ; c'est que le type de travail lui-même ne contient pas assez d'informations pour identifier l'auteur.

L'auteur introduit un concept appelé « entropie résiduelle ». Imaginez que vous cuisiniez des cookies. Si vous demandez à un étudiant d'« écrire une histoire sur un cookie », il peut écrire un poème, une histoire d'horreur ou une recette. Il existe des millions de façons de le faire, et chaque version possède une « empreinte digitale » unique du style de l'écrivain. C'est une entropie élevée. Mais si vous demandez à un étudiant de « résoudre X » et que la réponse est « 5 », il n'y a qu'une seule façon correcte d'écrire cette réponse. Que ce soit un génie humain, un étudiant en difficulté ou un robot super-intelligent qui l'ait écrite, le résultat est exactement le même « 5 ». L'auteur appelle cela une entropie résiduelle nulle. Une fois que la réponse est correcte, il ne reste plus aucune variation à analyser.

Le document prouve mathématiquement que l'on ne peut pas extraire plus d'informations que ce qui est réellement présent. Si la réponse n'est qu'une seule lettre ou un seul chiffre, il n'y a pas de « signal » à trouver. Essayer d'utiliser des détecteurs d'IA sur ces formats revient à essayer de trouver une empreinte digitale sur un morceau de verre parfaitement lisse et vide. Peu importe la puissance de votre microscope, vous ne trouverez aucune empreinte car le verre n'en possède pas.

Les trois zones de risque

L'auteur a utilisé les données de 19 études différentes portant sur 13 sujets pour cartographier où se situent les différentes tâches scolaires. Il a découvert trois « zones » ou régimes distincts :

1. La Zone Exposée (La Zone de Danger) : Cela inclut les questions à choix multiples, les réponses numériques courtes et les séries de problèmes standards. Dans cette zone, l'IA est incroyablement performante (obtenant souvent des scores supérieurs à 96 % aux choix multiples), mais les réponses ont un signal d'auteur nul. Le document soutient que dans cette zone, vous ne pouvez tout simplement pas savoir si c'est un humain ou un robot qui a fait le travail. Il ne s'agit pas de dire qu'il est « difficile de le dire » ; c'est que la question « Qui a fait cela ? » n'a pas de réponse.
2. La Zone Latente (La Salle d'Attente) : Cela inclut les problèmes numériques courts où l'IA n'est pas encore assez performante pour réussir facilement. Ils sont « sûrs » uniquement parce que l'IA n'est pas encore assez intelligente. Mais l'auteur prévient que c'est une horloge qui tourne. Une fois que l'IA sera meilleure, la « sécurité » disparaîtra instantanément car il n'y a toujours aucun signal d'auteur sur lequel compter.
3. La Zone Détectable (La Zone Sûre) : Cela inclut les longs essais, l'écriture réflexive et les projets de codage complexes. Ici, les réponses sont si variées et uniques que les détecteurs d'IA peuvent fonctionner. Le document note que la recherche sur la détection de l'IA dans le code est en fait fructueuse car le code possède suffisamment de détails d'« empreinte digitale », contrairement à une simple réponse mathématique.

Les chiffres choquants

Lorsque l'auteur a appliqué cette logique à un programme typique de science et d'ingénierie universitaire, les résultats ont été stupéfiants. Il a découvert que 38 % des notes finales de ces programmes proviennent de tâches situées dans la « Zone Exposée » (comme les choix multiples et les séries de problèmes). En revanche, seulement 5 % des programmes de sciences humaines tombent dans ce piège.

Si l'on élève le niveau de preuve à celui requis pour une affaire pénale (un seuil très élevé), le nombre de tâches exposées dans les sciences et l'ingénierie grimpe à 52 %. Cela signifie que pour plus de la moitié de la note finale d'un étudiant en sciences, l'école n'a aucun moyen de prouver qui a réellement fait le travail, et aucun outil n'existe pour pouvoir le faire.

Ce que cela signifie pour les écoles

Le document exclut explicitement l'idée que nous puissions simplement acheter de meilleurs logiciels pour régler le problème. L'auteur déclare clairement qu'aucune amélioration de la technologie de détection ne peut résoudre le problème pour les questions à choix multiples ou les mathématiques, car l'information n'est tout simplement pas là. Essayer d'accuser un étudiant d'utiliser l'IA de manière non autorisée sur un quiz de mathématiques en se basant sur la « détection d'IA » n'est pas seulement inefficace ; l'auteur soutient que c'est mathématiquement impossible à prouver.

Au lieu de cela, le document suggère que les écoles doivent changer totalement de stratégie :

• Arrêter de vouloir policer l'impoliciable : N'utilisez pas de détecteurs d'auteur sur les choix multiples ou les réponses mathématiques courtes. C'est une perte de temps et cela mène à des accusations injustes.
• Changer les règles du jeu : Si vous voulez savoir qui a fait le travail, vous devez changer la tâche. Utilisez des examens supervisés (où un enseignant vous surveille), demandez aux étudiants d'expliquer leur raisonnement en personne, ou concevez des questions qui sont spécifiques au cours local afin que l'IA ne puisse pas simplement chercher la réponse.
• Accepter les limites : Pour la « Zone Exposée », la seule véritable sécurité est d'empêcher l'utilisation de l'IA dès le départ (comme dans une salle fermée), et non d'essayer de la débusquer après coup.

En résumé, le document conclut que l'approche actuelle de l'intégrité académique, qui consiste à appliquer une solution unique pour tous, est brisée. On ne peut pas utiliser un outil conçu pour les essais pour surveiller des problèmes mathématiques. Pour une part majeure de l'enseignement des sciences et de l'ingénierie, la question n'est pas « Comment attraper les tricheurs ? » mais plutôt « Comment concevons-nous nos tests pour que la question de l'utilisation non autorisée de l'IA n'ait même plus de sens ? »