Distinguishing Artificial from Authentic: Evaluating LLMs for Detecting LLM-Generated Content
Cet article évalue la capacité des grands modèles de langage à détecter leur propre contenu généré à travers diverses tâches éducatives, constatant que si la détection est efficace pour la programmation et les écrits réflexifs longs, elle reste peu fiable pour les questions à réponse courte et s'avère très sensible aux variations de prompts, suggérant ainsi la prudence quant à l'utilisation des LLM comme outils autonomes pour identifier le travail étudiant généré par IA.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous soyez un détective essayant de repérer un faux tableau dans une galerie. Vous possédez une paire de lunettes spéciales qui prétend vous dire instantanément si un chef-d'œuvre a été peint par une main humaine ou par un robot. C'est le monde des Grands Modèles de Langage (LLM). Considérez ces modèles comme des robots super intelligents qui ont lu presque tout ce qui a été écrit sur Internet. Ils peuvent rédiger des essais, résoudre des problèmes mathématiques et même écrire du code informatique qui semble provenir d'un étudiant humain. Mais voici la partie délicate : à mesure que ces robots s'améliorent, il devient plus difficile de distinguer leur travail du travail humain réel. Cela crée un gros problème pour les écoles et les enseignants qui doivent savoir si un étudiant a réellement fait ses devoirs ou s'il a simplement demandé à un robot de les faire pour lui. Les scientifiques font actuellement la course pour trouver un moyen de débusquer ces « essais de robots », et l'une des idées les plus intéressantes est de demander aux robots eux-mêmes : « Hé, est-ce que c'est toi qui as écrit ça ? » C'est comme demander à un faussaire de regarder un faux tableau et d'admettre : « C'est moi qui l'ai fait. »
Ce document est un rapport d'une équipe de chercheurs qui a décidé de tester cette idée de « demander au robot » dans un cadre scolaire réel. Ils voulaient voir si une IA pouvait agir comme un détective pour repérer son propre travail. Ils ont mis en place une expérience numérique en utilisant un cours de programmation universitaire où les étudiants devaient réaliser quatre types de tâches différents : écrire une longue réflexion sur l'apprentissage d'un nouveau langage, répondre à une question courte d'une phrase sur du code, et résoudre deux puzzles de codage différents. Les chercheurs ont ensuite demandé à une IA de générer de fausses réponses pour toutes ces tâches, en essayant de faire en sorte qu'elles ressemblent à celles d'un étudiant (certaines avec des fautes de frappe, d'autres avec des erreurs de « débutant »). Enfin, ils ont demandé à une seconde IA d'examiner toutes ces réponses — les vraies réponses des étudiants et les fausses réponses de l'IA — et de deviner lesquelles étaient lesquelles.
Les résultats ont été un peu comme des montagnes russes. Les chercheurs ont découvert que le détective IA était très bon dans son travail dans certains domaines, mais complètement confus dans d'autres. Lorsque la tâche consistait à écrire du code, l'IA était un détective à l'œil aiguisé. Elle pouvait facilement faire la différence entre le code d'un robot et celui d'un humain, principalement parce que le code du robot avait tendance à être plus long et plus parfaitement structuré, comme un robot qui ne fait jamais de faute de frappe. De même, lorsque les étudiants écrivaient de longs essais réflexifs (de plusieurs paragraphes), le détective IA pouvait repérer les faux car l'écriture du robot était trop polie et verbeuse, comme un discours qui semble trop répété.
Cependant, le détective IA s'est heurté à un mur avec les réponses courtes. Lorsque la tâche consistait à écrire juste une phrase sur la raison pour laquelle un morceau de code était facile à lire, l'IA s'est trompée de sens. Elle a en fait pensé que les courtes réponses des vrais étudiants humains étaient plus susceptibles d'avoir été écrites par un robot que les réponses du robot lui-même ! Les chercheurs suggèrent que cela s'est produit parce que les réponses courtes du robot étaient souvent délibérément rendues « humaines » en ajoutant des fautes de frappe ou en utilisant un langage informel, ce qui les a accidentellement rendues moins suspectes aux yeux du détecteur. Pendant ce temps, les réponses courtes des vrais étudiants étaient parfois si claires et directes que le détecteur pensait par erreur : « C'est trop parfait pour être humain ; ce doit être un robot ! »
L'étude a également découvert que le « costume » que portait le robot importait beaucoup. Si le robot recevait l'ordre d'agir comme un étudiant et d'ajouter des fautes de frappe ou de l'argot, il devenait beaucoup plus difficile à attraper dans les tâches d'écriture. Mais dans les tâches de codage, même si le robot essayait de jouer le rôle d'un débutant maladroit en ajoutant des bugs, il restait assez facile de le repérer. Les chercheurs concluent que, bien que demander à une IA de débusquer d'autres IA puisse fonctionner pour les longs essais ou le codage, ce n'est pas une solution miracle. C'est trop peu fiable pour les réponses courtes, et un enseignant ne devrait jamais s'appuyer uniquement sur cela pour accuser un étudiant de tricherie. C'est un outil qui fonctionne dans certaines pièces de la maison, mais qui échoue lamentablement dans d'autres.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.