Distinguishing Artificial from Authentic: Evaluating LLMs for Detecting LLM-Generated Content
Diese Arbeit evaluiert die Fähigkeit großer Sprachmodelle, ihre eigenen generierten Inhalte bei Bildungsaufgaben zu erkennen, wobei festgestellt wird, dass die Erkennung für Programmieraufgaben und längere reflektierende Texte zwar effektiv ist, für Kurzantworten jedoch unzuverlässig bleibt und zudem hochgradig empfindlich auf Variationen im Prompt reagiert, was zur Vorsicht bei der Verwendung von LLMs als eigenständige Werkzeuge zur Identifizierung KI-generierter studentischer Arbeiten mahnt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein gefälschtes Gemälde in einer Galerie aufzuspüren. Sie besitzen eine spezielle Brille, die behauptet, Ihnen sofort sagen zu können, ob ein Meisterwerk von einer menschlichen Hand oder von einem Roboter gemalt wurde. Dies ist die Welt der Large Language Models (LLMs). Betrachten Sie diese Modelle als superintelligente Roboter, die fast alles gelesen haben, was jemals im Internet geschrieben wurde. Sie können Essays schreiben, mathematische Probleme lösen und sogar Computer-Code schreiben, der aussieht, als käme er direkt von einem menschlichen Studenten. Aber hier liegt der Haken: Je besser diese Roboter werden, desto schwieriger wird es, ihre Arbeit von echter menschlicher Arbeit zu unterscheiden. Dies schafft ein großes Problem für Schulen und Lehrer, die wissen müssen, ob ein Student tatsächlich seine Hausaufgaben gemacht oder einfach nur einen Roboter darum gebeten hat, sie für ihn zu erledigen. Wissenschaftler versuchen derzeit verzweifelt, einen Weg zu finden, um diese „Roboter-Essays“ zu entlarven, und eine der interessantesten Ideen ist es, die Roboter selbst zu fragen: „Hey, hast du das geschrieben?“ Es ist, als würde man einen Fälscher bitten, sich ein gefälschtes Gemälde anzusehen und zuzugeben: „Ich habe das gemacht.“
Dieses Papier ist ein Bericht eines Forscherteams, das beschlossen hat, diese „Frag den Roboter“-Idee in einem echten Klassenzimmer-Szenario zu testen. Sie wollten sehen, ob eine KI als Detektiv fungieren kann, um ihre eigene Arbeit zu entlarven. Sie richteten ein digitales Experiment in einem Universitätskurs für Programmierung ein, in dem die Studierenden vier verschiedene Arten von Aufgaben bewältigen mussten: das Schreiben einer langen Reflexion über das Erlernen einer neuen Sprache, das Beantworten einer kurzen, einseitigen Frage über Code und das Lösen zweier verschiedener Programmierrätsel. Die Forscher baten dann eine KI, gefälschte Antworten für alle diese Aufgaben zu generieren, wobei sie versuchten, sie so aussehen zu lassen, als kämen sie von einem Studenten (einige mit Tippfehlern, andere mit „Anfängerfehlern“). Schließlich baten sie eine zweite KI, all diese Antworten – sowohl die echten von den Studenten als auch die gefälschten von der KI – zu betrachten und zu erraten, welche welche war.
Die Ergebnisse waren ein wenig wie eine Achterbahnfahrt. Die Forscher fanden heraus, dass die KI-Detektivin in einigen Bereichen sehr gut bei der Arbeit war, in anderen jedoch völlig verwirrt. Wenn die Aufgabe darin bestand, Code zu schreiben, war die KI-Detektivin ein scharfsinniger Ermittler. Sie konnte den Unterschied zwischen dem Code eines Roboters und dem eines Menschen leicht erkennen, hauptsächlich weil der Code des Roboters dazu neigte, länger und perfekt strukturierter zu sein, wie ein Roboter, der niemals einen Tippfehler macht. Ähnlich verhielt es sich, wenn Studenten lange, reflektierende Essays (mehrere Absätze lang) schrieben; die KI-Detektivin konnte die gefälschten erkennen, weil das Schreiben des Roboters zu poliert und wortreich war, wie eine Rede, die zu einstudiert klingt.
Die KI-Detektivin stieß jedoch bei kurzen Antworten an eine Wand. Als die Aufgabe darin bestand, nur einen Satz darüber zu schreiben, warum ein Stück Code leicht lesbar war, lag die KI daneben. Sie glaubte tatsächlich, dass die kurzen Antworten der echten menschlichen Studenten wahrscheinlicher von einem Roboter geschrieben worden waren als die eigenen Antworten des Roboters! Die Forscher vermuten, dass dies geschah, weil die kurzen Antworten des Roboters oft absichtlich so gestaltet wurden, dass sie „menschlich“ wirkten, indem Tippfehler oder informelle Sprache hinzugefügt wurden, was sie versehentlich für den Detektor weniger verdächtig machte. Unterdessen waren die echten kurzen Antworten der Studenten manchmal so klar und direkt, dass der Detektor fälschlicherweise dachte: „Das ist zu perfekt, um menschlich zu sein; das muss ein Roboter sein!“
Die Studie entdeckte auch, dass das „Kostüm“, das der Roboter trug, eine große Rolle spielte. Wenn der Roboter angewiesen wurde, sich wie ein Student zu verhalten und Tippfehler oder Slang einzubauen, wurde es bei Schreibaufgaben viel schwieriger, ihn zu entlarven. Aber bei Programmieraufgaben, selbst wenn der Roboter versuchte, wie ein tollpatschiger Anfänger zu agieren, indem er Fehler einbaute, war er immer noch ziemlich leicht zu entlarven. Die Forscher kommen zu dem Schluss, dass das Anfragen einer KI, um andere KIs zu entlarven, zwar bei langen Essays oder beim Codieren funktionieren mag, aber kein Allheilmittel ist. Es ist zu unzuverlässig für kurze Antworten, und ein Lehrer sollte sich niemals allein darauf verlassen, um einen Studenten des Betrugs zu beschuldigen. Es ist ein Werkzeug, das in einigen Zimmern des Hauses funktioniert, aber in anderen kläglich versagt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.