Convergent assessment cannot be policed: a residual-entropy bound on authorship attribution and its consequences for integrity in quantitative disciplines

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen: „Wer hat das geschrieben?“ In der Welt der Schulen und Universitäten ist dies die ultimative Frage der akademischen Integrität. Jahrelang war das Hauptwerkzeug der Detektive eine spezielle Art von „Fingerabdruckscanner“, der für lange, fließende Geschichten – Aufsätze – konzipiert wurde. Diese Scanner suchen nach winzigen, einzigartigen Gewohnheiten in der Art und Weise, wie eine Person schreibt, etwa wie sie Kommas verwendet oder ihre Sätze strukturiert. Aber hier kommt die Wendung: KI-Chatbots werden immer besser darin, diese Geschichten zu schreiben, sodass die Scanner Schwierigkeiten bekommen. Schulen versuchen dies zu beheben, indem sie dieselbe „Aufsatz-Scanner“-Logik auf alles andere anzuwenden versuchen, was Schüler tun, wie zum Beispiel Mathematikaufgaben, Multiple-Choice-Tests und Programmieraufgaben.

Um zu verstehen, warum dies eine Sackgasse sein könnte, müssen wir uns zwei einfache Ideen ansehen. Denken Sie erstens daran, dass „Information“ die Menge an einzigartigen Details in einer Nachricht ist. Ein langer Aufsatz ist wie ein unordentlicher, einzigartiger Fingerabdruck; er besitzt tonnenweise winziger Details, die Ihnen sagen können, wer ihn erstellt hat. Eine mathematische Antwort, wie die Zahl „42“, ist wie eine perfekte, glatte Murmel. Wenn zwei Personen dieselbe Aufgabe korrekt lösen, produzieren beide exakt dieselbe „42“. Es gibt keine Unordnung, keinen einzigartigen Fingerabdruck und keine zusätzlichen Details, die man untersuchen könnte. Zweitens betrachten Sie „Autorenschaftszuschreibung“ als den Akt, diese einzigartigen Details zu nutzen, um zu beweisen, wer die Arbeit geleistet hat. Wenn es von vornherein keine einzigartigen Details gibt, kann auch keine noch so ausgeklügelte Technologie diese magisch heraufbeschwören. Dieses Paper stellt eine kühne Frage: Was passiert, wenn wir versuchen, einen Fingerabdruckscanner auf eine glatte Murmel anzuwenden?

Die große Entdeckung des Papers: Das „Glatte-Murmel-Problem“

Dieser Forschungsartikel mit dem Titel „Convergent assessment cannot be policed“ argumenttiert, dass Schulen einen fundamentalen Fehler begehen. Sie versuchen, Regeln für Aufsätze auf Mathematik, Naturwissenschaften und Multiple-Choice-Tests anzuwenden, aber der Autor sagt, dass dies unmöglich ist. Es ist nicht so, dass die KI-Detektoren schlecht sind oder dass die Werkzeuge verbessert werden müssten; es ist vielmehr so, dass die Art der Arbeit selbst nicht über genügend Informationen verfügt, um den Autor zu identifizieren.

Der Autor führt das Konzept der „residualen Entropie“ ein. Stellen Sie sich vor, Sie backen Kekse. Wenn Sie einen Schüler bitten: „Schreibe eine Geschichte über einen Keks“, schreibt er vielleicht ein Gedicht, eine Horrorgeschichte oder ein Rezept. Es gibt Millionen Möglichkeiten, dies zu tun, und jede Version hat einen einzigartigen „Fingerabdruck“ des Schreibers. Dies ist hohe Entropie. Aber wenn Sie einen Schüler fragen: „Löse nach X auf“ und die Antwort ist „5“, gibt es nur einen einzigen richtigen Weg, diese Antwort zu schreiben. Ob ein menschliches Genie, ein schwächlicher Schüler oder ein superintelligenter Roboter dies geschrieben hat, das Ergebnis ist exakt dieselbe „5“. Der Autor nennt dies „Null-Residualentropie“. Sobald die Antwort korrekt ist, bleibt null Variation übrig, die man analysieren könnte.

Das Paper beweist mathematisch, dass man nicht mehr Information extrahieren kann, als tatsächlich vorhanden ist. Wenn die Antwort nur ein einzelner Buchstabe oder eine Zahl ist, gibt es kein „Signal“, das man finden könnte. Den Versuch, KI-Detektoren auf diese Formate anzuwenden, ist wie der Versuch, einen Fingerabdruck auf einem perfekt glatten, leeren Stück Glas zu finden. Egal wie leistungsstark Ihr Mikroskop auch ist, Sie werden keinen Abdruck finden, weil das Glas keinen hat.

Die drei Zonen des Risikos

Der Autor nutzte Daten aus 19 verschiedenen Studien über 13 Fachbereiche hinweg, um zu kartieren, wo verschiedene Aufgaben in der Schule liegen. Er entdeckte drei unterschiedliche „Zonen“ oder Regime:

1. Die Exponierte Zone (Die Gefahrenzone): Dazu gehören Multiple-Choice-Fragen, kurze numerische Antworten und Standard-Aufgabensets. In dieser Zone ist KI unglaublich gut (sie erzielt oft über 96 % bei Multiple-Choice), aber die Antworten haben null Autorenschaftssignal. Das Paper argumenttiert, dass man in dieser Zone schlichtweg nicht sagen kann, ob ein Mensch oder ein Roboter die Arbeit geleistet hat. Es ist nicht eine Frage von „schwer zu sagen“; es ist vielmehr so, dass die Frage „Wer hat das getan?“ keine Antwort hat.
2. Die Latente Zone (Das Warteraum): Dies umfasst Dinge wie kurze numerische Probleme, bei denen die KI derzeit noch nicht gut genug ist, um problemlos zu bestehen. Diese sind nur deshalb „sicher“, weil die KI noch nicht klug genug ist. Aber der Autor warnt: Dies ist eine tickende Uhr. Sobald die KI besser wird, verschwindet die „Sicherheit“ augenblicklich, da es immer noch kein Autorenschaftssignal gibt, auf das man zurückgreifen könnte.
3. Die Detektierbare Zone (Die sichere Zone): Dies beinhaltet lange Aufsätze, reflektierendes Schreiben und komplexe Programmierprojekte. Hier sind die Antworten so vielfältig und einzigartig, dass KI-Detektoren funktionieren können. Das Paper stellt fest, dass die Forschung zur Erkennung von KI in Code tatsächlich erfolgreich ist, weil Code im Gegensatz zu einer einfachen mathematischen Antwort genügend „Fingerabdruck“-Details besitzt.

Die schockierenden Zahlen

Als der Autor diese Logik auf ein typisches Wissenschafts- und Ingenieurstudium anwandte, waren die Ergebnisse erschütternd. Er fand heraus, dass 38 % der Endnoten in diesen Programmen von Aufgaben aus der „Exponierten Zone“ (wie Multiple-Choice und Problemsätze) stammen. Im Gegensatz dazu fallen nur 5 % der Geisteswissenschaftsprogramme in diese Falle.

Wenn man den Beweisstandard auf das Niveau erhöht, das für einen Strafprozess erforderlich wäre (eine sehr hohe Hürde), steigt der Anteil der exponierten Aufgaben in den Natur- und Ingenieurwissenschaften auf 52 %. Das bedeutet, dass für mehr als die Hälfte der Note eines Naturwissenschaftsstudenten die Schule keine Möglichkeit hat, zu beweisen, wer die Arbeit tatsächlich geleistet hat, und dass kein Werkzeug existiert, das dies jemals tun könnte.

Was dies für Schulen bedeutet

Das Paper schließt die Möglichkeit explizit aus, dass wir einfach bessere Software kaufen können, um das Problem zu lösen. Der Autor stellt klar: Keine Verbesserung der Detektionstechnologie kann das Problem bei Multiple-Choice- oder Mathematikfragen lösen, da die Information einfach nicht vorhanden ist, um gefunden zu werden. Zu behaupten, ein Student habe bei einem Mathetest unbefugt KI verwendet, basierend auf einer „KI-Erkennung“, ist nicht nur ineffektiv; der Autor argumenttiert, dass es mathematisch unmöglich ist, dies zu beweisen.

Stattdessen schlägt das Paper vor, dass Schulen ihre Strategie komplett ändern müssen:

• Hören Sie auf, das Unpolizeiliche zu kontrollieren: Verwenden Sie keine Autorenschafts-Detektoren für Multiple-Choice oder kurze mathematische Antworten. Das ist Zeitverschwendung und führt zu ungerechtfertigten Anschuldigungen.
• Ändern Sie das Spiel: Wenn Sie wissen wollen, wer die Arbeit geleistet hat, müssen Sie die Aufgabe ändern. Nutzen Sie beaufsichtigte Prüfungen (bei denen ein Lehrer Sie beobachtet), lassen Sie Schüler ihr Denken persönlich erklären oder entwerfen Sie Fragen, die spezifisch auf den lokalen Unterricht zugeschnitten sind, damit die KI die Antwort nicht einfach nachschlagen kann.
• Akzeptieren Sie die Grenzen: Für die „Exponierte Zone“ ist die einzige echte Sicherheit, die Nutzung der KI von vornherein zu verhindern (wie in einem abgeschlossenen Raum), anstatt zu versuchen, sie im Nachhinein zu überführen.

Kurz gesagt kommt das Paper zu dem Schluss, dass der aktuelle „Einheitsansatz“ der akademischen Integrität kaputt ist. Man kann kein Werkzeug, das für Aufsätze entwickelt wurde, um Mathematikprobleme zu kontrollieren. Für einen großen Teil der naturwissenschaftlichen und ingenieurwissenschaftlichen Ausbildung lautet die Frage nicht „Wie fangen wir die Betrüger?“, sondern vielmehr: „Wie gestalten wir unsere Tests so, dass die Frage nach einer unbefugten KI-Nutzung überhaupt keinen Sinn ergibt?“