Detecting AI-Generated Essays in Writing Assessment: Responsible Use and Generalizability Across LLMs

Dieses Kapitel bietet einen Überblick über Detektoren für KI-generierte Aufsätze und ihre verantwortungsvolle Nutzung, während es zudem empirisch untersucht, inwiefern Modelle, die auf Texten eines bestimmten Large Language Models trainiert wurden, auf Aufsätze anderer Modelle verallgemeinerbar sind, um praktische Leitlinien für deren Weiterentwicklung zu liefern.

Das Wesentliche

Das große Problem: Der „perfekte" Schreiber, der nicht existiert

Stellen Sie sich vor, Sie sind Lehrer und müssen Aufsätze Ihrer Schüler korrigieren. Plötzlich tauchen Aufsätze auf, die so gut geschrieben sind, dass sie wie von einem Genie stammen. Aber das Genie ist eigentlich ein Computerprogramm (eine Künstliche Intelligenz oder „KI"), das Texte wie ein Zauberer aus dem Nichts erschafft.

Das Problem: Diese KI-Aufsätze sehen oft genauso aus wie menschliche Arbeit. Es ist, als würde jemand eine perfekte Fälschung eines berühmten Gemäldes malen. Wie können Sie sicher sein, wer den Pinsel wirklich geführt hat?

Die Detektive: Wie versuchen wir, die KI zu entlarven?

Die Forscher haben verschiedene Methoden entwickelt, um diese „KI-Geister" zu finden. Man kann sich diese Methoden wie verschiedene Werkzeuge in einer Werkzeugkiste vorstellen:

1. Der Text-Vergleich (Der alte Plagiats-Spürhund):
   Früher suchten wir nach kopierten Texten aus Büchern oder dem Internet. Das war wie ein Detektiv, der nach Fingerabdrücken sucht. Aber KI schreibt keine Kopien; sie erfindet neue Sätze. Daher hilft dieser alte Spürhund hier nicht mehr weiter.

2. Der Stimmungs-Analyst (Supervised Learning):
   Diese Methode ist wie ein erfahrener Literaturkritiker, der Tausende von Aufsätzen gelesen hat. Er lernt die „Stimme" des Menschen kennen: Wir machen kleine Fehler, wir sind manchmal chaotisch, wir haben einen einzigartigen Rhythmus. KI hingegen ist oft zu glatt, zu perfekt und zu vorhersehbar. Der Kritiker schaut: „Hmm, dieser Satz klingt zu glatt, das war sicher ein Roboter."

3. Der Wasserzeichen-Code (Watermarking):
   Das wäre wie ein unsichtbarer Tintenfleck, den der KI-Hersteller direkt in den Text setzt. Wenn man den Text mit einer speziellen Lupe betrachtet, sieht man den Fleck. Das Problem: Man braucht die Hilfe der KI-Hersteller, und wenn jemand den Text ein wenig verändert (z. B. umformuliert), verschwindet der Fleck wie ein Schatten in der Sonne.

4. Der Bewegungs-Tracker (Schreibprozess):
   Das ist vielleicht der cleverste Trick. Wenn ein Mensch schreibt, tippt er, macht Pausen, löscht Wörter, tippt wieder, zögert. Das ist wie ein Herzschlag – unregelmäßig und lebendig. Wenn jemand einen KI-Text einfach kopiert und in ein Feld einfügt, ist dieser „Herzschlag" weg. Es gibt keine Pausen, keine Zögern. Der Tracker sieht: „Aha, hier wurde nicht geschrieben, hier wurde nur hineingekopiert."

Das große Rennen: Funktioniert der Detektor bei jeder neuen KI?

Hier wird es spannend. Die KI-Modelle entwickeln sich rasend schnell. Es gibt neue Versionen, die noch schlauer und menschlicher klingen.

Die Forscher haben getestet: Wenn wir einen Detektor trainieren, der nur die KI-Version A kennt, kann er dann auch die KI-Version B entlarven?

• Die Familie: Die neuen KIs (wie die verschiedenen GPT-Modelle) sind wie Geschwister. Sie sehen sich sehr ähnlich. Ein Detektor, der das ältere Geschwisterkind kennt, erkennt oft auch das jüngere. Das ist wie wenn Sie Ihre eigene Familie erkennen, auch wenn sich die Kleidung geändert hat.
• Die Fremden: Aber dann tauchen ganz neue, fremde KIs auf (wie GPT-5 oder andere Firmen). Diese sind wie Nachbarn, die sich völlig anders kleiden und sprechen. Ein Detektor, der nur auf die eigene Familie trainiert wurde, verliert hier oft die Orientierung. Er kann die Fremden nicht mehr von echten Menschen unterscheiden.

Die Lösung? Man muss den Detektor mit allen möglichen KI-Varianten trainieren, nicht nur mit einer. Wie ein Polizist, der nicht nur einen bestimmten Dieb kennt, sondern alle Diebe der Stadt, um sicher zu sein.

Warum wir vorsichtig sein müssen (Die Verantwortung)

Die Forscher warnen: Kein Detektor ist zu 100 % perfekt.

Stellen Sie sich einen Metalldetektor am Flughafen vor. Manchmal piept er, weil jemand eine Münze in der Tasche hat, nicht weil er eine Waffe trägt.

• Falsche Verdächtigungen: Ein Detektor kann einen ehrlichen Schüler fälschlicherweise beschuldigen, KI benutzt zu haben. Das ist unfair, besonders wenn der Schüler eine andere Muttersprache hat oder einen ungewöhnlichen Schreibstil.
• Die Grauzone: Was ist, wenn ein Schüler die KI nur nutzt, um Ideen zu sammeln, aber den Text selbst schreibt? Der Detektor sieht das oft nicht.

Das Fazit: Keine Panik, aber Wachsamkeit

Die Botschaft der Studie ist nicht: „Verboten wir alles!" Sondern: „Nutzen wir die Werkzeuge klug."

• Kein Alleingang: Man sollte sich nicht blind auf einen Computer verlassen. Wenn ein Verdacht besteht, sollte man auch den Schreibprozess prüfen (wurde wirklich getippt?) oder das Gespräch mit dem Schüler suchen.
• Regeln statt Verbote: So wie wir Autos nicht verbieten, nur weil es Unfälle gibt, sondern Sicherheitsgurte und Verkehrsregeln einführen, sollten wir auch mit KI-Detektoren vorsichtig umgehen. Wir brauchen klare Regeln, Transparenz und menschliche Urteilskraft.

Zusammenfassend: KI ist wie ein sehr talentierter, aber manchmal etwas zu perfekter Schreiberling. Unsere Detektoren sind wie gute Detektive, die lernen müssen, immer schneller mitzuhalten. Aber am Ende muss immer ein menschlicher Richter entscheiden, denn keine Maschine kann die Nuancen der menschlichen Seele (oder des menschlichen Schreibens) zu 100 % verstehen.

Technische Zusammenfassung

Titel: Erkennung von KI-generierten Aufsätzen in der Schreibbewertung: Verantwortlicher Einsatz und Generalisierbarkeit über LLMs hinweg

Autor: Jiangang Hao (ETS Research Institute)

---

1. Problemstellung

Die rasante Entwicklung von Large Language Models (LLMs) hat die Fähigkeit zur Generierung kohärenter, hochwertiger Aufsätze mit minimalem menschlichem Aufwand ermöglicht. Dies stellt eine erhebliche Bedrohung für die Authentizität von studentischen Arbeiten und die Validität von Schreibbewertungen dar.

• Herausforderung: Bestehende Detektoren funktionieren in offenen Umgebungen oft unzuverlässig, weisen hohe Raten an falsch-positiven Ergebnissen auf und können menschliches Schreiben fälschlicherweise als KI-generiert klassifizieren.
• Spezifisches Szenario: Der Fokus des Papers liegt auf standardisierten Schreibbewertungen (z. B. GRE), da diese durch feste Prompts, überwachte Bedingungen und eine begrenzte Aufgabenstruktur eine kontrolliertere Umgebung bieten als offene Schreibsituationen.
• Kernfrage: Wie gut generalisieren Detektoren, die auf Essays eines bestimmten LLM trainiert wurden, auf Essays, die von anderen, oft neueren oder leistungsfähigeren LLMs generiert wurden?

2. Methodik

A. Methodische Ansätze zur Detektion (Literaturübersicht)

Das Paper unterscheidet vier Hauptkategorien von Detektionsmethoden:

1. Überwachtes Lernen (Supervised Learning):
   • Feature-basiert: Extraktion linguistischer Merkmale (Stil, Perplexität, "Burstiness") und Training von Klassifikatoren (z. B. Gradient Boosting, SVM). Diese sind interpretierbar und generalisieren oft besser über verschiedene Prompts hinweg.
   • End-to-End Fine-Tuning: Feinabstimmung von vortrainierten Modellen (z. B. RoBERTa) auf gelabelten Daten. Hohe Genauigkeit, aber geringere Interpretierbarkeit ("Black Box") und schlechtere Generalisierung auf neue Domänen.
2. Watermarking: Hinzufügen statistischer Signaturen während der Generierung. Nachteil: Fragil gegenüber Paraphrasierung und erfordert Kooperation der LLM-Entwickler.
3. Schreibprozess-Daten (Writing Process): Analyse von Tastaturdynamik, Bearbeitungsverläufen und Zeitstempeln. Menschliche Autoren zeigen unregelmäßige Muster (Pausen, Rückgängig machen), die bei Copy-Paste-KI-Texten fehlen.
4. Ähnlichkeitsabgleich (Similarity Matching): Vergleich menschlicher Einsendungen mit einer großen Datenbank von KI-generierten Essays zu denselben festen Prompts (z. B. das Tool GPTCollider).

B. Empirische Studie: Generalisierbarkeit

Die Autoren führten eine experimentelle Studie durch, um die Cross-Model-Generalisierbarkeit zu testen:

• Datenbasis: Zwei öffentliche GRE-Schreibprompts.
• Generierung: Für jedes der folgenden Modelle wurden 200 Essays pro Prompt generiert (insgesamt 400 pro Modell):
  • GPT-4, GPT-4o, GPT-o1, GPT-o3-mini, GPT-o4-mini, GPT-5.
  • Zusätzlich 100 menschliche Essays pro Prompt (insgesamt 200 menschliche Essays).
• Aufteilung:
  • Trainingsset: 100 KI-Essays + 100 menschliche Essays (für jedes spezifische Modell).
  • Testset: 100 KI-Essays (des jeweiligen Modells) + 100 menschliche Essays (universelles Testset).
• Merkmalsextraktion: Da direkte Perplexität nicht für alle Modelle berechenbar war, wurde GPT-2 als Referenzmodell verwendet, um die Perplexität aller Essays zu berechnen. Es wurden Merkmale wie die Gesamtperplexität sowie statistische Kennwerte (Mittelwert, Median, Perzentile) der satzweisen Perplexitätsverteilung extrahiert.
• Modellierung: Ein Gradient Boosting Machine (GBM) wurde für jedes Modell spezifisch trainiert (4-fache Kreuzvalidierung).
• Metrik: Die Leistung wurde mittels AUC (Area Under the ROC Curve) bewertet, um eine threshold-unabhängige Vergleichbarkeit zu gewährleisten.

3. Wichtige Ergebnisse

1. Hohe Intra-Modell-Leistung: Detektoren, die auf einem spezifischen Modell trainiert wurden, erzielten bei der Erkennung desselben Modells sehr hohe AUC-Werte (Diagonale der Heatmap), was zeigt, dass die spezifischen generativen Merkmale leicht zu unterscheiden sind.
2. Starke Cluster-Bildung innerhalb der GPT-Familie:
   • Modelle wie GPT-4, GPT-4o, GPT-4o-mini, GPT-o1 und GPT-o3-mini bilden einen kohärenten Cluster. Detektoren, die auf einem dieser Modelle trainiert wurden, generalisieren sehr gut auf die anderen (AUC oft > 0,8 bis 0,9).
   • Dies deutet auf geteilte stilistische Muster und statistische Regularitäten innerhalb dieser Modellgenerationen hin.
3. Divergenz neuerer Modelle:
   • GPT-o4-mini und GPT-5 zeigen ein abweichendes Muster. Sie generalisieren gut untereinander, aber Detektoren, die auf den älteren Modellen (GPT-4-Serie) trainiert wurden, scheitern weitgehend daran, Texte von GPT-o4-mini und GPT-5 zu erkennen (niedrige AUC-Werte).
   • Dies impliziert, dass neuere Modelle signifikante Änderungen in ihrer Generierungsstrategie oder ihrem Stil vorgenommen haben, die sie von der vorherigen Generation abheben.
4. Lösung durch Unified Training:
   • Ein unifizierter Detektor ("GPT-all"), der mit Trainingsdaten aller LLMs kombiniert wurde, konnte Essays aller getesteten Modelle (einschließlich der divergierenden GPT-5) sehr zuverlässig erkennen. Dies unterstreicht die Notwendigkeit diverser Trainingsdaten.

4. Schlüsselbeiträge

• Empirische Evidenz zur Generalisierbarkeit: Das Paper liefert quantitative Daten, die zeigen, dass die Leistung von KI-Detektoren nicht statisch ist, sondern stark von der Ähnlichkeit zwischen Trainings- und Test-LLM abhängt.
• Identifikation von Modell-Clustern: Es wird gezeigt, dass innerhalb einer Modellfamilie (GPT) signifikante Unterschiede in der "Erkennbarkeit" bestehen, wobei neuere Modelle (o4-mini, GPT-5) eine neue, schwerer zu detektierende Kategorie bilden.
• Strategische Empfehlung: Die Autoren argumentieren, dass der beste Ansatz für robuste Detektion das Training auf einem diversen Pool von KI-generierten Daten (Multi-LLM-Training) ist, anstatt sich auf einzelne Modelle zu verlassen.
• Rahmen für verantwortungsvollen Einsatz: Das Paper definiert klare Grenzen und ethische Richtlinien für den Einsatz von Detektoren in der Bildung.

5. Signifikanz und Implikationen

• Für die Praxis: Institutionen sollten keine Detektoren blind vertrauen, die nur auf einem einzigen Modell basieren. Stattdessen müssen Detektoren kontinuierlich mit Daten der neuesten Modelle retrainiert werden.
• Verantwortungsvoller Einsatz:
  • Detektoren sind fehleranfällig (falsch-positive Ergebnisse), besonders bei kurzen Texten oder nicht-muttersprachlichen Schreibern.
  • Sie sollten niemals als alleiniges Beweismittel für akademisches Fehlverhalten dienen.
  • Multimodaler Ansatz: Die Kombination von Textanalyse mit Schreibprozessdaten (Tastaturdynamik, Bearbeitungsverlauf) wird als vielversprechendster Weg zur Erhöhung der Zuverlässigkeit und Fairness empfohlen.
• Zukunft der Bewertung: Da KI-Assistenz im Schreibprozess zunehmend normal wird, müssen Bewertungskriterien angepasst werden (z. B. weniger Fokus auf Grammatik, mehr auf kritisches Denken), während gleichzeitig die Unterscheidung zwischen menschlicher und KI-generierter Arbeit komplexer wird.

Fazit: Das Paper warnt davor, KI-Detektion als gelöstes Problem zu betrachten. Es zeigt, dass die Evolution der LLMs eine ständige Anpassung der Detektionsstrategien erfordert und dass ein verantwortungsvoller, evidenzbasierter Ansatz unter Einbeziehung von Prozessdaten und institutionellen Richtlinien unerlässlich ist.