Interpretable Predictability-Based AI Text Detection: A Replication Study

Diese Studie repliziert und erweitert das AuTexTification-2023-System zur Erkennung maschinengenerierter Texte, indem sie neuere multilinguale Modelle und stilometrische Merkmale integriert, um nachzuweisen, dass eine gemeinsame multilinguale Konfiguration sprachspezifische Modelle in der Leistung übertreffen oder zumindest gleichziehen kann, während sie gleichzeitig die Bedeutung klarer Dokumentation für die Reproduzierbarkeit unterstreicht.

Das Wesentliche

🕵️‍♂️ Die große Detektiv-Aufgabe: Mensch oder Maschine?

Stell dir vor, du bist ein Detektiv. Deine Aufgabe ist es, herauszufinden, ob ein Brief von einem echten Menschen geschrieben wurde oder von einem super-intelligenten Roboter (einer Künstlichen Intelligenz, KI).

Früher war das leicht: KI-Texte klangen oft steif und roboterhaft. Aber heute? Die KIs sind so gut geworden, dass ihre Texte fast genauso klingen wie die von uns Menschen. Das macht es für Detektive (also Forscher) sehr schwer.

Diese Studie ist wie ein Re-Run eines großen Wettbewerbs, bei dem die Forscher versuchen, einen alten, erfolgreichen Detektiv-Plan nachzubauen und dann zu verbessern.

---

1. Der alte Plan: „Können wir das Original nachbauen?" (RQ1)

Die Forscher haben versucht, den genauen Plan eines anderen Teams nachzubauen, das 2023 einen Preis gewonnen hat. Sie wollten sehen: „Wenn wir genau das Gleiche tun, bekommen wir dann das gleiche Ergebnis?"

Das Problem: Es war wie der Versuch, ein Rezept nachzukochen, bei dem das Originalteam vergessen hat, zu sagen, welche Marke Mehl sie benutzt haben oder ob sie den Ofen auf 180 oder 200 Grad gestellt haben.

• Die Erkenntnis: Sie kamen nicht exakt auf das gleiche Ergebnis. Kleine Details (welche Software-Version, wie die Daten aufgeteilt wurden) machen einen riesigen Unterschied.
• Die Lektion: Wenn Forscher ihre Ergebnisse veröffentlichen, müssen sie alles bis ins kleinste Detail erklären, sonst kann niemand ihre Arbeit überprüfen. Das ist wie bei einem Kochrezept: Ohne genaue Mengenangaben klappt der Kuchen nicht.

---

2. Der neue Motor: „Welche KI lesen wir?" (RQ2)

Der alte Plan nutzte veraltete „Autos" (alte KI-Modelle), um die Texte zu analysieren. Die Forscher haben diese durch neue, schnellere und multilinguale Autos ersetzt.

• Die Metapher: Stell dir vor, der alte Detektiv benutzte eine Landkarte von 1990, um durch ein neues Stadtviertel zu navigieren. Die neuen Forscher haben ein GPS-System, das nicht nur Englisch, sondern auch Spanisch versteht und für beide Sprachen dieselbe Karte nutzt.
• Das Ergebnis: Es funktionierte! Ein einziges, universelles System (ein „multilinguales Modell") konnte sowohl für englische als auch für spanische Texte genauso gut oder sogar besser arbeiten als zwei separate Systeme. Das spart Zeit und ist effizienter.

---

3. Die neuen Spuren: „Stilometrie" (RQ3)

Das war der spannendste Teil. Der alte Detektiv schaute nur auf die „Wahrscheinlichkeiten" (also: Wie wahrscheinlich ist es, dass dieses Wort als nächstes kommt?).

Die neuen Forscher haben aber noch 26 neue Werkzeuge in ihre Werkzeugkiste gelegt. Sie nennen das Stilometrie.

• Die Metapher: Stell dir vor, du suchst einen Dieb. Der alte Detektiv schaute nur auf die Fußspuren (die Wahrscheinlichkeiten). Die neuen Detektiven schauen sich aber auch an:
  • Wie lang sind die Sätze? (Ist der Dieb hektisch oder ruhig?)
  • Wie oft benutzt er bestimmte Wörter? (Ist er wortkarg oder redselig?)
  • Wie viele Ausrufezeichen oder Fragezeichen stehen im Text?
  • Wie ist die Satzstruktur?

Diese „Stil-Spuren" sind wie die Handschrift des Autors. Selbst wenn die KI versucht, wie ein Mensch zu klingen, hinterlässt sie oft unbewusst ihre eigene „Stil-Fingerabdruck".

Das Ergebnis: Durch das Hinzufügen dieser 26 neuen Stil-Spuren wurde der Detektiv viel besser. Er konnte nicht nur sagen „Das ist eine KI", sondern auch viel genauer bestimmen, welche KI es war.

---

4. Warum ist das wichtig? (Die „Black Box"-Problematik)

Viele moderne KI-Systeme sind wie eine Black Box: Man wirft einen Text rein, und ein Ergebnis kommt raus. Aber man weiß nicht, warum die KI zu diesem Ergebnis kam. Das ist gefährlich, weil man den Fehler nicht finden kann.

Diese Studie macht die Box durchsichtig.

• Sie nutzten eine Technik namens SHAP (eine Art „Röntgenbild" für die Entscheidungen).
• Damit konnten sie genau sehen: „Aha! Der Computer hat diesen Text als KI erkannt, weil er zu viele Ausrufezeichen hatte und die Sätze zu kurz waren."

Das ist wie wenn der Detektiv nicht nur sagt „Der Dieb war hier", sondern auch erklärt: „Er war hier, weil er eine rote Jacke trug und nach Zigaretten roch." Das macht die Entscheidung vertrauenswürdig.

---

Zusammenfassung für den Alltag

1. Nachbauen ist schwer: Ohne genaue Anleitung (Code und Daten) kann man Ergebnisse von anderen nicht 1:1 kopieren. Transparenz ist alles.
2. Ein System für alle: Man braucht nicht für jede Sprache ein eigenes, kompliziertes System. Ein modernes, universelles System reicht oft aus.
3. Der Stil verrät alles: Nur auf den Inhalt zu schauen reicht nicht. Man muss auch auf den „Stil" achten (Satzlänge, Wortwahl, Zeichensetzung). Das ist wie bei einem Fälscher: Er kann die Unterschrift kopieren, aber der Druck der Feder verrät ihn.
4. Verständlichkeit zählt: Es reicht nicht, dass ein Computer recht hat. Wir müssen verstehen, warum er recht hat.

Fazit: Die Forscher haben gezeigt, dass man KI-Texte besser entlarven kann, wenn man alte Tricks mit neuen, durchsichtigen Methoden kombiniert. Und das Wichtigste: Man muss genau aufschreiben, wie man es gemacht hat, damit andere es nachvollziehen können!

Technische Zusammenfassung

1. Problemstellung

Die rasante Entwicklung von Large Language Models (LLMs) wie GPT-4, LLaMA und Claude hat die Fähigkeit zur Erzeugung fließender, stilistisch überzeugender Texte in verschiedenen Sprachen und Domänen erheblich verbessert. Dies stellt eine große Herausforderung dar, da KI-generierte Texte oft kaum von menschlichen Texten zu unterscheiden sind.
Während frühere Forschungsansätze sich primär auf die binäre Unterscheidung (Mensch vs. KI) konzentrierten, hat sich der Fokus hin zur Model-Attribution verschoben: Es gilt nicht nur zu erkennen, ob ein Text von einer KI stammt, sondern auch zu identifizieren, welches spezifische Modell ihn generiert hat.
Das vorliegende Paper adressiert zwei Hauptprobleme:

1. Reproduzierbarkeit: Viele bestehende Systeme (insbesondere der AuTexTification 2023 Shared Task) lassen sich aufgrund unklarer Implementierungsdetails, veralteter Modelle oder unterschiedlicher Datenaufteilungen nicht exakt replizieren.
2. Interpretierbarkeit: Viele moderne Ansätze basieren auf „Black-Box"-Neuronalen Netzen. Es besteht ein Bedarf an Methoden, die nicht nur hohe Genauigkeit liefern, sondern auch erklären, welche Merkmale (Stilistik, Wahrscheinlichkeiten) zur Entscheidung führen.

2. Methodik

Die Autoren führen eine systematische Replikation und Erweiterung des hybriden Systems von Przybyla et al. (2023) durch, das für den AuTexTification 2023 Shared Task entwickelt wurde. Der Ansatz kombiniert drei Komponenten:

• Vorhersagbarkeits-basierte Merkmale (Predictability): Log-Wahrscheinlichkeiten, Entropie und andere statistische Maße, die von generativen Sprachmodellen berechnet werden.
• Kontextuelle Darstellungen (Embeddings): Features aus einem feinabgestimmten Transformer-Encoder (FLM).
• Stylometrische Merkmale: Dokumentenbasierte linguistische und stilistische Statistiken.

Das Studium gliedert sich in drei Forschungsfragen (RQ):

• RQ1: Replikation des Originalsystems:

  • Die Autoren versuchten, die Originalergebnisse exakt zu reproduzieren.
  • Herausforderungen: Es gelang keine exakte numerische Reproduktion aufgrund von Unterschieden in den Datenaufteilungen (Topic-based Split vs. Random Split), der Nichtverfügbarkeit der originalen spanischen GPT-2-Modelle (die durch Alternativen ersetzt werden mussten) und Inkonsistenzen in der Implementierung von Features (z. B. Grammatikprüfung mit spaCy).
  • Ergebnis: Die Kern-Pipeline konnte nachgebaut werden, aber kleine technische Details (Seed, Early-Stopping-Regeln, Modellversionen) führen zu messbaren Leistungsunterschieden.

• RQ2: Einfluss der Basismodelle:

  • Die Autoren testeten neuere, mehrsprachige Modelle, um eine einheitliche Konfiguration für Englisch und Spanisch zu finden.
  • Encoder: Statt sprachspezifischer Modelle (RoBERTa-base für EN, BNE für ES) wurde mDeBERTa-v3-base als gemeinsamer Encoder für beide Sprachen getestet.
  • Generative Modelle: Statt alter GPT-2-Varianten wurden neuere Modelle wie Qwen, mGPT und LLaMA (in Gruppen wie „Large", „XGLM", „mGPT") zur Berechnung der Vorhersagbarkeits-Features verwendet.
  • Ziel: Eine sprachunabhängige Konfiguration zu erstellen, die ohne sprachspezifische Anpassungen funktioniert.

• RQ3: Erweiterung der stylometrischen Features:

  • Das ursprüngliche Feature-Set wurde um 26 zusätzliche dokumentenbasierte stylometrische Merkmale erweitert.
  • Diese umfassen: Lexikalische Diversität (z. B. Type-Token-Ratio), Satzstruktur (Satzlängen-Statistik), Wiederholungsmuster (Bigramm/Trigramm-Wiederholungen), funktionale Marker (Hedge-Wörter, Übergangswörter), Lesbarkeitsmetriken und Zeichensetzung.
  • Analyse: Die Wichtigkeit dieser Features wurde mittels SHAP (SHapley Additive exPlanations) analysiert, um die Interpretierbarkeit zu erhöhen.

3. Wichtige Beiträge

1. Systematische Replikation: Identifikation kritischer Faktoren, die die Reproduzierbarkeit von KI-Text-Detektionssystemen beeinträchtigen (Daten-Splits, Modellverfügbarkeit, Feature-Extraktions-Details).
2. Einheitliche mehrsprachige Konfiguration: Entwicklung eines Systems, das auf modernen mehrsprachigen Modellen (mDeBERTa + Qwen/Large-Group) basiert und für beide Sprachen (Englisch/Spanisch) sowie beide Subtasks (Binär vs. Multi-Class Attribution) ohne sprachspezifische Anpassungen funktioniert.
3. Erweiterung und Interpretierbarkeit: Einführung eines umfangreichen Sets an stylometrischen Features und deren Analyse mittels SHAP, um nachzuweisen, dass stilistische Signale auch in Kombination mit neuronalen Modellen entscheidend sind.
4. Open Source: Der vollständige Implementierungscode ist öffentlich verfügbar, um die Reproduzierbarkeit zu fördern.

4. Ergebnisse

• Replikation (RQ1): Die exakten Originalzahlen konnten nicht erreicht werden (Differenzen von 0,008 bis 0,070 F1-Punkte), was die Notwendigkeit vollständiger Code- und Konfigurationsfreigabe unterstreicht. Dennoch wurde die Leistung des Baseline-Systems erfolgreich nachgebaut.
• Modellwahl (RQ2):
  • Die mehrsprachige Konfiguration (mDeBERTa-v3 + Large-Group generativer Modelle) erzielte im Durchschnitt vergleichbare oder bessere Ergebnisse als die sprachspezifischen Baselines.
  • Besonders für die schwierigere Aufgabe der Model-Attribution (Subtask 2) zeigte sich eine robuste Leistung über beide Sprachen hinweg.
• Feature-Erweiterung (RQ3):
  • Die Hinzunahme der 26 neuen stylometrischen Features führte in allen Szenarien zu signifikanten Leistungssteigerungen.
  • Für das reine linguistische Modell (LingRF) stieg die Macro-F1-Leistung um bis zu +21,6 % (Spanisch, Subtask 1).
  • Im kombinierten Modell (LingRF + PredOut) mit den neuen generativen Modellen wurden die besten Gesamtergebnisse erzielt (z. B. +18,6 % Verbesserung für Englisch in Subtask 2 gegenüber dem alten Setup).
• Interpretierbarkeit: Die SHAP-Analyse zeigte, dass die neu eingeführten Features (insbesondere zur lexikalischen Diversität und Satzstruktur) zu den wichtigsten Prädiktoren gehören und nicht durch die probabilistischen Features ersetzt werden, sondern diese ergänzen.
• Vergleich mit State-of-the-Art: Das vorgestellte System übertraf den aktuellen State-of-the-Art-Detektor „mdok" in der binären Detektion (Subtask 1) deutlich, während es in der Attribution (Subtask 2) konkurrenzfähig war, jedoch mit dem Vorteil der besseren Interpretierbarkeit.

5. Bedeutung und Fazit

Das Paper demonstriert, dass für die Detektion und Attribution von KI-Texten nicht nur die Wahl der neuronalen Architektur entscheidend ist, sondern auch die sorgfältige Gestaltung von Features und die Transparenz der Implementierung.

• Praktische Relevanz: Die Studie zeigt, dass mehrsprachige Modelle eine praktikable Alternative zu sprachspezifischen Lösungen bieten und die Wartung von Systemen vereinfachen.
• Wissenschaftlicher Beitrag: Durch die Kombination von probabilistischen Signalen (Wahrscheinlichkeiten) mit interpretierbaren stylometrischen Merkmalen entsteht ein System, das sowohl leistungsstark als auch erklärbar ist. Dies ist entscheidend für den Einsatz in sensiblen Bereichen wie Journalismus oder Bildung, wo Nachvollziehbarkeit der Entscheidung wichtig ist.
• Warnung vor Reproduzierbarkeitskrise: Die Studie unterstreicht, dass kleine technische Details (z. B. Version von spaCy oder zufällige Datenaufteilungen) große Auswirkungen auf die Ergebnisse haben können und fordert eine strengere Dokumentation und Code-Freigabe in der Community.