NOTAI.AI: Explainable Detection of Machine-Generated Text via Curvature and Feature Attribution

NOTAI.AI ist ein erklärbares Framework zur Erkennung maschinell generierter Texte, das curvature-basierte Signale und stilometrische Merkmale in einem XGBoost-Modell kombiniert und durch SHAP-Analysen sowie eine LLM-gestützte Schicht verständliche, natürliche Begründungen für die Klassifizierung liefert.

Das Wesentliche

NOTAI.AI: Der Detektiv, der nicht nur schreit „Fälschung!", sondern auch erklärt, warum.

Stell dir vor, du hast einen riesigen Haufen Briefe vor dir. Manche wurden von Menschen geschrieben, andere von einem sehr cleveren Roboter. Früher war es leicht, die Unterschiede zu sehen: Der Roboter war steif, die Menschen lebendig. Aber heute? Die Roboter sind so gut geworden, dass ihre Briefe fast genauso klingen wie die von uns. Sie machen keine Grammatikfehler und klingen sogar sehr natürlich.

Das ist das Problem, das NOTAI.AI lösen will. Es ist wie ein super-scharfsinniger Detektiv, der nicht nur sagt: „Das ist ein Roboter!", sondern dir auch genau erklärt: „Hier ist der Grund, warum ich das denke."

Hier ist die einfache Erklärung, wie dieser Detektiv funktioniert, mit ein paar lustigen Vergleichen:

1. Der Detektiv hat drei verschiedene Werkzeuge (Die 17 Merkmale)

Statt sich nur auf ein einziges Indiz zu verlassen, nutzt NOTAI.AI eine ganze Werkzeugkiste mit 17 verschiedenen Werkzeugen. Man kann sich das wie einen Ermittlerteam vorstellen, das drei verschiedene Spezialisten hat:

• Der Mathematiker (Die „Krümmung"):
  Stell dir vor, du läufst über eine Landschaft. Wenn ein Mensch schreibt, ist die Landschaft hügelig, mit kleinen Unebenheiten und Überraschungen. Ein Roboter hingegen läuft oft über eine perfekt glatte, ebene Straße, weil er immer das „wahrscheinlichste" nächste Wort wählt.
  NOTAI.AI misst diese Krümmung. Wenn die Straße zu glatt ist (wie eine Autobahn ohne Kurven), weiß der Detektiv: „Aha, hier hat wahrscheinlich ein Roboter gelaufen."

• Der Sprachwissenschaftler (Die „Stilometrie"):
  Dieser Experte schaut sich die Gewohnheiten an. Wie viele Sätze sind es? Wie lang sind die Wörter? Benutzt der Autor immer die gleichen Füllwörter oder Wiederholungen?
  Roboter neigen dazu, sich zu wiederholen oder einen sehr vorhersehbaren Rhythmus zu haben. Menschen sind chaotischer und vielfältiger. Dieser Experte zählt Kommas, prüft den Wortschatz und sucht nach „Klischees", die Roboter oft benutzen.

• Der KI-Experte (Das „Gehirn"):
  Das ist ein trainiertes neuronales Netz (ein kleines KI-Modell), das gelernt hat, wie KI-Sprache „riecht". Es schaut sich den Text an und sagt: „Das hier fühlt sich für mich wie KI an."

2. Der Chef, der alles zusammenführt (Der Meta-Klassifikator)

Jetzt haben wir drei Experten, die alle ihre Meinung sagen. Aber wer entscheidet am Ende?
NOTAI.AI nutzt einen Chef-Entscheider (ein XGBoost-Modell). Dieser Chef hört sich alle drei Meinungen an, wägt ab und trifft die finale Entscheidung: „Mensch" oder „KI".

Das Tolle daran: Wenn der Mathematiker sagt „Glatte Straße!" und der Sprachwissenschaftler sagt „Viele Wiederholungen!", dann ist der Chef sich sicher. Wenn sie sich widersprechen, sucht er tiefer.

3. Der Dolmetscher (Warum ist das Ergebnis so?)

Das ist der wichtigste Teil, der NOTAI.AI besonders macht. Frühere Detektoren gaben nur eine Zahl aus: „90 % Wahrscheinlichkeit, dass es KI ist." Das ist wie wenn ein Arzt sagt: „Sie sind krank," ohne zu erklären, warum. Das macht Angst und niemand weiß, was zu tun ist.

NOTAI.AI macht etwas anderes:
Es nutzt eine Technik namens SHAP (eine Art mathematischer Beweiskette), um genau zu sehen, welches Werkzeug am meisten zur Entscheidung beigetragen hat.

Dann kommt der Dolmetscher (eine weitere KI) ins Spiel. Er nimmt die trockenen mathematischen Daten und übersetzt sie in eine einfache, menschliche Sprache.

• Statt zu sagen: „Der SHAP-Wert für die Krümmung ist -0,45," sagt er: „Der Text ist zu glatt und vorhersehbar, als dass ein Mensch ihn geschrieben hätte."
• Statt zu sagen: „Der Wortschatz ist zu arm," sagt er: „Es wurden zu oft die gleichen Wörter wiederholt, was typisch für KI ist."

4. Das interaktive Labor (Die Web-App)

Stell dir vor, du kannst in ein Labor gehen und selbst experimentieren. NOTAI.AI ist eine Webseite, auf der du einen Text hineinkopieren kannst.

• Du siehst sofort das Ergebnis (eine Art Ampel: Grün = Mensch, Rot = KI).
• Du siehst die Beweise: Welche drei Indizien waren am wichtigsten?
• Der Clou: Du kannst im Labor „Schalter umlegen". Du kannst sagen: „Ignoriere mal die Wiederholungen." Dann berechnet der Detektiv das Ergebnis neu. So kannst du sehen: „Oh, wenn ich die Wiederholungen nicht zähle, wäre der Text plötzlich als menschlich durchgekommen!" Das hilft dir zu verstehen, wie der Detektiv denkt.

Warum ist das wichtig?

In einer Welt, in der KI Texte schreiben kann, die wir kaum noch von echten Menschen unterscheiden können, brauchen wir nicht nur Detektoren, die richtig liegen, sondern solche, die vertrauenswürdig sind.

NOTAI.AI ist wie ein ehrlicher Richter, der nicht nur das Urteil fällt, sondern dir die Beweise auf den Tisch legt und in einfacher Sprache erklärt, warum er zu diesem Schluss kam. Das hilft Lehrern, Journalisten und normalen Nutzern, die Wahrheit zu erkennen, ohne ein Mathe-Genie sein zu müssen.

Zusammengefasst: NOTAI.AI ist der Freund, der dir nicht nur sagt, ob ein Text echt ist, sondern dir auch die Brille aufsetzt, mit der du die kleinen Fälschungen selbst sehen kannst.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „NOTAI.AI: Explainable Detection of Machine-Generated Text via Curvature and Feature Attribution" auf Deutsch:

1. Problemstellung

Die rasante Entwicklung von Large Language Models (LLMs) hat die Fähigkeit, menschenähnliche Texte zu generieren, erheblich verbessert. Dies stellt eine Bedrohung für die Authentizität, Urheberschaft und Informationsintegrität dar, insbesondere in Bereichen wie Bildung, Journalismus und Forschung. Bestehende Detektoren leiden unter zwei Hauptproblemen:

• Mangelnde Robustheit: Viele Detektoren verlieren unter Domänenverschiebungen, verschiedenen Decodierungsstrategien oder adversarialen Angriffen stark an Genauigkeit.
• Fehlende Erklärbarkeit: Die meisten Systeme liefern nur undurchsichtige Wahrscheinlichkeitswerte („Black Box"), ohne klare, für den Nutzer verständliche Begründungen zu liefern. Dies schränkt ihren praktischen Nutzen für Nicht-Experten (z. B. Lehrer, Redakteure) ein.

2. Methodik: Das NOTAI.AI-Framework

NOTAI.AI ist ein hybrides, überwachtes System, das statistische Kurvatur-Signale mit neuronalen und stilometrischen Merkmalen kombiniert, um sowohl hohe Genauigkeit als auch Interpretierbarkeit zu erreichen. Die Architektur folgt einem vierstufigen Pipeline-Prozess: Extrahieren → Entscheiden → Erklären → Präsentieren.

A. Merkmalsextraktion (Feature Extraction)

Das System extrahiert 17 interpretierbare Merkmale aus drei Kategorien:

1. Neuronale Signale: Ein feinabgestimmter ModernBERT-Encoder (Warner et al., 2025) liefert Wahrscheinlichkeiten für KI-generierte Texte (bert_ai_score), die semantische Flüssigkeit und Generierungspriors erfassen.
2. Statistische Kurvatur (Conditional Probability Curvature - CPC): Basierend auf Fast-DetectGPT (Bao et al., 2023). CPC misst die zweite Ableitung der Token-Wahrscheinlichkeiten unter lokalen Störungen.
   • Hypothese: Menschliche Texte zeigen eine unregelmäßigere, varianzreichere Wahrscheinlichkeitslandschaft, während KI-Texte glattere, stabilere Profile aufweisen.
3. Stilometrische und Lesbarkeitsmerkmale: Dazu gehören klassische linguistische Indikatoren wie der Flesch-Reading-Ease-Score, Satzlängen, Token-Anzahl, Type-Token-Ratio (Wortschatzvielfalt), Hapax-Legomena-Ratio sowie spezifische Muster wie Wiederholungen (n-gram), Satzzeichenverteilung und Klischee-Raten.

B. Meta-Klassifikation

Alle 17 Merkmale werden in einen XGBoost (Extreme Gradient Boosting) Meta-Klassierer eingespeist. Dieser lernt nichtlineare Interaktionen zwischen den neuronalen Konfidenzwerten, den Kurvatur-Statistiken und den stilometrischen Indikatoren, um die finale Entscheidung (Mensch vs. KI) zu treffen.

C. Erklärbarkeit (Explainability)

Um die „Black Box" zu öffnen, nutzt NOTAI.AI einen zweistufigen Ansatz:

1. SHAP (Shapley Additive Explanations): Berechnet den Beitrag jedes Merkmals zur Entscheidung (lokal für einzelne Instanzen und global für den Datensatz). Positive Werte deuten auf „KI", negative auf „Mensch" hin.
2. LLM-basierte Rationale-Generierung: Da SHAP-Werte für Laien schwer verständlich sind, werden diese strukturierten JSON-Daten (inkl. Merkmalswerte und SHAP-Scores) an ein LLM (Google Gemma-3-27b-it) übergeben. Dieses generiert eine strukturierte, natürliche Sprachbegründung, die in verständlichen Sätzen erklärt, warum das Modell zu einer bestimmten Entscheidung kam.

D. Implementierung

Das System ist als interaktive Webanwendung (Flask/Python + JavaScript) implementiert, die Echtzeitanalysen, visuelle Inspektion von Merkmalen und eine „Ablation"-Funktion erlaubt (Nutzer können Merkmale deaktivieren, um deren Einfluss auf die Entscheidung zu beobachten).

3. Wichtige Beiträge

• Hybride Architektur: Erste Integration von Kurvatur-basierten Signalen (Zero-Shot-Ansatz) in ein überwachtes Ensemble mit neuronalen und stilometrischen Merkmalen.
• Erklärbare KI (XAI): Überwindung der Lücke zwischen technischer Genauigkeit und praktischer Nutzbarkeit durch die Umwandlung von SHAP-Attributionen in natürliche Sprache.
• Interaktive Demo: Bereitstellung eines vollständigen, reproduzierbaren Systems mit Web-Interface, das Nutzern ermöglicht, die Entscheidungsfindung des Modells zu hinterfragen.
• Robustes Evaluation-Design: Verwendung eines ausgeglichenen Datensatzes (basierend auf RAID), um Verzerrungen durch unausgewogene Klassenverteilungen zu vermeiden.

4. Ergebnisse

Die Evaluation erfolgte auf einem ausgewogenen Subset des RAID-Datensatzes (1:1 Verhältnis von menschlichen zu KI-generierten Texten).

• Leistungsvergleich:
  • Einzelne Signale: Stilometrie allein erreichte ein F1-Score von 0,871, ModernBERT 0,856 und reine Kurvatur (CPC) 0,888.
  • Ensemble (NOTAI.AI): Die Kombination aller Merkmale führte zu einem signifikanten Leistungssprung auf 0,963 Accuracy und 0,963 F1-Score. Dies ist eine Steigerung von +7,5 F1-Punkten gegenüber dem besten Einzelmodell.
• Feature-Importanz: Die SHAP-Analyse zeigte, dass Conditional Probability Curvature (CPC), Type-Token-Ratio (TTR) und der ModernBERT-Score die wichtigsten Treiber sind.
  • CPC wirkt nicht-linear: Werte nahe 0 oder negativ (typisch für KI) führen zu einer KI-Klassifikation, während positive Werte (typisch für Menschen) die Entscheidung in die entgegengesetzte Richtung lenken.
  • Der ModernBERT-Score fungiert eher als bestätigendes Signal bei hohen Konfidenzniveaus.

5. Bedeutung und Ausblick

NOTAI.AI demonstriert, dass die Kombination verschiedener Signalquellen (statistisch, neuronal, stilometrisch) nicht nur die Detektionsgenauigkeit maximiert, sondern auch durch transparente Erklärungen das Vertrauen in das System stärkt.

• Praktische Relevanz: Das System bietet Werkzeugen für Pädagogen und Journalisten die Möglichkeit, nicht nur ein Ergebnis, sondern auch die Evidenz dafür zu sehen.
• Limitationen & Zukunft: Wie bei allen überwachten Detektoren bleibt die Robustheit gegenüber starken Domänenverschiebungen, neuen Generatoren oder adversarialen Paraphrasierungen eine Herausforderung. Zukünftige Arbeiten zielen darauf ab, die Erklärbarkeit auf Mikro-Ebene (Token-Level-Highlights) zu erweitern und das System für mehrsprachige und kollaborative (Mensch-KI) Szenarien zu optimieren.

Zusammenfassend stellt NOTAI.AI einen wichtigen Schritt hin zu transparenten, überprüfbaren und hochpräzisen Systemen zur Erkennung von KI-Texten dar.