🔢 mathematics

Black-Box Detection of LLM-Generated Text Using Generalized Jensen-Shannon Divergence

Die Arbeit stellt SurpMark vor, einen robusten Black-Box-Detektor für von LLMs generierte Texte, der die Dynamik der Token-Überraschung und eine generalisierte Jensen-Shannon-Divergenz-Metrik nutzt, um menschliches und maschinell erzeugtes Schreiben effektiv zu unterscheiden, ohne Zugriff auf das Quellmodell zu benötigen.

Ursprüngliche Autoren: Shuangyi Chen, Ashish Khisti

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Shuangyi Chen, Ashish Khisti

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der herausfinden soll, ob eine Geschichte von einem Menschen oder einem Roboter geschrieben wurde. In der Vergangenheit suchten Detektive nach offensichtlichen Hinweisen wie Rechtschreibfehlern oder seltsamer Grammatik. Doch die Roboter von heute (Large Language Models, oder LLMs) sind so gut im Schreiben, dass sie diese Fehler kaum noch machen. Sie klingen fast exakt wie Menschen.

Dieser Artikel stellt ein neues Detektivwerkzeug namens SurpMark vor. Anstatt zu prüfen, welche Wörter verwendet werden, betrachtet SurpMark, wie der Autor beim Tippen denkt.

So funktioniert es, mithilfe einfacher Analogien:

1. Das „Überraschungsmeter"

Stellen Sie sich vor, Sie lesen eine Geschichte.

Menschliche Autoren nehmen oft unerwartete Wendungen. Sie sagen vielleicht etwas Überraschendes, und der nächste Satz wirkt dann etwas chaotisch oder springt zu einer neuen Idee.
Roboter sind darauf trainiert, vorhersehbar zu sein. Wenn ein Roboter schreibt, wählt er meist das „sicherste" nächste Wort. Wenn er doch ein überraschendes Wort wählt (vielleicht um kreativ zu sein), kehrt er sofort zu einem sehr vorhersehbaren Verhalten zurück, um auf Kurs zu bleiben.

SurpMark fungiert wie ein Überraschungsmeter. Es misst, wie „überrascht" ein Sprachmodell von jedem Wort im Text wäre.

Ist der Text menschlich, springt das Überraschungsmeter wild und unregelmäßig hoch und runter.
Ist der Text von einem Roboter, zeigt das Meter einen bestimmten Rhythmus: einen großen Sprung (Überraschung), gefolgt von einem sofortigen, ruhigen und vorhersehbaren Abfall.

2. Das Meter in eine Karte verwandeln

Der Artikel wandelt diese „Überraschungs"-Zahlen in einfache Kategorien um, ähnlich wie Ampeln:

🟢 Grün: Sehr vorhersehbar (nicht überraschend).
🟡 Gelb: Ein wenig überraschend.
🔴 Rot: Sehr überraschend.

Anstatt die rohen Zahlen zu betrachten, analysiert SurpMark die Reihenfolge der Farben. Es fragt: „Wie oft wechselt der Text von Rot zu Grün? Wie oft von Grün zu Gelb?"

3. Die Karte der „Zustandsübergänge"

Stellen Sie sich dies wie einen Tanzboden vor.

Menschliche Tänzer könnten von einem langsamen Schritt zu einer schnellen Drehung und dann zu einer Rutschbewegung übergehen, und zwar auf eine sehr einzigartige, unvorhersehbare Weise.
Robottänzer haben eine spezifische Gewohnheit. Wenn sie eine wilde Drehung machen (Rot), kehren sie fast immer sofort zu einem langsamen, stabilen Schritt (Grün) zurück. Sie haben ein „Wiederherstellungs"-Muster.

SurpMark erstellt eine Karte dieser Tanzbewegungen (Übergänge). Basierend auf Tausenden von zuvor untersuchten Beispielen erstellt es eine „Menschliche Tanzkarte" und eine „Roboter-Tanzkarte".

4. Der Endtest: Die „Lücke"

Wenn ein neuer Text eintrifft, zeichnet SurpMark seine Tanzbewegungen auf und vergleicht sie mit den beiden Karten.

Es berechnet die Distanz zwischen dem neuen Text und der Menschlichen Karte.
Es berechnet die Distanz zwischen dem neuen Text und der Roboter-Karte.
Es subtrahiert das eine vom anderen.

Wenn die Tanzbewegungen des Textes mehr der Roboter-Karte ähneln (insbesondere diesem spezifischen „Drehung-dann-stabil"-Wiederherstellungsmuster), markiert der Detektor ihn als maschinell generiert. Wenn sie mehr der chaotischen Menschlichen Karte ähneln, wird er als menschlich markiert.

Warum ist das besonders?

Der Artikel hebt drei Hauptvorteile hervor:

Es muss den Namen des Roboters nicht kennen: Viele Detektoren müssen genau wissen, welcher Roboter den Text geschrieben hat, um gut zu funktionieren. SurpMark ist ein „Black-Box"-Detektor. Es funktioniert sogar dann, wenn der Text von einem geheimen, mächtigen Roboter stammt, den es noch nie gesehen hat. Es betrachtet lediglich den Stil des Denkens, nicht das spezifische Modell.
Es ist schnell und günstig: Einige andere Detektoren versuchen, den Text umzuschreiben oder neue Versionen davon zu generieren, um zu sehen, wie er sich verändert. Das ist, als würde man einen Verdächtigen bitten, fünf verschiedene Male eine Geschichte zu schreiben, um zu sehen, ob er nervös wird. Das erfordert viel Zeit und Rechenleistung. SurpMark liest den Text nur einmal, wie ein kurzer Blick auf einen Fingerabdruck.
Es fängt die „fortgeschrittenen" Roboter: Der Artikel fand heraus, dass bei sehr intelligenten, teuren Robotern die „Überraschungs"-Niveaus fast exakt wie beim Menschen aussehen. Allerdings ist das Muster, wie sie sich von Überraschungen erholen (die Tanzbewegungen), immer noch anders. SurpMark fängt diesen subtilen Rhythmus ein, den andere Detektoren übersehen.

Das Fazit

SurpMark ist ein Werkzeug, das KI-Texte erkennt, indem es den Rhythmus der Überraschung im Schreiben analysiert. Es interessiert sich nicht für die spezifischen Wörter; es interessiert sich für den „Herzschlag" des Textes. Wenn der Herzschlag diesen spezifischen „Ruck-und-Erholung"-Rhythmus aufweist, der typisch für Maschinen ist, erkennt es, dass es sich um KI handelt, selbst wenn der Roboter sehr bemüht ist, menschlich zu klingen.

Technische Zusammenfassung: Black-Box-Erkennung von LLM-generiertem Text unter Verwendung der generalisierten Jensen-Shannon-Divergenz

Problemstellung

Die rasante Weiterentwicklung von Large Language Models (LLMs) hat die Unterscheidung zwischen menschlich verfasstem und maschinell generiertem Text verwischt, was Bedenken hinsichtlich Fehlinformationen, Plagiaten, Betrug und der Verschlechterung der Qualität von Trainingsdaten durch rekursive Feedback-Schleifen aufwirft. Bestehende Detektionsmethoden stoßen in praktischen Black-Box-Szenarien auf erhebliche Einschränkungen:

Klassifikatorbasierte Detektoren erfordern kostspieliges Nachtrainieren bei Änderungen der Domänen oder Generatoren und sind auf hochwertige gelabelte Daten angewiesen.
Methoden globaler Statistiken (z. B. Likelihood, Rang, Entropie) sind bei Kalibrierungsabweichungen und Domänenverschiebungen oft instabil.
Methoden verteilter Statistiken (z. B. DetectGPT, DNA-GPT) erfordern typischerweise eine pro-Instanz-Regenerierung oder Perturbation zur Schätzung lokaler Divergenzen, was zu hohen Rechenkosten und Latenzzeiten führt, die für Anwendungen mit hohem Durchsatz unrealistisch sind.

Darüber hinaus verschärfen Black-Box-Beschränkungen Probleme, bei denen das für die Bewertung verwendete Proxy-Modell nicht mit dem unbekannten Quellmodell übereinstimmt. Die Arbeit adressiert die Notwendigkeit eines Detektors, der Nachtrainieren und pro-Instanz-Regenerierung vermeidet und gleichzeitig unter Verteilungsverschiebungen und Proxy-Modell-Abweichungen robust bleibt.

Methodik: SurpMark

Die Autoren schlagen SurpMark vor, einen referenzbasierten Black-Box-Detektor, der die Zuordnung als likelihood-freien Hypothesentest formuliert. Das Framework arbeitet in zwei Phasen:

1. Offline-Referenzerstellung

Unter Verwendung bestehender menschlicher und maschineller Korpora erstellt das System feste Referenz-Übergangsmatrizen:

Überraschungs-Schätzung (Surprisal Estimation): Ein festes Proxy-Sprachmodell (LM) berechnet tokenweise Überraschungen ( $s_t = -\log p_\theta(x_t | x_{<t})$ ) für Referenztexte.
Diskretisierung: Kontinuierliche Überraschungswerte werden mittels eines gemeinsamen $k$ -Means-Quantisierers in $k$ interpretierbare Zustände (z. B. „Vorhersehbar", „Überraschend") quantisiert. Dies wandelt die Sequenz in eine diskrete Zustandssequenz $\{a_t\}$ um.
Übergangsmodellierung: Die Zustandssequenzen werden als Markov-Ketten erster Ordnung modelliert. Empirische Übergangswahrscheinlichkeitsmatrizen ( $\hat{M}_{human}$ und $\hat{M}_{machine}$ ) werden durch Zählen von Zustandsübergängen in den Referenzkorpora geschätzt.

2. Online-Erkennung

Für einen zu testenden Textabschnitt:

Merkmalsextraktion: Dasselbe Proxy-LM berechnet Überraschungen, die unter Verwendung des gemeinsamen Quantisierers diskretisiert werden, um eine Zustandssequenz zu bilden.
Übergangsschätzung: Eine empirische Übergangsmatrix ( $\hat{M}_{test}$ ) wird für den zu testenden Text berechnet.
Bewertung: Der Detektor berechnet einen generalisierten Jensen-Shannon (GJS)-Divergenzwert. Konkret wird die Differenz zwischen der GJS-Distanz zur maschinellen Referenz und der GJS-Distanz zur menschlichen Referenz berechnet:
$\Delta GJS_n = GJS(\hat{M}_{machine}, \hat{M}_{test}, \alpha) - GJS(\hat{M}_{human}, \hat{M}_{test}, \alpha)$
wobei $\alpha$ das Verhältnis der Referenzlänge zur Testlänge ist.
Entscheidung: Der Text wird als maschinell generiert klassifiziert, wenn $\Delta GJS_n \leq \tau$ (wobei $\tau$ ein Schwellenwert ist, typischerweise 0), und andernfalls als menschlich verfasst.

Theoretische Begründung

Die Arbeit liefert eine theoretische Analyse unter einer idealisierten Markov-Näherung erster Ordnung der diskretisierten Überraschungszustände:

Diskretisierung-Schätzung-Tradeoff: Die Autoren leiten ein Skalierungsgesetz für die Anzahl der Bins $k$ ab. Durch Abwägung des Diskretisierungsfehlers ( $O(1/k)$ ) und des statistischen Schätzfehlers ( $O(k^{3/2}/\sqrt{N})$ ) skaliert die optimale Bin-Anzahl als $k^* = \Theta(N^{1/5})$ , wobei $N$ die Gesamtlänge der Referenzdaten ist.
Statistik-Validität: Die $\Delta GJS_n$ -Statistik wird als äquivalent zum normalisierten Log-Likelihood-Verhältnis zwischen den beiden Hypothesen (menschlich vs. maschinell) nachgewiesen. Die Autoren beweisen ihre asymptotische Normalität und liefern damit eine fundierte Grundlage für die Entscheidungsregel.
Ausreichendheit erster Ordnung: Empirische und theoretische Analysen (basierend auf der Gray'schen Approximationstheorie) zeigen, dass die durch den Übergang von einem Markov-Modell erster Ordnung zu einem zweiter Ordnung gewonnene bedingte gegenseitige Information vernachlässigbar ist (Perplexitätsreduktion im Sub-Prozent-Bereich), was die Verwendung von Modellen erster Ordnung für Dateneffizienz rechtfertigt.

Hauptbeiträge

SurpMark-Framework: Ein referenzbasierter Detektor, der Texte über Token-Überraschungsdynamiken (Zustandsübergänge) zusammenfasst und nicht über absolute Likelihoods, wodurch die Notwendigkeit einer pro-Instanz-Regenerierung entfällt.
Theoretische Analyse: Herleitung von Gestaltungsrichtlinien für die Skalierung der Diskretisierungsbins ( $k \propto N^{1/5}$ ) und eine fundierte Begründung der GJS-basierten Teststatistik als Log-Likelihood-Verhältnis.
Umfassende Evaluation: Zahlreiche Experimente, die Robustheit über diverse Datensätze, Quellmodelle (open- und closed-source) und Szenarien (gemischte Domänen, Paraphrasierung, adversarielle Angriffe) hinweg demonstrieren.

Experimentelle Ergebnisse

SurpMark wurde gegen 13 Baselines (einschließlich DetectGPT, Lastde++, R-Detect und Binoculars) über mehrere Datensätze (XSum, WritingPrompts, SQuAD, WMT19, HC3, DetectRL) und Modelle (9 open-source, 3 closed-source) evaluiert.

Leistung: SurpMark entspricht den Baselines konsistent oder übertrifft sie. Es erzielte den höchsten durchschnittlichen AUROC-Wert bei 6 von 9 open-source-Modellen und rangierte bei allen 3 closed-source-Modellen (einschließlich GPT-5-Chat) an erster Stelle, wo marginale Statistiken oft versagen.
Effizienz: Im Gegensatz zu verteilungsbasierten Methoden, die eine pro-Eingabe-Regenerierung erfordern (z. B. DetectGPT, Lastde++), bewertet SurpMark Texte in einem einzigen Durchlauf. Nach Amortisierung der einmaligen Vorverarbeitungszeit erzielt es einen höheren Durchsatz als die Baselines, was es für den Echtzeit-Einsatz geeignet macht.
Robustheit:
- Proxy-Abweichung: SurpMark bleibt stabil, selbst wenn das Proxy-LM erheblich vom Quell-Generator abweicht, während viele Baselines an Leistung verlieren.
- Domänenverschiebung: Die Methode behält in gemischten Domänen- und gemischten Generator-Einstellungen (DetectRL-Benchmark) eine hohe Leistung bei.
- Adversarielle Angriffe: SurpMark zeigt starke Resilienz gegenüber Paraphrasierungsangriffen (Polishing, Back-Translation, DIPPER) und prompt-engineerten adversariellen Angriffen, die darauf ausgelegt sind, menschlichen Stil zu imitieren oder die Erkennung zu umgehen.
- OOD-Verallgemeinerung: Der Detektor funktioniert gut, wenn Referenztexte aus einer anderen Domäne stammen als der Testdatensatz, was darauf hindeutet, dass er übertragbare Signale und nicht domänenspezifische Artefakte erfasst.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass SurpMark eine robuste, effiziente und theoretisch fundierte Lösung für die Black-Box-LLM-Texterkennung bietet. Ihre Bedeutung liegt in:

Entkopplung von Quellmodellen: Durch die Abhängigkeit von der Dynamik der Token-Überraschungen relativ zu festen Referenzen vermeidet es die Zerbrechlichkeit von Klassifikatoren, die auf spezifischen Generatoren trainiert wurden.
Rechenleistung: Es eliminiert die Latenz und Kosten, die mit einer pro-Instanz-Regenerierung verbunden sind, und ermöglicht eine skalierbare Bereitstellung.
Umgang mit fortschrittlichen Modellen: Die Methode adressiert speziell die Herausforderung, Texte von starken, closed-source-Modellen (wie GPT-5) zu erkennen, bei denen sich marginale Überraschungsverteilungen mit menschlichem Text annähern, die Übergangsdynamiken jedoch weiterhin unterscheidbar bleiben.

Die Autoren vermerken bescheiden Einschränkungen und räumen ein, dass die Markov-Näherung erster Ordnung für den diskretisierten Zustandsraum eine Idealisation ist und dass die Vor-Training-Exponierung menschlicher Texte im Proxy-Modell theoretisch zu mehr False Positives führen könnte, obwohl Experimente darauf hindeuten, dass dieser Effekt minimal ist. Sie betonen, dass der Detektor ein probabilistisches Signal liefert und nicht als alleinige Grundlage für Entscheidungen mit hohem Risiko ohne menschliche Überprüfung verwendet werden sollte.