EVIL-Detect for NLPCC 2026 Shared Task 6: LLM-Generated Text Detection

Stellen Sie sich das Internet als eine riesige, belebte Bibliothek vor, in der Bücher sowohl von Menschen als auch von einer neuen, unglaublich schnellen Art von Bibliothekar geschrieben werden: Künstlicher Intelligenz. Lange Zeit konnten diese KI-Bibliothekare (genannt Large Language Models) nur einfache Notizen schreiben, aber jetzt können sie ganze Geschichten, Essays und Artikel schreiben, die fast exakt so klingen, als hätte ein Mensch sie verfasst. Dies ist ein zweischneidiges Schwert. Einerseits ist es eine Superkraft für die Kreativität; andererseits macht es es schwierig zu erkennen, wer einen Text tatsächlich geschrieben hat. Wenn ein Student einen Essay einreicht, wie wissen wir, ob er ihn selbst geschrieben hat, ob eine KI ihn geschrieben hat oder ob er eine KI darum gebeten hat, seinen Rohentwurf zu polieren? Dies ist das große Rätsel, das Wissenschaftler zu lösen versuchen: den Bau eines „Lügendetektors“ für Texte, der den Unterschied zwischen einem Menschen, einem Roboter und einem Team aus Mensch und Roboter erkennt.

In dieser Geschichte hat ein Team von Forschern aus China ein neues Werkzeug namens EVIL-Detect entwickelt, um dieses Rätsel zu lösen. Sie haben nicht nur einen einzelnen Detektor gebaut; sie haben eine „Detektiv-Truppe“ erschaffen, die zusammenarbeitet, um die Wahrheit zu finden. Ihr System wurde in einem bedeutenden Wettbewerb namens NLPCC 2026 getestet, bei dem es vor einer kniffligen Herausforderung stand: zwischen drei Arten von Texten zu unterscheiden – rein menschlichem Schreiben, reinem KI-Schreiben und Texten, die von einem Menschen geschrieben, aber dann von einer KI bearbeitet oder poliert wurden. Während andere Methoden versuchten, die Antwort mit einem einzigen Gehirn zu erraten, nutzte EVIL-Detect einen Teamansatz und kombinierte verschiedene Hinweise, um die richtige Antwort zu finden. Im Endergebnis erreichte ihr System einen Macro-F1-Score von 0,8888 und belegte damit den ersten Platz in der offiziellen Auswertung.

Das Problem: Das „Drei-Wege“-Rätsel

Die meisten herkömmlichen Detektoren waren wie binäre Schalter: Sie konnten nur „Mensch“ oder „KI“ sagen. Aber die reale Welt ist chaotischer. Menschen nutzen oft KI, um ihre Grammatik zu korrigieren oder ihren Schreibstil zu verbessern. Dies schafft eine dritte Kategorie: LLM-verfeinerter Text. Stellen Sie sich vor, ein Student schreibt einen Entwurf (Mensch), bittet dann eine KI, „dies professioneller klingen zu lassen“ (Verfeinert), oder eine KI schreibt von Grund auf eine ganze Geschichte (KI). Die Herausforderung besteht darin, dass der „verfeinerte“ Text eine Mischung aus beidem ist, was es sehr schwierig macht, ihn zu entlarven.

Die Forscher fanden heraus, dass man versuchen kann, einen Computer zu lehren, alle drei gleichzeitig zu erraten, er aber verwirrt wird. In ihren Tests schnitt eine Standardmethode, die versuchte, alle drei Kategorien direkt zu lernen, sehr schlecht ab und erreichte lediglich einen Wert von 0,1690. Es war, als würde man versuchen, einem Hund beizubringen, drei Sprachen gleichzeitig zu sprechen; er gab einfach auf.

Die Lösung: Die Detektiv-Trupp (EVIL-Detect)

Anstatt eines großen Gehirns baute das Team EVIL-Detect (was für Edit-aware View-Integrated Learning for Detection steht). Betrachten Sie dieses System als ein Team aus vier verschiedenen Detektiven, von denen jeder den Text durch ein anderes Paar Brillen betrachtet. Sie stimmen nicht einfach nur ab; sie sprechen miteinander und lösen ihre Unstimmigkeiten, um zu einem endgültigen Urteil zu gelangen.

Hier sind die vier Detektive und worauf sie achten:

1. Der „Edit-Detektiv“ (Überwachtes Training): Dieser Detektiv ist darauf trainiert, zu messen, wie viel der Text verändert wurde. Er untersucht den Unterschied zwischen dem ursprünglichen Stil eines Menschen und der Endversion. Wenn der Text reiner menschlicher Text ist, ist die Änderung null. Wenn es reine KI ist, ist die Änderung riesig. Wenn es „verfeinert“ ist, liegt die Änderung irgendwo dazwischen. Dieser Detektiv gibt einen Wert auf einer Skala von 0 bis 1 an, der dem Team sagt, wie „editiert“ sich der Text anfühlt.
2. Der „Zero-Shot-Detektiv“ (EchoPrompt): Dieser Detektiv muss nicht auf die spezifischen Daten trainiert werden. Er nutzt einen klugen Trick: Er fragt den Text: „Klingt das so, als würde ein Roboter das sagen?“, indem er vergleicht, wie wahrscheinlich es ist, dass verschiedene KI-Modelle diesen Text generieren würden. Wenn der Text sehr stark nach dem natürlichen Output eines Roboters klingt, setzt dieser Detektiv ein Warnzeichen für „KI-generiert“.
3. Der „Wortzählüs-Detektiv“ (Lexikalische Statistik): Dieser Detektiv achtet auf die kleinen, langweiligen Details: wie oft bestimmte Wörter oder Buchstabenkombinationen vorkommen. Menschen und Roboter neigen dazu, unterschiedliche „Fingerabdrücke“ von Wörtern zu hinterlassen. Dieser Detektiv zählt diese Muster, um zu sehen, ob der Text eher zu menschlichen Gewohnheiten oder zu Maschinen-Gewohnheiten neigt.
4. Der „Regelbuch-Detektiv“ (Textregeln): Dies ist das Sicherheitsnetz. Er sucht nach offensichtlichen Hinweisen, die ein Mensch nicht machen würde, wie etwa übrig gebliebenen Computercode (HTML-Tags wie <div> oder <html>) oder unvollständige Sätze, die aussehen, als wäre ein Roboter mitten im Satz abgebrochen worden. Wenn er solche Dinge sieht, markiert er den Text sofort als KI.

Wie sie zusammenarbeiten: Das „Konfliktbewusste“ Treffen

Die Magie von EVIL-Detect liegt nicht nur darin, vier Detektive zu haben; es ist die Art und Weise, wie sie mit ihnen umgehen, wenn sie sich uneinig sind. Manchmal denkt der „Edit-Detektiv“, ein Text sei „verfeinert“, aber der „Wortzählüs-Detektiv“ denkt, er sei „KI“.

Anstatt nur ihre Stimmen zu mitteln (was wie eine Demokratie wäre, in der die Meinung der Minderheit ignoriert wird), nutzt das Team eine konfliktbewusste Fusionsstrategie (Conflict-Aware Fusion). Sie haben Regeln für die Beilegung von Argumenten:

• Wenn zwei Detektive übereinstimmen, folgen sie dieser Antwort.
• Wenn sie uneinig sind, schauen sie sich die spezifischen Hinweise an. Wenn zum Beispiel der „Edit-Detektiv“ zwischen „Mensch“ und „verfeinert“ unsicher ist, prüft das Team den „Zero-Shot-Detektiv“, um zu sehen, ob es starke Anzeichen für KI gibt.
• Schließlich hat der „Regelbuch-Detektiv“ das letzte Wort. Wenn der Text offensichtlichen Computercode enthält, überschreibt das System alles andere und bezeichnet ihn als KI.

Die Ergebnisse: Den Wettbewerb gewinnen

Als das Team sein System mit den offiziellen Wettbewerbsdaten testete, die schwierige, ungesehene Beispiele enthielten, die darauf ausgelegt waren, Detektoren zu überlisten, schnitt EVIL-Detect unglaublich gut ab.

• Auf dem ersten Testdatensatz (testp1) erreichte es einen Macro-F1 von 0,8913.
• Auf dem zweiten, schwierigeren Testdatensatz (testp2) erreichte es 0,8888.

Das System war besonders gut darin, reinen KI-Text zu erkennen (es erreichte 0,9219 in dieser Kategorie) und leistete eine solide Arbeit bei dem kniffligen „verfeinerten“ Text (mit 0,8407). Die Forscher fanden heraus, dass der „Edit-Detektiv“ das stärkste einzelne Mitglied des Teams war, aber das System erreichte nur deshalb den Spitzenplatz, weil die anderen Detektive halfen, die Fehler des Hauptdetektivs zu korrigieren.

Was sie lernten (und was sie ablehnten)

Das Paper testete auch einige andere Ideen, um zu sehen, ob sie funktionieren, und stellte fest, dass einige populäre Methoden in dieser speziellen Drei-Wege-Herausforderung tatsächlich scheiterten.

• Direktes Training scheiterte: Sie versuchten, ein einzelnes KI-Modell darauf zu trainieren, die drei Kategorien direkt zu „erraten“. Es war ein Desaster und erreichte nur 0,1690. Dies bewies, dass man nicht einfach nur Daten in ein Modell wirft und erwartet, dass es die Nuancen zwischen „M Mensch“, „KI“ und „verfeinert“ ohne Hilfe versteht.
• Alte Detektoren hatten Schwierigkeiten: Sie testeten auch eine Methode namens „Binoculars“, die gut für die einfache binäre Erkennung ist, aber hier nur 0,3928 erreichte. Sie konnte die Komplexität der drei Klassen nicht bewältigen.

Die Forscher legen nahe, dass das Geheimnis des Erfolgs nicht ein einzelnes „Super-Modell“ war, sondern ein Multi-Signal-Ensemble. Indem sie die „Edit-Stärke“ (wie viel geändert wurde), die „Wahrscheinlichkeit“ (klingt es wie ein Roboter?) und die „Wortmuster“ kombinierten, schufen sie ein System, das robust genug ist, um die chaotische Realität der heutigen Nutzung von KI zu bewältigen.

Kurz gesagt zeigt EVIL-Detect, dass man, um die Wahrheit in einer Welt von KI und Menschen zu finden, ein Team von Spezialisten braucht, die diskutieren, Kompromisse schließen und sich gegenseitig kontrollieren können, anstatt sich auf eine einzige Vermutung zu verlassen.