💬 NLP

LLMSniffer: Detecting LLM-Generated Code via GraphCodeBERT and Supervised Contrastive Learning

Die Arbeit stellt LLMSniffer vor, ein Framework zur Unterscheidung von KI-generiertem und menschlich geschriebenem Code, das durch Fine-Tuning von GraphCodeBERT mit überwachtem kontrastivem Lernen und Vorverarbeitung zu signifikant verbesserten Erkennungsraten auf Benchmark-Datensätzen führt.

Ursprüngliche Autoren: Mahir Labib Dihan, Abir Muhtasim

Veröffentlicht 2026-04-20

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mahir Labib Dihan, Abir Muhtasim

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du bist ein Lehrer, der die Hausaufgaben seiner Schüler korrigiert. Früher war das einfach: Du hast den Schreibstil, die Fehler und die Art, wie Sätze gebaut wurden, erkannt. Aber jetzt gibt es einen neuen, sehr cleveren „Schüler": eine Künstliche Intelligenz (KI), die Programmcode schreibt. Dieser KI-Schüler ist so gut, dass er Code schreibt, der fast genauso aussieht wie der von einem echten Menschen.

Das Problem: Wie kannst du unterscheiden, wer wirklich gearbeitet hat und wer die KI benutzt hat? Genau hier kommt LLMSniffer ins Spiel.

Hier ist die Erklärung der Forschung in einfachen Worten, mit ein paar bildhaften Vergleichen:

1. Das Problem: Der perfekte Fälscher

Früher konnten Computerprogramme leicht erkennen, ob ein Text von einer KI stammt. Aber bei Programmcode ist es schwieriger. Code hat eine strenge Struktur (wie ein Baukasten), und KIs sind darin sehr gut.
Bisherige Methoden waren wie ein Detektiv, der nur auf die Wortwahl achtet. Aber KIs können ihre Wortwahl anpassen. Wenn sie aber einen Kommentar schreiben (eine Erklärung im Code, wie „// Hier wird die Zahl addiert"), verraten sie sich oft durch ihren typischen, etwas zu perfekten oder erklärenden Stil.

2. Die Lösung: LLMSniffer – Der neue Detektiv

Die Forscher von der TU in Dhaka (Bangladesch) haben einen neuen Detektiv namens LLMSniffer gebaut. Er funktioniert in drei Schritten, die man sich wie einen dreistufigen Trainingsprozess vorstellen kann:

Schritt A: Den „Lärm" entfernen (Kommentar-Entfernung)

Stell dir vor, du musst erkennen, ob jemand ein Haus gebaut hat. Aber der Architekt hat überall Zettel mit Notizen hinterlassen („Ich habe hier ein Fenster gemacht, weil es schön ist").
Ein KI-Architekt schreibt oft sehr viele, sehr perfekte Notizen. Ein echter Mensch schreibt vielleicht nur kurz „Fenster".
LLMSniffer macht zuerst etwas Cleveres: Er reißt alle diese Notizzettel (die Kommentare im Code) weg. Er ignoriert das, was der Autor über den Code sagt, und schaut nur auf den Code selbst. So kann er nicht durch die Art der Erklärung getäuscht werden, sondern muss sich auf die eigentliche Struktur des Codes konzentrieren.

Schritt B: Der Bauplan-Scanner (GraphCodeBERT)

Normaler Code ist wie eine lange Liste von Wörtern. Aber Code ist eigentlich ein Netzwerk. Eine Variable (z. B. x) wird an einer Stelle berechnet und später an einer anderen benutzt.
LLMSniffer nutzt ein spezielles Gehirn namens GraphCodeBERT. Stell dir das vor wie einen Architekten, der nicht nur die Liste der Materialien liest, sondern sich den Bauplan (das Netzwerk) ansieht. Er versteht, wie die Teile des Codes miteinander verbunden sind. Das ist viel tieferes Verständnis als nur das Lesen von Wörtern.

Schritt C: Das Gruppenspiel (Supervised Contrastive Learning)

Das ist der wichtigste Trick. Stell dir vor, du hast einen großen Raum voller Menschen.

Die alten Methoden waren wie ein Lehrer, der einfach sagt: „Du bist links, du bist rechts." Das war oft ungenau.
LLMSniffer nutzt eine neue Methode: Er sagt zu den echten menschlichen Codes: „Kommt alle hierher und bildet eine enge, dichte Gruppe!" und zu den KI-Codes: „Ihr bildet eine ganz andere, enge Gruppe dort drüben!"
Er zwingt die KI-Codes, sich untereinander sehr ähnlich zu verhalten, und die menschlichen Codes ebenfalls. Aber er sorgt dafür, dass die beiden Gruppen weit voneinander entfernt sind.
Am Ende sieht es aus wie zwei getrennte Inseln im Ozean. Wenn ein neuer Code reinkommt, sieht man sofort, auf welche Insel er gehört.

3. Das Ergebnis: Besser als je zuvor

Die Forscher haben LLMSniffer an zwei großen Tests (den „Prüfungen") ausprobiert:

Test 1 (GPTSniffer): Hier hat die Genauigkeit von 70 % auf 78 % gesteigert. Das klingt nach wenig, aber in der Welt der KI ist das ein riesiger Sprung.
Test 2 (Whodunit): Hier war es noch beeindruckender: Von 91 % auf fast 95 %.

Ein wichtiger Punkt: Die alten Methoden waren oft sehr vorsichtig. Sie sagten oft „Das ist sicher ein Mensch", wenn sie unsicher waren, und verpassten dabei viele KI-Codes. LLMSniffer ist ausgewogener und trifft einfach mehr richtige Entscheidungen.

4. Warum ist das wichtig?

In der Schule: Lehrer können besser erkennen, ob Schüler wirklich selbst programmiert haben oder ob sie die KI benutzt haben, um die Aufgabe zu lösen.
In der Sicherheit: Wenn ein Hacker KI-Code nutzt, um ein Programm zu knacken, könnte man das vielleicht früher erkennen.
Für die Qualität: Es hilft zu verstehen, woher Code kommt, was wichtig für die Sicherheit von Software ist.

5. Was ist noch zu tun? (Die Grenzen)

Der Detektiv ist gut, aber nicht unfehlbar:

Er kann nur kurze Code-Schnipsel lesen (bis zu 512 Wörter). Bei riesigen Programmen muss er Teile abschneiden, was ihn verwirren kann.
Wenn die KIs in Zukunft noch besser werden und menschlicher schreiben, muss der Detektiv neu trainiert werden.
Wichtig: Die Forscher warnen: Man sollte LLMSniffer nicht als einzigen Richter verwenden. Ein „Falscher Alarm" könnte einem Schüler ungerechtfertigterweise eine schlechte Note geben. Es sollte immer ein Mensch das letzte Wort haben.

Zusammenfassung

LLMSniffer ist wie ein erfahrener Detektiv, der gelernt hat, die „Notizzettel" (Kommentare) zu ignorieren, den echten Bauplan (die Struktur) zu lesen und die KI-Codes in einer eigenen, gut getrennten Gruppe zu erkennen. Er ist aktuell der beste Detektiv auf dem Markt, um zu sagen: „Dieser Code wurde von einem Menschen geschrieben" oder „Dieser Code kommt von einer Maschine."

Die Forscher haben ihre Werkzeuge (den Code, die Modelle und eine Live-Demo) kostenlos ins Internet gestellt, damit andere sie nutzen und weiterentwickeln können.

1. Problemstellung

Mit der rasanten Verbreitung von Large Language Models (LLMs) wie GitHub Copilot, ChatGPT und Code Llama in der Softwareentwicklung stellt sich die dringende Herausforderung, KI-generierten Code von menschlich geschriebenem Code zu unterscheiden. Diese Unterscheidung ist kritisch für:

Akademische Integrität: Erkennung von Plagiaten in Programmierkursen.
Code-Qualitätssicherung: Sicherstellung, dass Code nicht unkontrolliert von KI stammt.
Software-Sicherheit: Identifizierung von Mustern, die auf KI-Generierung hinweisen könnten (z. B. bei Sicherheitsaudits).

Bestehende Lösungen (wie GPTZero oder DetectGPT) sind oft auf natürlichen Text ausgelegt und scheitern an den einzigartigen syntaktischen und strukturellen Eigenschaften von Programmiersprachen. Die Aufgabe wird als binäre Klassifikation definiert: Gegeben ein Code-Snippet $x$ , muss eine Funktion $f$ entscheiden, ob der Code menschlich (0) oder KI-generiert (1) ist.

2. Methodik: LLMSniffer

Das vorgestellte Framework LLMSniffer kombiniert drei Hauptkomponenten, um die Erkennungsgenauigkeit zu maximieren:

A. Vorverarbeitung: Entfernung von Kommentaren

Ein entscheidender Designentscheid ist das Entfernen von Code-Kommentaren vor der Kodierung.

Begründung: LLMs neigen dazu, sehr ausführliche, erklärende Kommentare zu generieren, die den Schreibstil der KI widerspiegeln, aber nicht die algorithmische Struktur.
Ziel: Durch das Entfernen dieser „stylistischen Metadaten" wird verhindert, dass das Modell oberflächliche Stilmuster lernt. Stattdessen muss es sich auf syntaktische und strukturelle Eigenschaften des Codes konzentrieren, was die Generalisierungsfähigkeit verbessert.

B. Modellarchitektur

Das System basiert auf GraphCodeBERT, einem vortrainierten Transformer-Modell, das nicht nur Token-Sequenzen, sondern auch Datenfluss-Graphen (Data-Flow Graphs) kodiert. Dies erfasst semantische Abhängigkeiten auf Variablenebene (z. B. wo eine Variable berechnet und wo sie verwendet wird).
Die Architektur besteht aus drei Teilen:

Encoder: GraphCodeBERT erzeugt eine feste Embedding-Repräsentation ( $h \in \mathbb{R}^{768}$ ) über das [CLS]-Token.
Projektionskopf (Training Stage 1): Ein zweischichtiger MLP (Multi-Layer Perceptron) mit ReLU-Aktivierung bildet $h$ auf einen niedrigerdimensionalen Raum ( $z \in \mathbb{R}^{128}$ ) ab. Dieser Kopf wird während der Inferenz verworfen.
Klassifikationskopf (Training Stage 2): Ein MLP mit Sigmoid-Aktivierung, der die Embeddings direkt in eine binäre Vorhersage (Mensch vs. KI) umwandelt. Dies ersetzt den einfacheren linearen Klassifikator, der in früheren Arbeiten verwendet wurde.

C. Zwei-Stufen-Trainingspipeline

Das Training erfolgt in zwei Phasen, die auf Supervised Contrastive Learning (SupCon) aufbauen:

Phase 1 (Contrastive Pre-training): Der Encoder und der Projektionskopf werden mit dem SupCon-Loss ( $L_{SupCon}$ ) feinabgestimmt. Das Ziel ist es, Embeddings desselben Labels (z. B. alle KI-Codes) im Vektorraum eng zusammenzubringen (Intra-Class Compactness) und Embeddings unterschiedlicher Labels weit voneinander zu trennen (Inter-Class Separation).
Phase 2 (Classification Fine-tuning): Der Projektionskopf wird entfernt, der Klassifikationskopf hinzugefügt, und das gesamte Modell wird mit einem binären Kreuzentropie-Loss (Binary Cross-Entropy) weiter trainiert. Die kontrastive Vorstufe dient als „Warm-up", um diskriminierende Repräsentationen zu erzeugen.

3. Wichtige Beiträge

State-of-the-Art Framework: Einführung von LLMSniffer, das GraphCodeBERT mit überwachtem kontrastivem Lernen und einer speziellen Vorverarbeitung (Comment Removal) kombiniert.
Architektonische Verbesserungen: Nachweis, dass ein MLP-Klassifikationskopf in Kombination mit kontrastivem Lernen und Kommentar-Entfernung einem linearen Klassifikator überlegen ist.
Reproduzierbarkeit: Öffentliche Bereitstellung von Modell-Checkpoints, Datensätzen (auf Hugging Face), Code und einer interaktiven Streamlit-Demo.

4. Ergebnisse

Das Modell wurde auf zwei Benchmark-Datensätzen evaluiert: GPTSniffer (ChatGPT-generierter Code, verschiedene Sprachen) und Whodunit (GPT-4-generierter Python-Code für CodeChef-Probleme).

GPTSniffer Benchmark:
- Die Genauigkeit stieg von 70 % (Baseline) auf 78 %.
- Der F1-Score verbesserte sich von 68 % auf 78 %.
- Wichtig: Eine Variante mit linearem Klassifikator (ohne Kommentar-Entfernung) zeigte keine Verbesserung gegenüber der Baseline. Der Fortschritt resultiert also aus der Kombination aller Komponenten.
Whodunit Benchmark:
- Die Genauigkeit stieg von 91 % auf 94,65 %.
- Der F1-Score verbesserte sich von 91 % auf 94,64 %.
- Die Verbesserungen waren über alle Metriken (Precision, Recall) konsistent.
Visualisierung (t-SNE):
- t-SNE-Projektionen zeigen, dass die Baseline-Modelle stark überlappende Cluster für menschlichen und KI-Code bilden.
- LLMSniffer erzeugt hingegen kompakte, klar getrennte Cluster, was die hohe Trennschärfe des Modells geometrisch bestätigt.

5. Bedeutung und Ausblick

LLMSniffer demonstriert, dass die reine Anwendung von vortrainierten Code-Modellen nicht ausreicht; die Kombination aus struktureller Kodierung (GraphCodeBERT), kontrastivem Lernen (zur besseren Clusterbildung) und domänenspezifischer Vorverarbeitung (Entfernung von Kommentaren) ist entscheidend für den Erfolg.

Zukünftige Arbeiten sollen folgende Aspekte adressieren:

Unterscheidung zwischen spezifischen LLM-Modellen (Multi-Class Attribution).
Robustheit gegen Adversarial Attacks (z. B. Verschleierung durch Obfuskation).
Integration von AST-Features zusätzlich zu Datenfluss-Graphen.
Erweiterung auf ressourcenarme Programmiersprachen.

Ethische Hinweise: Die Autoren warnen davor, LLMSniffer als alleinige Grundlage für akademische oder berufliche Entscheidungen zu nutzen, da False Positives (fälschliche Beschuldigungen) schwerwiegende Folgen haben können. Das Tool soll als Unterstützung für menschliche Überprüfung dienen.