FMI_SU_Yotkova_Kastreva at SemEval-2026 Task 13: Lightweight Detection of LLM-Generated Code via Stylometric Signals

Technischer Überblick: Leichte Erkennung von LLM-generiertem Code über stilometrische Signale

Problemstellung
Der Artikel adressiert die Herausforderung, maschinell generierten Code (LLM-generiert) von menschlich geschriebenem Code zu unterscheiden, speziell im Kontext von SemEval-2026 Task 13 Subtask A. Die Aufgabe erfordert eine binäre Klassifizierung, die sich auf nicht gesehene Programmiersprachen (z. B. Go, PHP, C#, C, JavaScript) und Anwendungsbereiche (Forschungs- und Produktionscode) verallgemeinern lässt. Die Autoren heben hervor, dass Large Language Models (LLMs) zwar die Softwareentwicklung transformiert haben, deren Einsatz jedoch Bedenken hinsichtlich der akademischen Integrität, technischer Einstellungen und der Softwaresicherheit (z. B. unsichere Logik oder versteckte Backdoors) aufwirft. Im Gegensatz zu natürlicher Sprache ist Quellcode durch strenge Syntax und Semantik eingeschränkt, was die stilistischen Unterschiede verschleiern kann, die typischerweise zur Erkennung maschinell generierter Texte genutzt werden. Darüber hinaus verschlechtern sich bestehende Ansätze, die auf großen vortrainierten Modellen basieren, oft unter Verteilungsverschiebungen, etwa beim Auftreten nicht gesehener Sprachen oder Domänen.

Methodik
Die Autoren schlagen eine leichte, interpretierbare Erkennungspipeline vor, die ratio-basierte stilometrische Merkmale und heuristische Regeln gegenüber hochkapazitiven neuronalen Repräsentationen priorisiert. Die Systemarchitektur besteht aus folgenden Komponenten:

1. Merkmalsextraktion und -engineering:

   • Ratio-basierte Deskriptoren: Der Kern des Ansatzes umfasst längen-normalisierte, ratio-basierte Merkmale, die weniger empfindlich gegenüber der Länge von Code-Snippets sind. Zu den Schlüsselmerkmalen gehören das Kommentar-Verhältnis (Kommentarzeilen zu Gesamtzeilen), das Verb-Kommentar-Verhältnis (Verb-Token zu Wort-Token in Kommentaren), das Text-ähnliche Verhältnis (Zeilen, die als natürliche Sprache klassifiziert wurden, zu Gesamtcodezeilen) und das Identifier-Verb-Verhältnis.
   • Syntaktische und strukturelle Merkmale: Mithilfe des inkrementellen Tree-Sitter-Parsers extrahiert das System Merkmale wie den Vollständigkeits-Score (syntaktische Vollständigkeit), Fehlerknoten nahe EOF (Parsing-Fehler nahe dem Dateiende), die zyklomatische Komplexität und Verhältnisse von Anweisungen zu LOC (Lines of Code).
   • Sprachidentifikation: Ein dedizierter Multinominaler Naiver-Bayes-Klassifikator, der auf dem Rosetta-Code-Datensatz mit TF-IDF-Merkmalen von Zeichen-n-Grammen trainiert wurde, identifiziert die Programmiersprache, um eine sprachspezifische Parsing zu ermöglichen.

2. Auxiliäre Klassifikatoren:

   • Code-vs-Text-Zeilen-Klassifikator: Um Proben zu handhaben, die rohe natürliche Sprache mit Code mischen, wird ein binärer Klassifikator auf einem benutzerdefinierten Datensatz trainiert, der Code-Snippets von Stack Overflow und Twitch-Chat-Daten kombiniert. Er verwendet einen TF-IDF-Vektorisierer mit Zeichen-n-Grammen, um Codezeilen von Textzeilen auf der Granularität einzelner Zeilen zu unterscheiden.

3. Klassifizierung und Entscheidungslogik:

   • Flache Klassifikatoren: Das System setzt auf logistische Regression und flache Entscheidungsbäume (Tiefe 2), die auf den extrahierten Merkmalen trainiert wurden.
   • Heuristische Regeln: Die endgültigen Vorhersagen integrieren Klassifikatorausgaben mit spezifischen Heuristiken, die aus Datenanalysen abgeleitet wurden:
     • Sprachmarker: Instanzen, bei denen der Name der Programmiersprache als eigenständige Zeile vor dem Code erscheint (ein häufiges LLM-Artefakt), werden markiert.
     • Schwellenwert für Text-ähnliches Verhältnis: Ein Schwellenwert von 0,3 wird auf das Text-ähnliche Verhältnis angewendet. Proben, die diesen Wert überschreiten, werden direkt als LLM-generiert klassifiziert, wobei Spezifität gegenüber Sensitivität priorisiert wird.
   • Bucketed Scaling: Um Längenvariationen Rechnung zu tragen, werden Code-Proben basierend auf der Zeilenzahl in kleine, mittlere und große Buckets partitioniert, wobei für jeden Bucket eine separate Merkmals-Skalierung und Entscheidungsschwellenwerte angewendet werden.

Hauptbeiträge
Der Artikel umreißt vier primäre Beiträge:

1. Analyse vortrainierter Encoder: Eine Untersuchung der Grenzen vortrainierter Code-Encoder (z. B. GraphCodeBERT, CodeT5+) unter Verteilungsverschiebungen, die ihre schlechte Verallgemeinerung auf nicht gesehene Sprachen im Vergleich zu merkmalsbasierten Methoden demonstriert.
2. Interpretierbare ratio-basierte Merkmale: Die Einführung spezifischer ratio-basierter Deskriptoren, die Deskriptivität und stilistisches „Leakage" (z. B. verbose Kommentare, erklärender Text) erfassen, die bei LLM-generiertem Code üblich sind.
3. Code-vs-Text-Datensatz: Die Erstellung eines Datensatzes für die zeilenweise Klassifizierung zwischen natürlicher Sprache und Quellcode, der die Erkennung von in Code-Proben eingebetteten Artefakten natürlicher Sprache ermöglicht.
4. Leichte Pipeline: Ein rechnerisch effizientes Erkennungssystem, das mit nur CPU-Ressourcen wettbewerbsfähige Leistung erzielt und nahezu sofortige Inferenz bietet, im Gegensatz zu den hohen Rechenkosten großer neuronaler Modelle.

Ergebnisse
Das System wurde auf dem offiziellen Testset von SemEval-2026 Task 13 evaluiert, das sieben Programmiersprachen und diverse Domänen umfasst.

• Vortrainierte Encoder: Modelle wie GraphCodeBERT und CodeT5+ erreichten hohe Validierungswerte (z. B. 98,21 % bzw. 97,46 % macro-F1), versagten jedoch bei der Verallgemeinerung auf das Testset und fielen auf 25,11 % bzw. 49,39 %. Die Autoren führen dies auf Overfitting auf sprachspezifische Hinweise (z. B. Python-Einrückung) zurück, die nicht auf andere Sprachen übertragbar sind.
• Merkmalsbasierter Ansatz: Das finale System, das einen Entscheidungsbaum (Tiefe 2) mit Heuristiken kombiniert, erreichte einen macro-F1-Score von 67,35.
  • Der Entscheidungsbaum allein erzielte 65,62.
  • Logistische Regression mit Schwellenwert-Optimierung erzielte 63,16.
  • Die Hinzunahme von Heuristiken brachte eine absolute Verbesserung von etwa 2 %.
• Auxiliäre Komponenten: Der Code-vs-Text-Klassifikator erreichte auf dem Validierungsset einen macro-F1 von 96,07 %, während der Sprachidentifikations-Klassifikator eine Genauigkeit von 95,10 % erreichte.
• Ranking: Der Ansatz platzierte sich in den Top 15 % aller Einreichungen auf der offiziellen Rangliste.

Bedeutung und Behauptungen
Die Autoren positionieren ihre Arbeit als robuste, interpretierbare Alternative zu komplexen neuronalen Modellen für die Erkennung der Code-Autorschaft. Sie behaupten, dass ihr Ansatz die Herausforderung der Verallgemeinerung über Sprachen und Domänen hinweg effektiv adressiert, ohne GPU-Ressourcen oder groß angelegtes Training zu erfordern. Durch den Fokus auf stilometrische Signale – insbesondere das Vorhandensein von verbose Kommentaren, erklärendem Text und strukturellen Artefakten wie eigenständigen Sprachmarkern – erfasst das System die „Deskriptivität", die oft in LLM-Ausgaben inhärent ist. Der Artikel betont, dass Deep-Learning-Modelle zwar starke semantische Repräsentationen bieten, jedoch unter Verteilungsverschiebungen leiden und mangelnde Interpretierbarkeit aufweisen. Im Gegensatz dazu bietet die vorgeschlagene leichte Pipeline eine praktische Lösung für Szenarien, in denen Recheneffizienz, Interpretierbarkeit und sprachübergreifende Robustheit kritisch sind, und erzielt nahezu sofortige Inferenzzeiten auf Standard-CPU-Hardware.