UCSC-NLP at SemEval-2026 Task 13: Multi-View Generalization and Diagnostic Analysis of Machine-Generated Code Detection

1. Problemstellung

Das Papier adressiert die kritische Herausforderung, zwischen menschlich geschriebenem und KI-generiertem Code zu unterscheiden, eine Aufgabe, die für die Wahrung der akademischen Integrität, die Sicherstellung fairer Einstellungsverfahren und die Absicherung von Software-Lieferketten unerlässlich ist. Die Autoren nehmen an SemEval-2026 Task 13 teil, die zwei unterschiedliche Teilaufgaben mit einzigartigen Herausforderungen präsentiert:

• Teilaufgabe A (Binäre Erkennung): Unterscheidung von menschlichem Code von maschinell generiertem Code. Die primäre Herausforderung hierbei ist der Verteilungswechsel: Die Trainingsdaten beschränken sich auf Python, C++ und Java im algorithmischen Bereich, während der Testset ungesehene Sprachen (JavaScript, C#, Go usw.) und ungesehene Domänen (Forschung, Produktion) umfasst, einschließlich 33,4 % „gemischter Inhalte" (mixed-content) Snippets.
• Teilaufgabe B (Multi-Klassen-Zuordnung): Identifizierung der spezifischen Familie von Large Language Models (LLMs), die den Code generiert hat (Mensch vs. 10 verschiedene LLM-Familien). Die primäre Herausforderung ist das extreme Klassenungleichgewicht: Der Datensatz wird von menschlichem Code dominiert (88,4 %), was ein Verhältnis von 221:1 zwischen der Mehrheitsklasse und den kleinsten Minderheitsklassen ergibt. Dies führt zu einem „katastrophalen Versagen der Minderheitsklasse", bei dem Standardmodelle einfach die Mehrheitsklasse vorhersagen.

2. Methodik

Teilaufgabe A: Multi-View Generalization Framework

Um das Missverhältnis zwischen Sprache und Domäne zu adressieren, fine-tunen die Autoren UniXcoder-base unter Verwendung eines Multi-View-Trainingsframeworks, das darauf ausgelegt ist, generator-invariante Repräsentationen zu erlernen. Das System verarbeitet drei Ansichten des Eingabecodes:

1. Original-Ansicht: Standard-Tokenisierung.
2. Delexikalisierte Ansicht: Bezeichner, String-Literale und Zahlen werden durch generische Tokens (ID, STR, NUM) ersetzt, um sprachspezifische Oberflächenelemente zu entfernen.
3. Gemischte-Inhalte-Ansicht: Zufällige Textfragmente werden in Code-Snippets injiziert, um die im Testset vorkommende Verteilung gemischter Inhalte zu simulieren.

Schlüsseltechniken:

• 3-Domain-Strukturelle Präfixe: Snippets werden mit einem Präfix versehen, das ihren Typ angibt (clean, mixed oder fragment), um dem Modell zu helfen, Inhaltstypen auszurichten.
• Symmetrische KL-Konsistenz-Verlustfunktion: Das Modell wird trainiert, die symmetrische Kullback-Leibler-Divergenz zwischen den Vorhersagen der Original- und der delexikalisierten/gemischten Ansichten zu minimieren, wodurch Konsistenz über verschiedene Repräsentationen hinweg erzwungen wird.
• Token-Dropout: 15 % der nicht-spezialisierten Tokens werden während des Trainings zufällig maskiert, um eine Abhängigkeit von zufälligen sprachspezifischen Schlüsselwörtern zu verhindern.
• Inferenz-Strategie: Die endgültige Vorhersage ist ein Durchschnitt der Logits aller drei Ansichten und fungiert als ein Ensemble ohne zusätzliche Kosten.

Teilaufgabe B: Diagnostische Baseline und klassengewichtete Erweiterung

Die Autoren verwenden CodeBERT-base mit einem linearen Softmax-Klassifizierungskopf.

1. Diagnostische Baseline: Ein standardmäßig feinabgestimmtes Modell ohne Klassen-Umgewichtung. Dies dient als Kontrolle, um zu demonstrieren, dass Standard-Fine-Tuning unter extremem Ungleichgewicht versagt.
2. Klassengewichtetes System: Ein konkurrenzfähiges System, das eine inverse-Frequenz-Klassen-Gewichtung auf den Cross-Entropy-Verlust anwendet. Dies gewichtet Minderheits-LLM-Klassen proportional zu ihrer Unterrepräsentation hoch, um das Modell zu zwingen, diskriminierende Merkmale für seltene Generatoren zu erlernen.

3. Hauptbeiträge

1. Robustes Framework zur binären Erkennung: Ein neuartiger Multi-View-Ansatz, der durch die Erzwingung von Konsistenz zwischen delexikalisierten, gemischten und originalen Code-Ansichten eine starke Generalisierung über ungesehene Sprachen und Domänen hinweg erreicht.
2. Diagnostische Analyse des Ungleichgewichts: Ein rigoroser Nachweis, dass Standard-Fine-Tuning bei Multi-Klassen-Zuordnungsaufgaben mit extremem Klassenungleichgewicht katastrophal versagt. Die Autoren zeigen, dass eine hohe Genauigkeit (88,4 %) einen vollständigen Misserfolg bei der Erkennung von Minderheitsklassen verdecken kann (Macro F1 ~0,08).
3. Empirischer Nachweis von Embedding-Überlappungen: Eine Visualisierung via t-SNE zeigt, dass menschlicher und maschineller Code zwar im Embedding-Raum trennbar sind (Teilaufgabe A), verschiedene LLM-Familien jedoch signifikant miteinander und mit menschlichem Code überlappen (Teilaufgabe B), was die Schwierigkeit der feingranularen Zuordnung erklärt.

4. Ergebnisse

Teilaufgabe A (Binäre Erkennung)

• Validierung: Erzielte ein nahezu perfektes Macro F1 von 0,993.
• Testset: Erzielte ein Macro F1 von 0,845 auf dem Out-of-Distribution-Testset.
• Analyse: Die Lücke von 14,8 Punkten zwischen Validierungs- und Testwerten spiegelt die Schwierigkeit der sprachübergreifenden Generalisierung wider und nicht Overfitting. Das Modell zeigte eine ausgewogene Leistung zwischen den Klassen Mensch und Maschine ohne systematische Verzerrung.

Teilaufgabe B (Multi-Klassen-Zuordnung)

• Diagnostische Baseline: Erzielte 88,4 % Genauigkeit, aber ein katastrophales Macro F1 von 0,086. Das Modell sagte effektiv für fast alle Eingaben „Mensch" voraus und scheiterte daran, eine spezifische LLM-Familie zu identifizieren.
• Klassengewichtetes System: Durch die Anwendung der inverse-Frequenz-Gewichtung und Training über 3 Epochen erholte sich das System auf ein Macro F1 von 0,345 (eine relative Verbesserung von 301 %).
• Kompromiss: Diese Verbesserung ging zu Lasten der Gesamtgenauigkeit, die auf 78,7 % sank, was darauf hindeutet, dass das Modell erfolgreich von einer Mehrheitsklassen-Verzerrung zu einer echten Multi-Klassen-Diskriminierung wechselte.

5. Bedeutung und zukünftige Richtungen

• Praktische Auswirkungen: Die Arbeit hebt hervor, dass die binäre Erkennung von KI-Code zwar zunehmend robust wird, die feingranulare Zuordnung (Identifizierung, welche KI den Code geschrieben hat) jedoch aufgrund der architektonischen Homogenität unter LLMs und des Datenungleichgewichts eine offene Herausforderung bleibt.
• Methodische Einsicht: Das Papier beweist, dass Standardmetriken wie Genauigkeit bei unausgewogenen Code-Erkennungsaufgaben irreführend sind; Macro F1 ist die kritische Metrik.
• Zukünftige Arbeit: Die Autoren schlagen vor, dass zukünftige Verbesserungen bei der Zuordnung Folgendes erfordern könnten:
  • Kontrastives Lernen zur Maximierung der interklassischen Trennung.
  • Einbeziehung struktureller Merkmale (ASTs, Kontrollflussgraphen) anstatt sich ausschließlich auf Token-Ebenen-Signale zu verlassen.
  • Erweiterte Verlustfunktionen wie Focal Loss oder klassenausgewogenes Sampling.
  • Erforschung decoder-basierter oder Encoder-Decoder-Architekturen (z. B. CodeT5).

Das Papier schließt mit einer Ethik-Erklärung, die betont, dass aufgrund von False-Positive-Raten (Human Recall von 0,760) eine menschliche Überprüfung vor dem Treffen folgenreicher Entscheidungen bezüglich Urheberschaft oder Einstellungen unerlässlich bleibt.