UCSC-NLP at SemEval-2026 Task 13: Multi-View Generalization and Diagnostic Analysis of Machine-Generated Code Detection

1. Probleemstelling

Het artikel adresseert de kritieke uitdaging om onderscheid te maken tussen menselijk geschreven en door AI gegenereerde code, een taak die essentieel is voor het handhaven van academische integriteit, het waarborgen van eerlijkheid bij werving en het beveiligen van softwaretoeleveringsketens. De auteurs nemen deel aan SemEval-2026 Taak 13, die twee verschillende subtaken presenteert met unieke uitdagingen:

• Subtaak A (Binaire Detectie): Het onderscheiden van menselijke code van machine-gegenereerde code. De primaire uitdaging hier is distributieverandering: de trainingsdata is beperkt tot Python, C++ en Java binnen een algoritmisch domein, terwijl de testset onbekende talen (JavaScript, C#, Go, etc.) en onbekende domeinen (Onderzoek, Productie) omvat, inclusief 33,4% "gemengde-inhoud" snippets.
• Subtaak B (Multi-class Toewijzing): Het identificeren van de specifieke familie van Large Language Models (LLM's) die de code heeft gegenereerd (Mens versus 10 verschillende LLM-families). De primaire uitdaging is extreme class-imbalance: de dataset wordt gedomineerd door menselijke code (88,4%), wat een verhouding van 221:1 creëert tussen de meerderheidsklasse en de kleinste minderheidsklassen. Dit leidt tot "catastrofaal falen van de minderheidsklasse", waarbij standaardmodellen simpelweg de meerderheidsklasse voorspellen.

2. Methodologie

Subtaak A: Multi-View Generalisatiekader

Om de taal- en domeinmismatch aan te pakken, fine-tunen de auteurs UniXcoder-base met behulp van een multi-view trainingskader dat is ontworpen om generator-invariante representaties te leren. Het systeem verwerkt drie weergaven van de invoercode:

1. Originele Weergave: Standaard tokenisatie.
2. Delexicale Weergave: Identifiers, string-tekst en nummers worden vervangen door generieke tokens (ID, STR, NUM) om taal-specifieke oppervlaktekoppelingen te verwijderen.
3. Gemengde-Inhoud Weergave: Willekeurige tekstfragmenten worden in code-snippets ingebracht om de gemengde-inhoudsdistributie te simuleren die in de testset wordt aangetroffen.

Belangrijke Technieken:

• 3-Domein Structurele Prefixen: Snippets worden voorafgegaan door een prefix die hun type aangeeft (schoon, gemengd of fragment) om het model te helpen inhoudstypen af te stemmen.
• Symmetrische KL Consistentieverlies: Het model wordt getraind om de symmetrische Kullback-Leibler-divergentie tussen de voorspellingen van de originele en de delexicale/gemengde weergaven te minimaliseren, waardoor consistentie over verschillende representaties wordt afgedwongen.
• Token Dropout: 15% van de niet-special tokens wordt tijdens het trainen willekeurig gemaskeerd om afhankelijkheid van schijnbare taal-specifieke sleutelwoorden te voorkomen.
• Inferentiestrategie: De uiteindelijke voorspelling is een gemiddelde van de logits van alle drie de weergaven, wat fungeert als een zero-cost ensemble.

Subtaak B: Diagnostische Baseline en Class-Weighted Uitbreiding

De auteurs gebruiken CodeBERT-base met een lineaire softmax-classificatiekop.

1. Diagnostische Baseline: Een standaard gefinetuned model zonder class-reweighting. Dit dient als controle om aan te tonen dat standaard finetuning faalt onder extreme imbalance.
2. Class-Weighted Systeem: Een concurrerend systeem dat inverse-frequentie class-weighting toepast op het cross-entropy verlies. Dit verhoogt de gewichten van minderheids-LLM-klassen evenredig met hun ondervertegenwoordiging om het model te dwingen discriminatieve kenmerken te leren voor zeldzame generators.

3. Belangrijkste Bijdragen

1. Robuust Binaire Detectiekader: Een nieuwe multi-view trainingsaanpak die sterke generalisatie over onbekende talen en domeinen bereikt door consistentie tussen delexicale, gemengde en originele code-weergaven af te dwingen.
2. Diagnostische Analyse van Imbalance: Een rigoureuze demonstratie dat standaard finetuning catastrofaal faalt in multi-class toewijzingstaken met extreme class-imbalance. De auteurs tonen aan dat hoge nauwkeurigheid (88,4%) een volledig falen in het detecteren van minderheidsklassen kan maskeren (Macro F1 ~0,08).
3. Empirisch Bewijs van Embedding Overlap: Visualisatie via t-SNE onthult dat hoewel menselijke en machine-code in de embedding-ruimte scheidbaar zijn (Subtaak A), verschillende LLM-families aanzienlijk met elkaar en met menselijke code overlappen (Subtaak B), wat de moeilijkheid van fijnkorrelige toewijzing verklaart.

4. Resultaten

Subtaak A (Binaire Detectie)

• Validatie: Bereikte een bijna perfecte 0,993 Macro F1.
• Testset: Bereikte 0,845 Macro F1 op de out-of-distribution testset.
• Analyse: De 14,8-puntengap tussen validatie- en testscores weerspiegelt de moeilijkheid van cross-linguale generalisatie in plaats van overfitting. Het model toonde een gebalanceerde prestatie tussen Menselijke en Machine-klassen, zonder systematische bias.

Subtaak B (Multi-class Toewijzing)

• Diagnostische Baseline: Bereikte 88,4% Nauwkeurigheid maar een catastrofale 0,086 Macro F1. Het model voorspelde effectief "Mens" voor bijna alle invoer, en faalde om een specifieke LLM-familie te identificeren.
• Class-Weighted Systeem: Door inverse-frequentie weighting toe te passen en 3 epochs te trainen, herstelde het systeem de Macro F1 naar 0,345 (een 301% relatieve verbetering).
• Trade-off: Deze verbetering kwam ten koste van de algehele nauwkeurigheid die daalde naar 78,7%, wat aangeeft dat het model succesvol verschuift van een meerderheidsklasse-bias naar echte multi-class discriminatie.

5. Betekenis en Toekomstige Richtingen

• Praktische Impact: Het werk benadrukt dat hoewel binaire detectie van AI-code robuuster wordt, fijnkorrelige toewijzing (het identificeren van welke AI de code heeft geschreven) een open uitdaging blijft vanwege architecturale homogeniteit onder LLM's en data-imbalance.
• Methodologisch Inzicht: Het artikel bewijst dat standaardmetrieken zoals nauwkeurigheid misleidend zijn bij onbalans in code-detectietaken; Macro F1 is de kritieke metriek.
• Toekomstig Werk: De auteurs suggereren dat toekomstige verbeteringen in toewijzing mogelijk vereisen:
  • Contrastief leren om inter-class scheiding te maximaliseren.
  • Het integreren van structurele kenmerken (AST's, control flow graphs) in plaats van uitsluitend te vertrouwen op token-level signalen.
  • Geavanceerde verliesfuncties zoals Focal Loss of class-balanced sampling.
  • Het verkennen van decoder-gebaseerde of encoder-decoder architecturen (bijv. CodeT5).

Het artikel sluit af met een ethische verklaring die benadrukt dat, vanwege de false positive rates (Human Recall van 0,760), menselijke beoordeling essentieel blijft voordat er ingrijpende beslissingen worden genomen met betrekking tot auteurschap of werving.