Dream at SemEval-2026 Task 13: SALSA for Single-Pass Machine-Generated Code Detection

Technische Samenvatting: SALSA voor de detectie van machine-gegenereerde code in één enkele pass

Probleemdefinitie
Het artikel behandelt de kritieke uitdaging van het detecteren van door Large Language Models (LLM's) gegenereerde code, een taak die essentieel is voor het waarborgen van de integriteit van beoordelingen en softwarevertrouwen. Specifiek pakken de auteurs SemEval-2026 Taak 13 Subtaak A aan, die het probleem formuleert als een binaire classificatietaak (menselijke versus machine-gegenereerde code) over codefragmenten. De primaire moeilijkheid ligt in de Out-of-Distribution (OOD) generalisatie: het systeem moet robuust presteren op onbekende programmeertalen en applicatiedomeinen (bijv. van algoritmische trainingsdata naar onderzoek/productie evaluatiescenario's). Traditionele benaderingen die vertrouwen op handmatig ontworkte kenmerken of beslisregels missen vaak de noodzakelijke domeindekking en robuustheid.

Methodologie: SALSA
De auteurs stellen SALSA voor (Single-pass Autoregressive LLM Structured Assessment), een formulering die classificatie herformuleert als een beperkte token-generatietaak in plaats van een standaard sequentie-naar-sequentie of kenmerkgebaseerd probleem.

1. Gestructureerde Prompting & Token Mapping:

   • In plaats van het model uitgebreide verklaringen of inconsistente formaten te laten genereren, koppelt SALSA elke klasse aan een enkele, toegewezen output-token (bijv. "0" voor menselijk, "1" voor machine).
   • De prompt is gestructureerd met duidelijke delimiters en een directe instructie (bijv. "is de code machine-gegenereerd?"), waarbij wordt gevraagd om het antwoord in een specifiek formaat: <ANSWER>#</ANSWER>.
   • Om chain-of-thought redenering te voorkomen, wat latentie en variatie in het formaat introduceert, maken de auteurs gebruik van de /no_think flag en een leeg <thought> blok (specifiek voor Qwen3-modellen) om een single-token output te forceren.

2. Trainingsstrategie voor OOD-robuustheid:

   • Doelstelling: Het model wordt getraind met een causale taalmodellering-doelstelling, maar de loss wordt exclusief geëvalueerd op de positie van de label-token. Dit focust de gradiënt-updates op de next-token distributie voor de doelklassen.
   • Parameter-Efficient Fine-Tuning (PEFT): De auteurs gebruiken LoRA (Low-Rank Adaptation) om de risico's op overfitting te verminderen en de training te versnellen.
   • Conservatief Trainingsregime: Om te voorkomen dat het model te veel specialiseert op het trainingsdomein (wat de OOD-prestaties verslechtert), hanteren de auteurs een conservatieve aanpak:
     • Enkele Epoch: De training wordt beperkt tot één epoch.
     • Lage Leersnelheid: Er wordt een snelheid van $5 \times 10^{-6}$ gebruikt.
     • Gebalanceerde Sampling: Gezien de zware scheefheid van de trainingsdataset richting Python (91,5%), implementeren de auteurs gebalanceerde sampling over (taal, label) groepen. Dit voorkomt dat het model Python-specifieke patronen leert ten koste van algemene taalaanpassing.

3. Inference:

   • Inference bestaat uit een enkele forward pass. Het systeem extraheert alleen de logits voor de doelklasse-tokens ("0" en "1") en past een softmax toe om het voorspelde label te bepalen, waardoor de decoding-overhead wordt geminimaliseerd.

Belangrijkste Bijdragen

• Formulering: De introductie van SALSA, die classificatie omzet in een betrouwbare, single-token voorspellingsopgave, wat de broosheid van open-ended LLM-generatie elimineert.
• OOD Optimalisatie: Een demonstratie dat conservatieve fine-tuning (lage leersnelheid, enkele epoch, gebalanceerde sampling) de algemene capaciteiten van het basismodel behoudt, wat aanzienlijk beter presteert dan agressieve trainingsstrategieën in OOD-omgevingen.
• Prestaties: Het systeem bereikt een substantiële verbetering ten opzichte van de officiële baseline, waarmee het gat in multi-language en cross-domain code detectie wordt gedicht.

Resultaten
De auteurs hebben hun systeem geëvalueerd op de SemEval-2026 Taak 13 leaderboard:

• Baseline Vergelijking: De officiële CodeBERT baseline behaalde een OOD F1-score van 0,305.
• SALSA Prestaties: Het beste systeem, gebruikmakend van Qwen2.5-72B-Instruct gefinetuned met SALSA, behaalde een OOD F1-score van 0,789.
• Zero-Shot vs. Fine-Tuned: De zero-shot prestaties varieerden sterk per modelgrootte en architectuur, waarbij sommige modellen een sterke bias vertoonden naar het voorspellen van "menselijke" code (hoge precisie, zeer lage recall). Fine-tuning met de voorgestelde conservatieve strategie loste deze biases op, waarbij bijna perfecte validatie F1-scores (0,996) werden behaald terwijl de sterke OOD-generalisatie behouden bleef.
• Model Schaling: De prestaties schaalden over het algemeen met de modelgrootte, waarbij het 72B-parameter model de 32B en 8B varianten overtrof.

Betekenis
Het artikel beweert dat SALSA een robuuste, efficiënte en schaalbare oplossing biedt voor de detectie van machine-gegenereerde code. Door de beslissing over auteurschap aan het model te delegeren via gestructureerde prompting en het fine-tuning proces zorgvuldig te beheren om overfitting te voorkomen, slaagt de aanpak erin te generaliseren naar onbekende talen en domeinen. De resultaten suggereren dat het behouden van de algemene kenmerken van het basismodel door middel van conservatieve training effectiever is voor OOD-taken dan het maximaliseren van in-domain nauwkeurigheid. De auteurs merken op dat hun code publiekelijk beschikbaar is, wat verder onderzoek op dit gebied faciliteert.