💬 NLP

Fine-Tuning Pre-Trained Code Models for AI-Generated Code Detection

Het artikel presenteert het systeem van het "Archaeology"-team voor SemEval-2026 Taak 13, dat gebruikmaakt van fijngefineerde vooraf getrainde code-modellen en gespecialiseerde strategieën zoals leave-one-language-out cross-validatie en sandwich-token-packing om topprestaties te behalen bij het detecteren van door AI gegenereerde code en het attribueren van de bron.

Oorspronkelijke auteurs: Jany-Gabriel Ispas, Sergiu Nisioi

Gepubliceerd 2026-05-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jany-Gabriel Ispas, Sergiu Nisioi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een digitaal detectivebureau voor dat Archaeology heet. Hun werk is niet om oude aardewerk op te graven, maar om door stapels computercode te waden om twee grote vragen te beantwoorden:

Wie heeft dit geschreven? Was het een menselijke programmeur of een robot (AI)?
Welke robot heeft het geschreven? Als het een robot was, welk specifiek AI-model heeft het gemaakt?

Dit team nam deel aan een hoog-risico competitie genaamd SemEval-2026 Task 13 om hun vaardigheden te bewijzen. Hier is hoe ze het deden, eenvoudig uitgelegd.

De Uitdaging: Een Tweeledig Mysterie

De competitie bestond uit twee verschillende puzzels, waarbij elk een andere detective-strategie vereiste.

Puzzel A: De "Mens vs. Robot" Test (Binaire Classificatie)

Het Doel: Kijk naar een stuk code en zeg: "Mens" of "AI".
De Valstrik: Het team werd voornamelijk getraind op Python-code (91% van hun trainingsdata), maar de finale test bevatte talen die ze nooit eerder hadden gezien, zoals JavaScript, Go en C#. Het is alsof je een chef kookt alleen Italiaans voedsel leert, en vervolgens vraagt of een gerecht zelfgemaakt of fabrieksmatig is, terwijl het eigenlijk een Thaise curry is.
De aanwijzing: AI-code neigt langer en uniformer te zijn, terwijl menselijke code korter en chaotischer is. Deze regel keert echter om afhankelijk van de taal (bijvoorbeeld in C++ schrijven mensen eigenlijk langere code dan AI).

Puzzel B: De "Welke Robot?" Test (Multi-class Toewijzing)

Het Doel: Als de code door AI is gegenereerd, identificeer dan precies welk van de 11 verschillende AI-modellen het heeft geschreven.
De Valstrik: De data was wild onbalans. Eén categorie (door mensen geschreven code) maakte 88% van de data uit, terwijl sommige specifieke AI-modellen minder dan 2.000 voorbeelden hadden. Het is alsof je een naald in een hooiberg probeert te vinden, waarbij de hooiberg 99% hooi is en de naalden verschillende kleuren hebben, maar je hebt slechts één rode naald en een miljoen blauwe.
De aanwijzing: Verschillende AI-modellen hebben subtiele "handschrift"-stijlen, maar deze stijlen zijn moeilijk te ontdekken in lange, complexe code.

De Toolkit van de Detective

Het team gokte niet zomaar; ze gebruikten vier verschillende "super-oogjes" (voorgetrainde AI-modellen) en gaven ze speciale trainings technieken voor elke puzzel.

Voor Puzzel A (Mens vs. Robot)

De "Taalwissel" Oefening: Om voorbereid te zijn op de verrassingstalen in de test, trainden ze de modellen door één taal per keer te verbergen. Ze leerden het model patronen te herkennen zonder afhankelijk te zijn van specifieke taaltrucs (zoals hoe Python # gebruikt voor commentaar).
De "Schoonmaak en Masker" Workout: Ze verwijderden commentaar en vervangen cijfers door placeholders tijdens de training. Dit dwong de modellen om naar de logica van de code te kijken, niet alleen naar de oppervlakkige decoraties.
De "Chunking" Strategie: Aangezien de testcode vaak te lang was om in één keer te lezen, sneden ze het in overlappende stukken (zoals het lezen van een lang boek door een paar pagina's tegelijk te lezen). Vervolgens namen ze het gemiddelde van deze stukken, waarbij ze de meest extreme "ruisende" gissingen negeerden, om een definitieve beslissing te nemen.
De "Moeilijke Geval" Kalibratie: Ze creëerden een speciale "harde test" met voorbeelden waar een simpel computerprogramma op fout liep. Ze stelden hun beslissingsdrempel (de lijn tussen "Mens" en "AI") in op basis van deze lastige gevallen om ervoor te zorgen dat ze niet voor de testdata werden bedrogen.

Voor Puzzel B (Welke Robot?)

De "Sandwich" Techniek: Aangezien de code te lang was om in het geheugen van het model te passen, hakten ze niet zomaar het midden eraf. In plaats daarvan hielden ze het Hoofd (begin) en de Staart (einde) van de code vast en propten ze samen als een sandwich, met een speciaal marker in het midden. Dit behield de stijl aan het begin en einde, wat vaak is waar de "robot-handtekening" zich verbergt.
De "Fairness" Weegfactor: Omdat sommige AI-modellen zeldzaam waren in de data, vertelde het team het model: "Raad niet zomaar de meest voorkomende! Besteed extra aandacht aan de zeldzame." Ze passten het scoresysteem aan zodat het model leerde om de zeldzame robots te spotten, niet alleen de populaire.
De "Wijze van de Menigte" Stemming: Ze voerden dezelfde code meerdere keren door het model met lichte variaties en lieten de modellen stemmen over het antwoord. Dit verminderde fouten en verhoogde het vertrouwen.

De Resultaten

Het "Archaeology"-team deed het zeer goed:

Puzzel A: Ze behaalden een score van 0.737, wat hen 6e plaats gaf van de 81 teams. Hun beste tool was CodeBERT, die leek de "logica" van code beter te begrijpen dan de anderen.
Puzzel B: Ze behaalden een score van 0.422, wat hen 7e plaats gaf van de 34 teams. Hun beste tool hier was UniXcoder, die profiteerde van het bekijken van langere stukken code en het gebruik van de "stemming"-strategie.

De Grote Les

Het team ontdekte dat hoe een model is getraind belangrijker is dan hoe groot het is.

De kleinere modellen (125 miljoen parameters) die specifiek waren getraind om de logica van code te begrijpen, presteerden beter in het opsporen van AI.
Het gigantische model (220 miljoen parameters) won niet, wat suggereert dat voor deze specifieke taak een "specialist" zijn beter is dan een "generalist".

Kortom, het team bewees dat met de juiste trainings trucs—zoals het snijden van lange code, het negeren van oppervlakkige ruis en het stemmen over antwoorden—je een systeem kunt bouwen dat verrassend goed is in het opsporen van door AI gegenereerde code, zelfs wanneer het probeert zich te vermommen in nieuwe talen.

Technische Samenvatting: Archeologie bij SemEval-2026 Taak 13

Probleemstelling

Het artikel behandelt de uitdaging om door AI gegenereerde broncode te detecteren, een kritiek vraagstuk voor academische integriteit, de beveiliging van softwaretoeleveringsketens en de attributie van intellectueel eigendom. De auteurs namen deel aan SemEval-2026 Taak 13, die is onderverdeeld in drie subtaken; hun systeem, "Archeologie", richtte zich op de eerste twee:

Subtaak-A: Binaire classificatie om onderscheid te maken tussen door mensen geschreven en door AI gegenereerde code.
Subtaak-B: Multiclas attributie om de specifieke familie van Groot Taalmodel (LLM) te identificeren die een gegeven codefragment heeft gegenereerd, uit 11 klassen (waaronder door mensen geschreven code en 10 verschillende AI-modellen).

Beide subtaken gebruiken de macro-gemiddelde F1-score als primaire evaluatiemeta. De taken stellen verschillende uitdagingen: Subtaak-A vereist generalisatie naar buiten-domein (OOD) programmeertalen die niet tijdens het trainen zijn gezien, terwijl Subtaak-B uiterst onbalans in klassenverdeling moet hanteren (een verhouding van 225:1 tussen de grootste en kleinste klasse) en lange code sequenties.

Methodologie

Baseline

Het team stelde een baseline op met TF-IDF kenmerken (karakter n-grammen van bigrammen tot 5-grammen) gecombineerd met Logistische Regressie. Code werd afgekapt tot de eerste 10.000 karakters. Voor Subtaak-B werden gebalanceerde klassengewichten toegepast om labelonbalans te mitigeren. Deze baseline behaalde macro-F1-scores van 0,266 (Subtaak-A) en 0,255 (Subtaak-B), wat aantoont dat oppervlakkige lexicaal patronen alleen onvoldoende zijn.

Voorgetrainde Modellen

Het kernsysteem fine-tuneert vier voorgetrainde code-modellen:

CodeBERT: Encoder-only (RoBERTa-base, 125M parameters), voorgetraind met Masked Language Modeling (MLM) en Replaced Token Detection.
GraphCodeBERT: Encoder-only (RoBERTa-base), dat CodeBERT uitbreidt met data-flow grafiekstructuren.
UniXcoder: Encoder-only (RoBERTa-base), een unificerend model dat begrip en generatie ondersteunt via cross-modale doelen.
CodeT5+: Encoder-decoder (220M parameters), voorgetraind met denoising en causale taalkundige modellering op code en code-tekst paren.

Strategieën voor Subtaak-A (Binaire Classificatie)

Om de uitdaging van OOD-talen aan te pakken (trainen op Python, C++, Java; testen op aanvullende talen zoals JavaScript, Go, PHP), pasten de auteurs het volgende toe:

Leave-One-Language-Out (LOLO) Cross-Validatie: Modellen werden getraind op twee talen en gevalideerd op de derde om OOD-omstandigheden te simuleren. Trainingsdata werd gebalanceerd door een gelijk aantal voorbeelden per taal en label te selecteren.
Code Augmentatie: Stochastische augmentaties werden toegepast om de afhankelijkheid van taal-specifieke oppervlaktekenmerken te verminderen, waaronder het verwijderen van commentaar, het maskeren van literalen en het laten vallen van headers. Deterministische normalisatie verwijderde markdown-omlijningen en standaardiseerde witruimte.
Chunked Inference: Aangezien testcode langer is dan trainingscode, werden fragmenten die het contextvenster van het model overschreden opgesplitst in overlappende chunks. Kansen werden geaggregeerd met een trimmed-mean (verwijdering van min/max waarden) gecombineerd met een top-2 mean (gemiddelde van de twee hoogste kansen) om robuustheid tegen ruis te balanceren met gevoeligheid voor sterke signalen.
Drempelkalibratie: Er werd een tweestapskalibratie gebruikt. Eerst werd een optimale drempel gevonden op OOF-predicties. Ten tweede werd een "moeilijke dataset" van 1.000 verkeerd geclassificeerde voorbeelden (uit een Logistische Regressie cross-validatie) samengesteld om een tweede drempel af te leiden. De uiteindelijke beslissingsdrempel was een gelijk gewogen mengsel van deze twee, met aanvullende per-taal drempels waar taalherkenning mogelijk was.

Strategieën voor Subtaak-B (Multiclas Attributie)

Om extreme onbalans in klassen en lange sequenties aan te pakken:

Sandwich Token Packing: In plaats van lange code af te kappen, werd de inputsequentie opgebouwd met de eerste $h$ tokens (kop), een scheidingsteken, en de laatste $t$ tokens (staart). Tijdens het trainen werd het kop-fractie willekeurig bemonsterd om te fungeren als data-augmentatie; tijdens inferentie was dit vastgesteld op 0,60.
Klasse-Gebalanceerde Loss: Om de 225:1 onbalans te counteren, gebruikten de auteurs klasse-gebalanceerde loss-gewichten gebaseerd op het effectieve aantal monsters ( $\beta = 0,9995$ ), waardoor ondervertegenwoordigde klassen een hogere gewicht kregen zonder de extreme opwaardering van inverse-frequentie methoden.
Ensembling en Test-Time Augmentatie (TTA):
- UniXcoder: Getraind met 3 willekeurige zaden en uitgevoerd met 3 verschillende kop-fracties tijdens inferentie (9 forward passes in totaal).
- CodeBERT/GraphCodeBERT: Enkel zaad met 3 kop-fracties (3 passes).
- CodeT5+: Enkel zaad, vaste kop-fractie, 1 epoch training vanwege de modelgrootte.

Resultaten

Het systeem behaalde de volgende macro-F1-scores op de testset:

Subtaak-A: 0,737 (6e plaats van 81 teams) met CodeBERT.
Subtaak-B: 0,422 (7e plaats van 34 teams) met UniXcoder.

Belangrijkste Observaties:

Alle fine-tuned modellen presteerden significant beter dan de TF-IDF baseline.
Voor Subtaak-A presteerden encoder-only modellen gericht op codebegrip (CodeBERT, GraphCodeBERT) beter dan de encoder-decoder CodeT5+ en de generatie-gerichte UniXcoder.
Voor Subtaak-B presteerde UniXcoder beter dan de andere modellen, toegeschreven aan zijn grotere contextvenster (1.024 tokens versus 512), het ensemble met 3 zaden, en het gebruik van het <encoder-only> modus token.
Foutanalyse onthulde dat modellen meer worstelden met OOD-talen in Subtaak-A en met het onderscheiden van stijlvergelijkbare AI-generatoren in Subtaak-B (bijvoorbeeld, Klasse 1 had een F1 $\le$ 0,11 ondanks voldoende trainingsdata).

Betekenis en Bijdragen

Het artikel claimt drie primaire technische bijdragen:

Chunked Inference Pipeline: Een methode voor binaire codeclassificatie met behulp van trimmed-mean aggregatie om lange codefragmenten aan te pakken die de modelcontextlimieten overschrijden.
Drempelkalibratiestrategie: Een hybride aanpak die OOF-drempels combineert met drempels afgeleid van een "moeilijke dataset" van verkeerd geclassificeerde voorbeelden, verder verfijnd door per-taal kalibratie.
Sandwich Token Packing: Een strategie voor multiclas attributie die informatie behoudt uit het begin en einde van lange code sequenties, gecombineerd met test-time augmentatie en klasse-gebalanceerde loss.

De auteurs concluderen dat de keuze van het voortrainingsdoel kritischer is dan de modelgrootte voor deze taken. Modellen voorgetraind voor codebegrip (CodeBERT, GraphCodeBERT) excelleerden in binaire detectie, terwijl de geünificeerde UniXcoder, versterkt door langere contextvensters en ensembling, het beste presteerde op multiclas attributie. Het artikel merkt op dat CodeT5+, ondanks dat het het grootste model is (220M parameters), niet de hoogste scores behaalde, wat suggereert dat grootte alleen geen garantie biedt voor prestaties in dit domein.

Beperkingen

De auteurs erkennen verschillende beperkingen:

Het gebruik van relatief kleine voorgetrainde modellen (125M–220M parameters) en beperkte contextvensters (tot 1.024 tokens).
De afweging in chunked inference tussen dekking en signaaldilutie.
De afhankelijkheid van een "moeilijke dataset" voor drempelkalibratie, die niet altijd beschikbaar is in real-world implementaties.
Een gebrek aan uitgebreide ablatiestudies vanwege computergrenzen, waardoor de geïsoleerde bijdrage van specifieke componenten (bijvoorbeeld specifieke augmentaties of aggregatiemethoden) niet gekwantificeerd is.