mcdok at SemEval-2026 Task 13: Finetuning LLMs for Detection of Machine-Generated Code
Het paper beschrijft hoe het mcdok-team SemEval-2026 Taak 13 heeft aangepakt door bestaande methoden voor het detecteren van gegenereerde tekst aan te passen met behulp van op code gespecialiseerde LLM's, wat resulteerde in concurrerende prestaties bij het detecteren van machine-gegenereerde code, hoewel er nog ruimte is voor verbetering ten opzichte van de top-systemen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
De Grote Opdracht: Is dit code van een mens of een robot?
Stel je voor dat je een enorme bibliotheek hebt vol met computerprogramma's (code). Vroeger was het makkelijk om te zien wie de schrijver was: ofwel een mens met een typemachine, ofwel een robot. Maar nu zijn de robots (grote AI-modellen) zo slim geworden dat ze code schrijven die bijna niet van menselijk werk te onderscheiden is.
De makers van dit paper, een team van onderzoekers uit Tsjechië en Slowakije, hebben meegedaan aan een wedstrijd (SemEval-2026) met als doel: een detector bouwen die kan zien of code door een mens of door een AI is geschreven.
Ze noemen hun systeem mcdok (een knipoog naar hun oude systeem mdok, dat tekst detecteerde, maar dan specifiek voor code).
De Drie Uitdagingen (De Subtaken)
De wedstrijd had drie verschillende niveaus van moeilijkheid, zoals drie verschillende spellen:
Spel A: De "Is het een robot?"-test
- De taak: Kijk naar een stukje code en zeg simpelweg: "Ja, dit is door een AI geschreven" of "Nee, dit is van een mens".
- De oplossing: Het team probeerde verschillende "hersenen" (AI-modellen) om deze taak te doen. Ze ontdekten iets verrassends: een heel algemeen model (Gemma-3) deed het beter dan de modellen die speciaal waren getraind op programmeren. Het was alsof een alleskunner beter kon raden of een schilderij van een meester of een imitator was, dan een kunstschilder zelf.
Spel B: De "Wie is de vader?"-test
- De taak: Dit was moeilijker. Als de code door een AI is geschreven, welke AI-familie heeft het gedaan? Er waren 10 verschillende AI-families (zoals OpenAI, Google, Mistral, etc.) plus de optie "mens". Dat zijn in totaal 11 opties.
- De oplossing: Hier gebruikten ze een model genaamd CodeGemma. Het was als een detective die probeert te raden welke van de 11 verdachten het werk heeft gedaan. Het was lastig, maar hun systeem deed het beter dan een willekeurige gok of een oudere standaardmethode.
Spel C: De "Vervalsing"-test
- De taak: Dit was het allerlastigste. De code kon nu vier dingen zijn:
- Menselijk.
- Volledig door AI geschreven.
- Hybride: Deels door een mens, deels door AI (bijvoorbeeld: de mens schreef het raamwerk, de AI vulde de details in).
- Adversariaal: AI die expres zo doet alsof het menselijk is om niet ontdekt te worden (een "vermomde" robot).
- De oplossing: Ze gebruikten een ander model (Qwen2.5-Coder). Het was alsof je moet onderscheiden tussen een echte handtekening, een vervalste handtekening, een gedeeltelijk ingevuld formulier en een handtekening die expres lelijk is gemaakt om niet op te vallen. Hun systeem deed het hier verrassend goed (5e plek van 32 deelnemers).
- De taak: Dit was het allerlastigste. De code kon nu vier dingen zijn:
Hoe hebben ze het gedaan? (De Werkwijze)
In plaats van een heel nieuw systeem te bouwen, hebben ze hun oude "gereedschapskist" (het mdok systeem) aangepast.
- De Basis: Ze hebben bestaande, krachtige AI-modellen gepakt en ze een beetje "bijgespijkerd" (dit heet finetuning). Ze hebben deze modellen niet vanaf nul geleerd, maar ze getraind met voorbeelden van de wedstrijd.
- De Truc: Ze hebben de modellen niet gewoon laten leren, maar ze ook getraind op "verwarrende" voorbeelden. Het is alsof je een hond traint om een konijn te vinden, maar je gooit ook een stukje spek in het gras om te zien of de hond niet afgeleid raakt.
- De Data: Ze hebben de trainingsdata zorgvuldig geselecteerd. Ze wilden niet dat het systeem alleen leerde van de makkelijkste voorbeelden. Ze zorgden voor een evenwicht tussen menselijke en AI-code, net zoals een leraar zorgt dat een toets niet alleen uit moeilijke of alleen uit makkelijke vragen bestaat.
Wat was het resultaat?
- Over het algemeen: Hun systeem (mcdok) deed het goed. Het was niet de allerbeste in elke categorie, maar het zat in de top 10 tot top 15 van alle deelnemers.
- De les: Het bleek dat je niet altijd het meest gespecialiseerde gereedschap nodig hebt. Soms werkt een algemeen slimme AI (zoals Gemma) beter voor het detecteren van AI-code dan een AI die alleen maar programmeren kent.
- Toekomst: Er is nog ruimte voor verbetering. Het team merkte op dat ze nog beter kunnen leren van de data door de voorbeelden nog zorgvuldiger te kiezen en de instellingen van hun "bijspijkerings"-proces nog fijner af te stemmen.
Samenvatting in één zin
Het team heeft bewezen dat je met slimme aanpassingen van bestaande AI-modellen een betrouwbare "politieagent" kunt bouwen die kan zien of computercode door een mens of een robot is geschreven, zelfs als de robot zich vermomt of samenwerkt met een mens.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.