FMI_SU_Yotkova_Kastreva at SemEval-2026 Task 13: Lightweight Detection of LLM-Generated Code via Stylometric Signals

Technische Samenvatting: Lichtgewicht Detectie van door LLM gegenereerde Code via Stylometrische Signalen

Probleemstelling
Het artikel adresseert de uitdaging van het detecteren van door machines gegenereerde code (door LLM gegenereerde code) versus door mensen geschreven code, specifiek binnen de context van SemEval-2026 Taak 13 Subtaak A. De taak vereist een binaire classificatie die generaliseert over onbekende programmeertalen (bijvoorbeeld Go, PHP, C#, C, JavaScript) en toepassingsdomeinen (onderzoekscode en productcode). De auteurs benadrukken dat hoewel grote taalmodellen (LLM's) de softwareontwikkeling hebben getransformeerd, hun gebruik zorgen oproept met betrekking tot onderwijsintegriteit, technische werving en softwarebeveiliging (bijvoorbeeld onveilige logica of verborgen backdoors). In tegenstelling tot natuurlijke taal is broncode beperkt door strikte syntaxis en semantiek, wat de stilistische verschillen kan verdoezelen die doorgaans worden gebruikt voor detectie van door machines gegenereerde tekst. Bovendien degradeert bestaande benaderingen die vertrouwen op grote vooraf getrainde modellen vaak onder distributieveranderingen, zoals wanneer ze onbekende talen of domeinen tegenkomen.

Methodologie
De auteurs stellen een lichtgewicht, interpreteerbaar detectieproces voor dat ratio-gebaseerde stylometrische kenmerken en heuristische regels prioriteert boven hoogcapaciteit neurale representaties. De systeemarchitectuur bestaat uit de volgende componenten:

1. Kenmerkextractie en -ontwikkeling:

   • Ratio-gebaseerde Descriptoren: De kern van de aanpak omvat lengte-genormaliseerde, ratio-gebaseerde kenmerken die ontworpen zijn om minder gevoelig te zijn voor de lengte van codefragmenten. Belangrijke kenmerken zijn de Commentaarratio (aantal commentaarrijen tot totaal aantal rijen), Werkwoord-Commentaarratio (werkwoordtokens tot woordtokens in commentaar), Tekst-achtige Ratio (rijen die zijn geclassificeerd als natuurlijke taal tot totaal aantal code-rijen) en Identificator-Werkwoordratio.
   • Syntactische en Structurele Kenmerken: Met behulp van de Tree-Sitter incrementele parser extrahert het systeem kenmerken zoals Volledigheidsscore (syntactische volledigheid), Foutknooppunten Nabij EOF (parsingsfouten nabij het einde van het bestand), Cyclomatische Complexiteit en Verhouding Stellingen-tot-LOC.
   • Taalidentificatie: Een dedicated Multinomiale Naïve Bayes-classificator, getraind op het Rosetta Code-dataset met behulp van TF-IDF-kenmerken op basis van teken-n-grammen, identificeert de programmeertaal om taal-specifiek parsen mogelijk te maken.

2. Auxiliaire Classificatoren:

   • Code-Tegen-Tekst Rij-classificator: Om monsters te behandelen die ruwe natuurlijke taal gemengd met code bevatten, wordt een binaire classificator getraind op een aangepast dataset dat Stack Overflow-codefragmenten en Twitch-chatdata combineert. Deze maakt gebruik van een TF-IDF-vectorizer met teken-n-grammen om code-rijen te onderscheiden van tekstrijen op het niveau van individuele rijen.

3. Classificatie en Beslissingslogica:

   • Ondiepe Classificatoren: Het systeem maakt gebruik van logistische regressie en ondiepe beslissingsbomen (diepte 2) die getraind zijn op de geëxtraheerde kenmerken.
   • Heuristische Regels: De uiteindelijke voorspellingen integreren classificator-outputs met specifieke heuristieken afgeleid van data-analyse:
     • Taalmarkeringen: Instanties waarin de naam van de programmeertaal als een losstaande rij voorafgaand aan de code verschijnt (een veelvoorkomend LLM-artefact) worden gemarkeerd.
     • Drempel voor Tekst-achtige Ratio: Een drempel van 0,3 wordt toegepast op de Tekst-achtige Ratio. Monsters die deze overschrijden, worden direct geclassificeerd als door LLM gegenereerd, waarbij specificiteit wordt geprioriteerd boven sensitiviteit.
   • Gebakken Schaling: Om variaties in lengte te compenseren, worden code-monsters opgedeeld in kleine, middelgrote en grote bakken op basis van het aantal rijen, met aparte kenmerkschaling en beslissingsdrempels die op elk worden toegepast.

Belangrijkste Bijdragen
Het artikel schetst vier primaire bijdragen:

1. Analyse van Vooraf Getrainde Encoders: Een onderzoek naar de beperkingen van vooraf getrainde code-encoders (bijvoorbeeld GraphCodeBERT, CodeT5+) onder distributieverandering, waarbij wordt aangetoond dat hun generalisatie naar onbekende talen slecht is in vergelijking met op kenmerken gebaseerde methoden.
2. Interpreteerbare Ratio-gebaseerde Kenmerken: De introductie van specifieke ratio-gebaseerde descriptoren die beschrijvendheid en stilistische lekkage vastleggen (bijvoorbeeld uitgebreide commentaren, verklarende tekst) die veel voorkomen in door LLM gegenereerde code.
3. Code-Tegen-Tekst Dataset: De constructie van een dataset voor classificatie op rij-niveau tussen natuurlijke taal en broncode, waardoor detectie mogelijk wordt van in code-monsters ingebedde artefacten van natuurlijke taal.
4. Lichtgewicht Proces: Een computatie-efficiënt detectiesysteem dat concurrerende prestaties bereikt met alleen CPU-bronnen en bijna-instantie inferentie biedt, in contrast met de hoge computatiekosten van grote neurale modellen.

Resultaten
Het systeem werd geëvalueerd op de officiële testset van SemEval-2026 Taak 13, die zeven programmeertalen en diverse domeinen omvat.

• Vooraf Getrainde Encoders: Modellen zoals GraphCodeBERT en CodeT5+ behaalden hoge validatiescores (bijvoorbeeld 98,21% en 97,46% macro-F1) maar faalden in generalisatie naar de testset, met een daling naar respectievelijk 25,11% en 49,39%. De auteurs schrijven dit toe aan overfitting op taal-specifieke aanwijzingen (bijvoorbeeld Python-inspringing) die niet overdraagbaar zijn naar andere talen.
• Op Kenmerken Gebaseerde Aanpak: Het uiteindelijke systeem, dat een beslissingsboom (diepte 2) combineert met heuristieken, behaalde een macro-F1-score van 67,35.
  • De beslissingsboom alleen scoorde 65,62.
  • Logistische regressie met drempelafstelling scoorde 63,16.
  • De toevoeging van heuristieken leverde een absolute verbetering van ongeveer 2% op.
• Auxiliaire Componenten: De code-tegen-tekst classificator behaalde 96,07% macro-F1 op de validatieset, terwijl de taalidentificatie-classificator een nauwkeurigheid van 95,10% bereikte.
• Ranking: De aanpak behaalde een ranking binnen de top 15% van alle inzendingen op de officiële leaderboard.

Betekenis en Claims
De auteurs positioneren hun werk als een robuust, interpreteerbaar alternatief voor complexe neurale modellen voor detectie van code-auteurship. Zij claimen dat hun aanpak de uitdaging van generalisatie over talen en domeinen effectief aanpakt zonder GPU-bronnen of grootschalige training te vereisen. Door zich te focussen op stylometrische signalen—specifiek de aanwezigheid van uitgebreide commentaren, verklarende tekst en structurele artefacten zoals losstaande taalmarkeringen—vangt het systeem de "beschrijvendheid" in die vaak inherent is aan LLM-outputs. Het artikel benadrukt dat hoewel deep learning-modellen sterke semantische representaties bieden, ze lijden onder distributieveranderingen en gebrek aan interpreteerbaarheid hebben. Daarentegen biedt het voorgestelde lichtgewicht proces een praktische oplossing voor scenario's waar computatie-efficiëntie, interpreteerbaarheid en cross-linguale robuustheid kritiek zijn, met bijna-instantie inferentietijden op standaard CPU-hardware.