Leveraging Large Language Models to Obscure Code Stylometry: A Comparative Study of GPT-3.5 and GPT-4

Technische Samenvatting: Het inzetten van Large Language Models om Code-stylometrie te Obscureren

Probleemstelling
Code-stylometrie omvat het analyseren van unieke stilistische handtekeningen in broncode om auteurschap toe te schrijven, een techniek die cruciaal is voor cybersecurity en het traceren van de oorsprong van kwaadaardige software. Traditionele stylometrische methoden vertrouwen op lexicale, lay-out en syntactische kenmerken (vaak afgeleid van Abstract Syntax Trees) om programmeurs te identificeren. Echter, de opkomst van Large Language Models (LLM's) zoals GPT-3.5 en GPT-4 introduceert een aanzienlijke uitdaging: deze modellen kunnen code genereren of transformeren terwijl de functionaliteit behouden blijft, maar de stilistische vingerafdrukken veranderen. Deze capaciteit stelt kwaadwillende actoren potentieel in staat om detectie van auteurschap te omzeilen, wat cybersecurity-inspanningen bemoeilijkt. Deze studie onderzoekt in welke mate LLM's er succesvol in kunnen slagen om code-stylometrie te obscureren om detectie door een machine learning-classifier te vermijden, terwijl de functionaliteit van de code behouden blijft.

Methodologie
Het onderzoek maakte gebruik van een gestructureerd experimenteel ontwerp bestaande uit vier primaire fasen: datasetvoorbereiding, extractie van kenmerken, training van het evaluator-model en prompt engineering.

1. Dataset: De studie maakte gebruik van de Methods2Test-dataset, een grote corpus van Java-codesnippets gekoppeld aan unit tests. Voor de experimenten werd een subset van de testset (78.388 paren) geselecteerd. De data werd van JSON naar CSV geconverteerd, schoongemaakt van ontbrekende waarden en samengesteld om zowel de focusklasse als de testklasse-code in enkele kolommen te bevatten.
2. Extractie van Kenmerken: Een Python-gebaseerde tool extraheerde 109 stylometrische kenmerken, gecategoriseerd in drie groepen:
   • Lexicaal: Tellingen van trefwoorden, token-tellingen, letterlijke waarden en statistieken van regellengte.
   • Lay-out: Indentatiepatronen (tabs versus spaties), lege regels en witruimteverhoudingen.
   • Syntactisch: Kenmerken afgeleid van de Abstract Syntax Tree (AST), inclusioneel de maximale knoopdiepte en specifieke voorkomens van Java-trefwoorden.
3. Evaluator-model: Een Random Forest-classifier werd getraind om de repository-ID (auteurschap) te voorspellen op basis van de geëxtraheerde kenmerken. Het model bereikte een hoge baseline-nauwkeurigheid van 95,18% op de holdout testset, met cross-validatie scores die gemiddeld 0,95 waren, wat een robuuste baseline vestigt voor het detecteren van stilistische handtekeningen.
4. Prompt Engineering & LLM-interactie: De studie testte GPT-3.5 en GPT-4 met vier verschillende prompt-strategieën, elk geïmplementeerd via twee methoden: Single-Shot (directe instructie) en Multi-Shot (stapsgewijze conversationele begeleiding).
   • Strategie 1 (Alleen stijl veranderen): Algemene instructie om de stijl te wijzigen zonder specifieke doelen.
   • Strategie 2 (Specifieke Stijlimitatie): Het instrueren van het model om een specifieke programmeur of regionale conventie na te bootsen.
   • Strategie 3 (Stijl met een voorbeeld): Het verstrekken van een voorbeeld code-snippet voor het model om te emuleren.
   • Strategie 4 (Cross-Language Transformatie): Het vertalen van Java naar C++ en terug naar Java om stilistische verschuivingen te forceren.
5. Evaluatie: De door de LLM gegenereerde code werd geëvalueerd op twee metrieken:
   • Evasie-succes: Of de Random Forest-classifier faalde om de oorspronkelijke repository-ID correct te identificeren (een "0" in de resultatentabel).
   • Behoud van Functionaliteit: Of de gewijzigde code succesvol compileerde en alle oorspronkelijke unit tests doorstond.

Belangrijkste Resultaten
De experimenten leverden gemengde resultaten op met betrekking tot het vermogen van LLM's om detectie te vermijden terwijl de functionaliteit behouden blijft.

• Modelprestaties: GPT-4 presteerde over het algemeen beter dan GPT-3.5, met een gemiddeld evasie-succespercentage van 29% vergeleken met 24% voor GPT-3.5. GPT-4 toonde bijzondere kracht in single-shot methoden bij het gebruik van specifieke stijlimitatie (Strategie 2, 40% succes).
• Effectiviteit van Prompt-strategieën:
  • Multi-Shot vs. Single-Shot: Multi-shot methoden waren over het algemeen effectiever (28% gemiddeld succes) dan single-shot methoden (14% gemiddeld succes). Gedetailleerde, stapsgewijze begeleiding verbeterde de prestaties van GPT-3.5 aanzienlijk, met name in Strategie 1 (60% succes).
  • Vergelijking van Strategieën: De Cross-Language Transformatie (Strategie 4) was de meest effectieve overall (35% gemiddeld succes). Specifieke Stijlimitatie (Strategie 2) volgde met 30%. Alleen vragen om de stijl te veranderen (Strategie 1) toonde gemengde resultaten (25%), sterk afhankelijk van de gebruikte methode. Stijl met een voorbeeld (Strategie 3) was het minst effectief (15%).
• Behoud van Functionaliteit: Een kritieke bevinding was de moeilijkheid om de code-integriteit te behouden. Van de 80 geteste samples compileerde slechts 58% (46 samples) succesvol en slaagde voor alle unit tests. Een aanzienlijk deel (41%) faalde om te compileren, vaak door door de LLM geïnduceerde wijzigingen in klassenamen of datatypen.
• Dubbel Succes: Slechts 10% van de totale geteste samples (8 van de 80) bereikte het dubbele doel van het succesvol vermijden van de stylometrie-classifier en het behouden van de volledige functionaliteit.

Significantie en Bijdragen
De paper stelt dat de primaire bijdrage ligt in het bieden van kritische inzichten in de robuustheid van huidige auteurschap-attributietechnieken tegen geavanceerde AI-capaciteiten. Door aan te tonen dat LLM's stilistische handtekeningen gedeeltelijk kunnen obscureren, benadrukt de studie een kwetsbaarheid in traditionele cybersecurity-maatregelen die vertrouwen op code-stylometrie.

Het onderzoek onderstreept het belang van prompt engineering, waarbij wordt onthuld dat gedetailleerde, gestructureerde prompts (multi-shot) aanzienlijk effectiever zijn dan eenvoudige instructies. Bovendien legt het de trade-off bloot tussen stilistische obscuratie en code-functionaliteit; hoewel LLM's de stijl kunnen wijzigen, blijft het een grote uitdaging om dit te doen zonder de compilatie van de code te breken.

Beperkingen en Toekomstige Richtingen
De auteurs erkennen verschillende beperkingen, waaronder datasetbeperkingen (afhankelijkheid van open-source Java-projecten), beperkingen in computationele middelen en de handmatige aard van de verificatie van functionaliteit. Toekomstig werk omvat het opnemen van grotere en diversere datasets, de ontwikkeling van geautomatiseerde pipelines voor functionaliteitstesten, het verkennen van alternatieve machine learning-algoritmen (zoals LSTM's) voor het evaluator-model, en de inclusie van andere enterprise LLM's (bijv. Gemini, Claude) voor een vergelijkende analyse.

Concluderend: hoewel GPT-4 en geavanceerde prompting-strategieën veelbelovend zijn voor het obscureren van code-stylometrie, staat de huidige technologie nog niet toe om naadloze, ondetecteerbare en volledig functionele codetransformatie op schaal uit te voeren. Dit suggereert dat hoewel auteurschap-attributie onder druk staat, het een levensvatbaar, zij het uitgedaagd veld blijft dat verdere ontwikkeling van robuustere detectietechnieken vereist.