Detection of LLM-assisted Code Plagiarism Using k-gram Software Birthmarks

Technische Samenvatting: Detectie van door LLM-ondersteunde Codeplagiaat met behulp van k-gram Software Birthmarks

Probleemstelling
De snelle vooruitgang van Large Language Models (LLM's) heeft de technische drempel voor softwareplagiaat verlaagd. In tegenstelling tot traditioneel plagiaat dat bestaat uit directe codekopieën, omvatten moderne dreigingen "code-parafrasering", waarbij een LLM bestaande broncode herschrijft om de functionaliteit te behouden terwijl de syntaxis, structuur, identifiers en formattering aanzienlijk worden gewijzigd. Deze capaciteit stelt aanvallers in staat om semantisch identieke programma's te genereren die traditionele technieken voor broncode-gelijkenisdetectie omzeilen. Bovendien omvat real-world plagiaat vaak de herdistributie van uitvoerbare artefacten in plaats van de broncode, waardoor detectiemethoden op basis van broncode ineffectief worden. Dit artikel behandelt de kritische vraag of software birthmarks—kenmerkende eigenschappen geëxtraheerd uit uitvoerbare bestanden—effectief blijven tegen LLM-ondersteunde code-parafrasering.

Methodologie
De studie maakt gebruik van k-gram software birthmarks, een techniek die een programma representeert als een verzameling unieke opeenvolgende sequenties van $k$ Java bytecode instructies (opcodes). Het experimentele ontwerp bevat de volgende componenten:

• Dataset: De onderzoekers hebben een dataset samengesteld uit actief onderhouden, BSD-2-Clause gelicentieerde Java-projecten op GitHub. Ze filterden op individueel compileerbare bronbestanden met een Logical Line Count (LLC) tussen de 30 en 1.000 om module-gewijze plagiaatdetectie te waarborgen. De uiteindelijke dataset bestond uit 352 bronbestanden.
• LLM Modellen: Drie hedendaagse modellen werden gebruikt om geparafraseerde versies van de bronbestanden te genereren:
  • ChatGPT-5.1-Codex-Mini (OpenAI)
  • DeepSeek-V4-Flash (DeepSeek)
  • Claude-Haiku-4.5 (Anthropic)
  • Prompting Strategie: De modellen kregen de expliciete instructie om syntaxis, formattering en structuur te wijzigen terwijl de functionaliteit behouden bleef en de output compileerbaar bleef zonder nieuwe afhankelijkheden.
• Birthmark Extractie: Voor elk bestand werden de Java compiler en de javap tool gebruikt om bytecode te extraheren, die vervolgens werd omgezet in opcode-sequenties. Unieke k-grams werden gegenereerd voor $k$-waarden variërend van 1 tot 6.
• Gelijkenismaatregelen: Vijf gelijkenisfuncties werden geëvalueerd om birthmarks te vergelijken:
  • Vector-gebaseerd: Cosinus-gelijkenis (Count en TF-IDF).
  • Set-gebaseerd: Dice-index, Jaccard-coëfficiënt en Simpson-index.
  • Sequentie-gebaseerd: Edit-afstand (Levenshtein-afstand).
• Evaluatiemetrieken: Prestaties werden gemeten met behulp van het harmonisch gemiddelde (Hmean) van Resilience (het vermogen om geplagieerde code te detecteren) en Credibility (het vermogen om onafhankelijke code te onderscheiden).

Belangrijkste Bijdragen

1. Empirisch Onderzoek: Het artikel biedt de eerste empirische evaluatie van k-gram software birthmarks specifiek tegen LLM-gegenereerde codeclonen geproduceerd via parafrasering.
2. Vergelijkende Analyse: Het vergelijkt systematisch de effectiviteit van verschillende $k$-gram configuraties ($k=1$ tot $6$) en meerdere gelijkenisfuncties in de context van moderne AI-ondersteunde plagiaat.
3. Model-specifieke Inzichten: De studie analyseert de relatieve moeilijkheidsgraad van het detecteren van plagiaat gegenereerd door verschillende LLM's, waarbij de variaties in hun code-transformatiecapaciteiten worden belicht.

Experimentele Resultaten

• Impact van $k$ (RQ1): Detectieprestaties zijn sterk afhankelijk van de keuze van $k$.
  • 1-gram: Presteerde slecht vanwege onvoldoende structurele informatie, wat leidde tot een lage credibility.
  • 2-gram: Bereikte de hoogste gemiddelde prestatie (Hmean = 0,830), wat de beste balans biedt tussen resilience en beschrijvend vermogen.
  • 3-gram: Presteerde vlak achter de 2-gram (Hmean = 0,822).
  • 4-6-gram: De prestaties namen geleidelijk af naarmate grotere $k$-waarden te gevoelig werden voor de structurele wijzigingen die door LLM's worden geïntroduceerd.
• Impact van Gelijkenisfuncties (RQ2):
  • Set-gebaseerde methoden (Dice, Simpson, Jaccard) presteerden aanzienlijk beter dan andere benaderingen. De Dice-index behaalde de hoogste gemiddelde Hmean (0,946).
  • Edit-afstand (Sequentie-gebaseerd) presteerde slecht (Hmean = 0,276) omdat code-parafasering frequent de volgorde van instructies wijzigt, waardoor sequentie-gebaseerde vergelijkingen ineffectief worden.
  • Cosinus-gelijkenis (zowel Count als TF-IDF) leverde sterke resultaten op, maar waren over het algemeen iets lager dan de Dice-index.
• Impact van LLM Selectie (RQ3):
  • ChatGPT-5.1-Codex-Mini genereerde de moeilijkst te detecteren clones (laagste gemiddelde Hmean van 0,8603), wat suggereert dat het meer uitgebreide transformaties uitvoert terwijl de compileerbaarheid behouden blijft.
  • Claude-Haiku-4.5 (Hmean = 0,9322) en DeepSeek-V4-Flash (Hmean = 0,9258) produceerden geparafraseerde code die relatief gemakkelijker te detecteren was.
  • Opvallend genoeg had het model dat de moeilijkst te detecteren code genereerde (ChatGPT) ook de minste compilatiefouten, wat duidt op hoogwaardige transformatiecapaciteiten.

Betekenis en Claims
Het artikel beweert dat k-gram software birthmarks effectief blijven voor het detecteren van LLM-ondersteunde plagiaat, mits passende configuraties worden gekozen. Specifiek concluderen de auteurs dat:

• Korte opcode-sequenties (met name $k=2$) een optimaal compromis bieden tussen resilience tegen transformaties en het vermogen om onafhankelijke software te onderscheiden.
• Set-gebaseerde gelijkenismaatregelen (met name de Dice-index) superieur zijn aan sequentie-gebaseerde maten voor deze taak, omdat ze zich richten op de aanwezigheid van gedeelde elementen in plaats van hun volgorde, die gemakkelijk wordt verstoord door parafrasering.
• De keuze van de LLM de detecteerbaarheid aanzienlijk beïnvloedt, wat impliceert dat toekomstige detectiesystemen rekening moeten houden met de variërende transformatiecapaciteiten van verschillende modellen.

De auteurs nemen een bescheiden standpunt in door te merken dat hoewel hun bevindingen robuust zijn binnen de context van BSD-2-Clause Java-projecten, generalisatie naar andere licenties of complexere plagiaatstrategieën verder onderzoek vereist. Zij benadrukken dat hun werk een fundament biedt voor executable-gebaseerde plagiaatdetectie in een tijdperk waarin broncode-gelijkenis niet langer een betrouwbare indicator van diefstal is.