GoCoMA: Hyperbolic Multimodal Representation Fusion for Large Language Model-Generated Code Attribution

Probleemstelling

Grote Taalmodellen (LLMs) zijn tegenwoordig zo geavanceerd dat ze code kunnen genereren die nauwelijks te onderscheiden is van door mensen geschreven code. Dit roept ernstige zorgen op regarding beveiligingskwetsbaarheden, licentieproblemen en plagiaat. Er is een dringende behoefte aan Code Authorship Attribution (CAA): het kunnen vaststellen welk specifiek LLM een stuk code heeft gegenereerd.

Bestaande methoden vertrouwen vaak alleen op broncode-kenmerken (zoals stylometrie, AST-structuren of token-statistieken) of op watermerken. Echter:

1. Watermerken zijn onbetrouwbaar omdat ze alleen werken als de provider ze actief toepast.
2. Diepe representatiemethoden falen vaak in meertalige omgevingen of missen laag-niveau signalen.
3. Er is een "kloof" in het begrijpen van hoe laag-niveau binaire signalen (uitgevoerd door compilatie) zich verhouden tot hoog-niveau stijlkenmerken in de broncode.

Methodologie: GoCoMA

De auteurs stellen GoCoMA (Geodesic Cosine similarity-based cross-Modal Attention) voor, het eerste raamwerk dat broncode en de bijbehorende Binary Pre-Executable Artifacts (BPEA) (zoals .o, .class, of .pyc bestanden) gezamenlijk analyseert als complementaire multimodale signalen.

Het raamwerk bestaat uit drie hoofdstappen:

1. Modale Representatie:

   • Code Modality: Broncode wordt verwerkt door voorgeprogrammeerde Taalmodellen voor code (Code PLMs) zoals CodeT5+, Qwen2.5-Coder, UniXcoder en CodeBERT. Dit vangt hoog-niveau lexische, syntactische en semantische signalen.
   • Beeld Modality (BPEA): De gecompileerde binaire bestanden worden omgezet in beelden (bytes worden gegroepeerd in RGB-pixels). Deze beelden worden verwerkt door Vision Pre-trained Models (PTMs) zoals ViT, ConvNeXt en EfficientNet. Dit vangt laag-niveau compilatie-voetafdrukken, optimalisatiepatronen en byte-layouts die niet zichtbaar zijn in de broncode.

2. Hyperbolische Projectie:

   • De auteurs hypotheseren dat de relatie tussen code en BPEA een extrinsieke hiërarchie vormt (hoog-niveau abstractie vs. laag-niveau uitvoering).
   • In plaats van Euclidische ruimte (waar hiërarchische relaties vaak "plat" worden gedrukt), projecteren ze de embedding-vector naar een hyperbolische ruimte (de Poincaré-bal). Hyperbolische ruimte heeft exponentiële volumegroei, wat ideaal is voor het behouden van hiërarchische structuren.

3. Fusie via GCSA:

   • In de hyperbolische ruimte worden de embeddings gefuseerd met een nieuw mechanisme: Geodesic Cosine Similarity Attention (GCSA).
   • Dit gebruikt Möbius-optelling en geodesische afstanden om de interactie tussen code en beeld te berekenen. Dit zorgt ervoor dat de hiërarchische afhankelijkheden tussen de modaliteiten behouden blijven.
   • De gefuseerde vector wordt vervolgens teruggeprojecteerd naar Euclidische ruimte voor de uiteindelijke classificatie (het bepalen van de bron van het LLM).

Belangrijkste Bijdragen

• Multimodale CAA-perspectief: Het introduceren van een nieuwe aanpak die broncode combineert met visuele representaties van binaire artefacten (BPEA), waardoor zowel hoog- als laag-niveau signalen worden benut.
• GoCoMA Framework: Een geometrie-bewust, hyperbolisch fusiemodel dat gebruikmaakt van GCSA in de Poincaré-bal om de hiërarchie tussen modaliteiten te exploiteren.
• Empirische Validatie: Het aantonen dat deze aanpak superieur is aan zowel unimodale modellen als bestaande Euclidische multimodale fusiemethoden.

Resultaten

Het model is getest op twee open-source benchmarks: CoDET-M4 (meertalig, multi-domein) en LLMAuthorBench (fijnmazige multi-class attributie).

• Prestaties: GoCoMA overtreft consistent alle baselines, inclusief unimodale modellen, Euclidische fusie (concatenatie en cross-attention) en zelfs state-of-the-art LLM-baselines (zoals GPT-5.1 en Gemini) in zero-shot en few-shot settings.
  • Op LLMAuthorBench bereikte de beste configuratie (CodeT5+ + ViT met GoCoMA) een nauwkeurigheid van 98,92% en een macro-F1 van 93,82%.
  • Op CoDET-M4 werd een nauwkeurigheid van 89,00% bereikt.
• Vergelijking met LLM's: Terwijl gespecialiseerde LLM's (zoals GPT-5.1) in few-shot settings ongeveer 75% nauwkeurigheid halen, presteert GoCoMA aanzienlijk beter (89-98%). Dit toont aan dat gespecialiseerde hiërarchische modellering essentieel is voor deze taak.
• Ablatiestudies: De resultaten bevestigen dat:
  1. BPEA-beelden waardevolle aanvullende signalen bieden bovenop broncode.
  2. Het verplaatsen van fusie naar hyperbolische ruimte (Möbius-additie) een grote prestatieverbetering geeft ten opzichte van Euclidische ruimtes.
  3. De GCSA-mechanisme cruciaal is voor het uitlijnen van binaire semantiek met code-representaties.

Betekenis en Toekomst

GoCoMA biedt een krachtige oplossing voor het forensisch traceren van gegenereerde code, wat essentieel is voor het oplossen van beveiligingsincidenten en licentiegeschillen. Het paper benadrukt dat de combinatie van broncode-stylometrie en binaire compilatie-voetafdrukken, verwerkt in een hyperbolische ruimte, de meest effectieve manier is om de complexe hiërarchie van code-generatie te modelleren.

Beperkingen:
De huidige resultaten zijn gebaseerd op twee benchmarks. De prestaties kunnen beïnvloed worden door veranderingen in de toolchain (verschillende compilers of optimalisatievlaggen) die de binaire lay-out veranderen. Ook is robustheid tegen code-obfuscatie of semantisch behoudende edits nog niet volledig getest.