LLM4CodeRE: Generative AI for Code Decompilation Analysis and Reverse Engineering

Titel: LLM4CodeRE: Generatieve AI voor Code-Decompilatieanalyse en Reverse Engineering

Auteurs: Hamed Jelodar et al. (University of New Brunswick, Canada)

---

1. Het Probleem

Reverse engineering van draagbare uitvoerbare (PE) bestanden, zowel voor schadelijke software (malware) als veilige software, blijft een fundamentele uitdaging in de cybersecurity. Moderne malware gebruikt geavanceerde technieken zoals obscuratie, packing en polymorfisme, waardoor geautomatiseerde decompilatie (het vertalen van lage-niveau code naar menselijk leesbare broncode) moeilijk is.

Bestaande oplossingen hebben de volgende tekortkomingen:

• Afhankelijkheid van traditionele methoden: Reverse engineers vertrouwen nog steeds op handmatige, statische en dynamische analyse, wat arbeidsintensief en kwetsbaar is voor obscuratie.
• Gebrek aan domeinspecificiteit: Hoewel Large Language Models (LLM's) succesvol zijn in code-vertaling, zijn de meeste getraind op schone, open-source code. Ze behandelen malware als "out-of-distribution" data, waardoor ze faalt bij het herkennen van malware-specifieke patronen, anti-analyse logica en obscuratie.
• Eenrichtingsverkeer: Bestaande tools focussen vaak alleen op assembly-naar-broncode (decompilatie) en niet op de omgekeerde richting (broncode-naar-assembly).
• Onvoldoende validatie: Veel evaluaties focussen alleen op statische vergelijkingsmaten (zoals tekstuele overeenkomst) en testen niet of de gegenereerde code daadwerkelijk compileert en correct werkt.

2. Methodologie: LLM4CodeRE

De auteurs stellen LLM4CodeRE voor, een domein-adaptief LLM-framework voor bidirectionele code-reverse engineering. Het framework ondersteunt zowel Assembly-naar-Broncode (Asm→Src) als Broncode-naar-Assembly (Src→Asm) binnen één uniek model.

Het framework bestaat uit drie lagen:

A. Malware-bewuste Pretraining (CLM)

In tegenstelling tot generieke modellen, wordt het backbone-model vooraf getraind op een groot corpus van gedisassembled malware-binaries en gedecompileerde pseudo-code.

• Data: Verzameld uit openbare malware-repositories en interne threat intelligence feeds (o.a. BODMAS, MalwareBazaar, Sorel20m).
• Preprocessing: Normalisatie via instructie-canonisering, registerhernoeming en adresrandomisatie om syntactische ruis te verminderen.
• Doel: Het model leert malware-specifieke obscuratietechnieken, anti-debugging logica en API-gebruikspatronen.

B. Parameter-efficiënte Aanpassing (Fine-tuning)

Om het model aan te passen zonder de volledige parameters te herschrijven (wat leidt tot "catastrophic forgetting"), worden twee strategieën gebruikt in combinatie met LoRA (Low-Rank Adaptation):

1. Multi-Adapter (MA) Strategie: Modulaire, taakspecifieke adapters worden toegevoegd aan het backbone-model. Elke adapter leert specifieke transformaties (bijv. Asm→Src of Src→Asm). Dit maakt flexibele taakselectie mogelijk zonder het backbone-model opnieuw te hoeven trainen.
2. Seq2Seq Unified (S2S) Strategie: Een decoder-only model dat gebruikmaakt van taak-geconditioneerde prefix-tokens. In plaats van aparte encoders/decoders, wordt één autoregressief model gebruikt dat de gewenste transformatie uitvoert op basis van een voorvoegsel (prefix).

C. Evaluatie-protocol

Het paper introduceert een uniek evaluatiekader dat verder gaat dan statische metrics:

1. Semantische Similariteit: Gemeten met BERTScore.
2. Structurele Edit Similariteit: Gemeten met genormaliseerde Levenshtein-afstand.
3. Re-executability (Heruitvoerbaarheid): De gegenereerde broncode wordt gecompileerd met GCC (-O2) en uitgevoerd in een zandbak (sandbox). Alleen code die compiles en correct draait, krijgt een score.

3. Belangrijkste Bijdragen

• Eerste malware-bewuste CLM-framework: Het introduceert een pretraining-framework specifiek voor LLM-based decompilatie op echte malware-binaries.
• Bidirectioneel Framework: Het is het eerste framework dat zowel Asm→Src als Src→Asm ondersteunt binnen één uniek model, geschikt voor zowel veilige als schadelijke code.
• Hybride Adaptatiestrategie: Het combineert Multi-Adapters en Seq2Seq Unified prefixing met LoRA voor efficiënte taakanpassing.
• Robuuste Evaluatie: Het introduceert een protocol dat semantische, syntactische en functionele correctheid (re-executability) combineert, wat cruciaal is voor real-world toepassingen.

4. Resultaten

De experimenten zijn uitgevoerd op de SBAN dataset (676.151 gelabelde samples) en vergeleken met state-of-the-art modellen zoals DeepSeek, LLM4Decompile en generieke code-modellen.

• Prestaties: LLM4CodeRE overtreft bestaande tools en generieke modellen consistent in zowel Asm→Src als Src→Asm taken.
  • Asm→Src: De Multi-Adapter variant bereikte de hoogste semantische similariteit (0.85) en edit similariteit (0.63).
  • Src→Asm: De Multi-Adapter variant behaalde de beste scores (0.64 semantisch, 0.27 edit).
• Re-executability: Dit is het meest onderscheidende resultaat. De Seq2Seq (S2S) variant behaalde een re-executability rate van 86% op de XLangKode dataset, aanzienlijk hoger dan LLM4CodeRE (MA) (53%), LLM4Decompile (48%) en DeepSeek (15%).
• Conclusie: De resultaten tonen aan dat domein-adaptatie en bidirectionele training essentieel zijn voor het genereren van functioneel correcte code.

5. Betekenis en Toekomstperspectief

Betekenis:
LLM4CodeRE markeert een verschuiving in cybersecurity-research door generatieve AI niet alleen te gebruiken voor code-generatie, maar specifiek te trainen op de complexe, vaak verwarrende wereld van malware. Het bewijst dat LLM's, wanneer ze correct worden aangepast, betrouwbaarder kunnen zijn dan traditionele decompilers voor het herstellen van leesbare logica uit gobscurateerde binaries. De focus op re-executability zorgt ervoor dat de output niet alleen "lijkt" op code, maar ook werkt.

Beperkingen en Toekomst:

• Beperkingen: Het huidige model is voornamelijk getraind op Windows PE-bestanden en generaliseert mogelijk niet direct naar ELF (Linux) of mobiele binaries. De gebruikte ground-truth is afgeleid van geautomatiseerde decompilers, wat ruis kan introduceren.
• Toekomst: De auteurs plannen uitbreiding naar Android-malware (APK, DEX, Smali) en cross-platform generalisatie tussen Windows en Android.

Kortom, dit paper biedt een solide fundament voor de volgende generatie geautomatiseerde malware-analyse en reverse engineering systemen.