Technische Samenvatting: AutoDecompiler

Probleemstelling

Binair decompileren is cruciaal voor beveiligingstaken zoals kwetsbaarheidsdetectie en malware-analyse, maar het staat voor een fundamentele uitdaging: bestaande Large Language Model (LLM) benaderingen werken grotendeels volgens een single-turn generatieparadigma. In dit paradigma genereert een LLM één keer gedecompileerde code en stopt vervolgens. Hoewel de output syntactisch leesbaar kan zijn en zelfs succesvol kan compileren, wijkt deze vaak af van het semantische gedrag van de originele binaire code. Huidige methoden falen in het benutten van diagnostische signalen — zoals compilerfouten, runtime-exceptions en mislukte input/output (I/O) tests — om deze semantische fouten iteratief te corrigeren. Bovendien richten bestaande reinforcement learning (RL) toepassingen in codegeneratie zich doorgaans op het optimaliseren van een enkele continue tokensequentie, in plaats van op een multi-turn verfijningsproces waarbij het model zijn eigen outputs moet diagnosticeren en herzien op basis van feedback uit de omgeving.

Methodologie

Het paper stelt AutoDecompiler voor, een voor decompileren gespecialiseerd LLM dat getraind is met reinforcement learning om feedback-gestuurde multi-turn binaire decompileren uit te voeren. Het systeem behandelt decompileren niet als een eenmalige taak, maar als een iteratieve verfijningslus waarbij het model de code herziet op basis van validatiefeedback.

Trainingspipeline

De constructie van AutoDecompiler volgt een tweestaps-pipeline:

1. Domeinspecifieke Supervised Fine-Tuning (SFT): Het basismodel (DeepSeek-Coder of Qwen3-Coder) wordt gefinetuned op een gebalanceerde subset van 300K binaire functies uit de CID-dataset. Deze fase past het model aan om assembly-code of decompiler-gegenereerde pseudo-code te mappen naar C-achtige broncode, waardoor een statische input-output mapping wordt gevestigd.
2. Reinforcement Learning (RL) voor Multi-Turn Verfijning: Het via SFT geïnitialiseerde model wordt verder geoptimaliseerd met behulp van het GRPO (Group Relative Policy Optimization) algoritme. In deze fase genereert het model een code-kandidaat, die wordt gevalideerd via C-code geldigheidchecks, hercompilatie, re-executie en I/O-testen. De resulterende feedback wordt gebruikt om beloningen te berekenen en diagnostische prompts te construeren voor opeenvolgende verfijningsrondes.

Belangrijke Technische Innovaties

Om de uitdagingen van multi-turn verfijning aan te pakken, introduceren de auteurs vier nieuwe mechanismen:

1. Gewogen Multi-dimensionale Decompileringsbeloning:
   In plaats van te vertrouwen op een enkel doel, is de beloningsfunctie ($R_t$) een gewogen som van vier componenten:

   • C-achtige Geldigheid ($R_C$): Zorgt ervoor dat de output een syntactisch geldige C-functie is, wat hallucinaties filtert.
   • Compilatie- en Executie-correctheid ($R_{exe}$): Een gefaseerde beloning die hercompilatieproblemen het zwaarst bestraft, gevolgd door runtime-fouten en I/O-mismatches, wat het model stimuleert om programmeerbare en gedragsmatige consistente code te produceren.
   • Syntactische Beloning ($R_{syn}$): Meet de AST-niveau gelijkenis tussen de gegenereerde code en de referentiebron om structurele plausibiliteit te behouden.
   • Semantische Beloning ($R_{sem}$): Gebaseerd op data-flow matching, zorgt dit ervoor dat variabelen-afhankelijkheden en waarde-propagatie-relaties behouden blijven, wat de semantische getrouwheid adresseert buiten de syntaxis om.

2. Fase-bewuste Diagnostische Feedback Constructie:
   Het systeem transformeert heterogene validatiesignalen (compilerfouten, runtime crashes, I/O-fouten) naar natuurlijke taal diagnostische berichten. Deze berichten worden gecategoriseerd per foutfase (bijv. "Compilation Error", "Runtime Error", "I/O Mismatch") en ingebed in de prompt voor de volgende beurt, wat actiegerichte begeleiding biedt in plaats van enkel scalaire beloningen.

3. Progressie-bewuste Traject-beloning:
   Om te voorkomen dat het model leert om shortcuts te nemen of afwijkt van de originele semantiek, combineert de trajectbeloning ($R_{traj}$) de uiteindelijke uitkomstbeloning met een progressieterm. Deze term meet de verbetering in beloning ($\Delta r_t$) tussen opeenvolgende beurten, wat constante verbetering aanmoedigt en regressies (bijv. het veranderen van compileerbare code in niet-compileerbare code) bestraft.

4. Beurt-bewuste Voordeel-herweging:
   Standaard RL wijst een uniform voordeel toe aan alle tokens in een sequentie. AutoDecompiler introduceert een strategie om het trajectvoordeel te herverdelen op basis van de bijdrage van elke specifieke verfijningsbeurt. Beurten die significante verbeteringen in beloning opleveren, ontvangen sterkere optimalisatiesignalen, terwijl ineffectieve of schadelijke revisies worden lager gewogen.

Resultaten

De AutoDecompiler-familie werd getraind op 310K binaire functies en geëvalueerd op de HumanEval en ExeBench benchmarks onder twee inputinstellingen: end-to-end (assembly input) en pseudo-code-gebaseerd. Modellen werden geïnstantieerd op schalen van 1.3B, 6.7B en 30B parameters.

• Prestaties vs. Baselines: AutoDecompiler presteerde consequent beter dan zijn single-turn tegenhangers en andere state-of-the-art (SOTA) decompilerings-LLM's (bijv. LLM4Decompile, CIM, FAE) onder dezelfde modelgrootte en inputinstellingen.
  • Op HumanEval bereikte de 6.7B AutoDecompiler-E2E een Re-executabiliteit (Re-exe) ratio van 63.11%, waarmee het de vorige beste (CIM-6.7B op 62.05%) versloeg en aanzienlijk beter presteerde dan algemene modellen zoals GPT-4o en DeepSeek-V3.
  • In de pseudo-code instelling behaalde AutoDecompiler-Pscode 30B competitieve resultaten (75.30% Re-exe) tegenover DecLLM met een 671B parameter model, ondanks het feit dat het veel minder parameters heeft.
• Efficiëntie: Het model behaalde deze resultaten met een trainingsdataset (310K samples) die aanzienlijk kleiner is dan die van eerdere werken (bijv. LLM4Decompile gebruikte 7.2M samples), wat de efficiëntie van de feedback-gestuurde verfijningsaanpak aantoont.
• Ablatie-studies: Het verwijderen van een kerncomponent (bijv. executie-beloningen, progressie-bewuste traject-beloning, of beurt-bewuste voordeel-herweging) resulteerde in prestatievermindering, wat bevestigt dat elk mechanisme bijdraagt aan de effectiviteit van het systeem.
• Casestudies: Kwalitatieve analyse toonde aan dat AutoDecompiler specifiek semantische fouten (bijv. ontbrekende randvoorwaarden) en interface-mismatches (bijv. incorrecte functiesignaturen) succesvol heeft gerepareerd door gebruik te maken van executie- en compilatiefeedback.

Betekenis en Claims

Het paper claimt dat het leren exploiteren van programmafeedback met reinforcement learning een effectieve richting is voor het verbeteren van de functionele correctheid van LLM-gebaseerde binaire decompileren.

Belangrijke bijdragen zijn onder meer:

• Paradigmaverschuiving: Het formuleren van decompileren als een feedback-gestuurd multi-turn verfijningsprobleem in plaats van een single-turn generatietaak.
• Gespecialiseerd Beloningsontwerp: Het introduceren van een multi-dimensionaal beloningssysteem dat gezamenlijk optimaliseert voor geldigheid, hercompilatiebaarheid, executie-consistentie en semantische getrouwheid, reikend voorbij oppervlakkige code-plausibiliteit.
• Verfijningsmechanismen: Het ontwikkelen van fase-bewuste feedback en beurt-bewuste voordeel-herweging om progressieve verbetering te waarborgen en regressies tijdens iteratieve verfijning te onderdrukken.
• Open Source: De auteurs hebben de AutoDecompiler-familie open-source beschikbaar gesteld om gemeenschapsresearch te faciliteren.

De auteurs erkennen beperkingen, zoals het feit dat het aantal verfijningsbeurten wordt beperkt door de contextlengte, de huidige scope beperkt is tot single-function decompileren (zonder inter-procedurale context), en dat generalisatie naar zwaar geobfusceerde binaire bestanden een openstaand vraagstuk blijft. De resultaten tonen echter aan dat een kleiner, gespecialiseerd model getraind met iteratieve feedback een superieure functionele correctheid kan bereiken vergeleken met grotere, single-turn modellen.