Technische Samenvatting: Evaluatie van Fine-tuning en Metrieken voor Neurale Decompilatie van Dart AOT-binaries

1. Probleemstelling

Neurale decompilatie, de taak van het vertalen van machinecode terug naar hoogwaardige broncode, heeft traditioneel zich gericht op C- en C++-targets. Moderne programmeertalen zoals Dart (gebruikt in Flutter) presenteren echter unieke uitdagingen vanwege hun Ahead-of-Time (AOT) compilatiepipelines, die agressieve optimalisaties toepassen zoals type-specialisatie, functie-inlining en dead code elimination. Deze optimalisaties verwijderen hoogwaardige semantische informatie, waardoor de resulterende x86-64 assembly aanzienlijk moeilijker te reverse-engineeren is dan niet-geoptimaliseerde C.

Bovendien is de evaluatiemethodologie voor neurale decompilatie nog onvoldoende ontwikkeld. Eerdere studies vertrouwden vaak op oppervlakkige metrieken zoals CodeBLEU of compilatiesuccesratio's, die mogelijk niet correleren met functionele correctheid. Er is een kritiek gat in het begrip van de vraag of het fine-tunen van Large Language Models (LLMs) op assembly-broncode paren daadwerkelijk de functionele correctheid verbetert, hoe cross-linguale training de prestaties beïnvloedt, en of standaard evaluatiemetrieken de bruikbaarheid van gedecompileerde code betrouwbaar voorspellen.

2. Methodologie

2.1 Dataset Constructie

De auteurs hebben een nieuwe benchmark geconstrueerd, HumanEval-Dart, bestaande uit 154 Dart-functies aangepast van de HumanEval-benchmark, elk voorzien van uitgebreide unit test harnesses.

• Natuurlijke Data: 246 Dart-functies afkomstig van RosettaCode.
• Synthetische Data: 948 synthetische Dart en 754 synthetische Swift functieparen gegenereerd door meerdere LLM's (GPT-4, Claude, DeepSeek, Qwen).
• Token-Matching: Om het effect van taalkeuze te isoleren van de datavolume, hebben de auteurs twee trainingsdatasets gecreëerd met token-aantallen die binnen 2% van elkaar verschillen:
  1. Dart+Synthetic: 1.194 assembly–Dart paren.
  2. Dart+Swift: 1.000 assembly–broncode paren (246 Dart + 754 Swift).
• Optimalisatie Opmerking: De Dart trainingsdata gebruikte AOT-geoptimaliseerde binaries, terwijl de Swift data ongeoptimaliseerde (-O0) binaries gebruikte, wat een bekende verstorende factor introduceert met betrekking tot optimalisatieniveaus.

2.2 Experimenteel Ontwerp

De studie maakte gebruik van een $3 \times 2$ factorieel ontwerp, waarbij zes modelvarianten werden gefine-tuned over drie basisarchitecturen:

1. Qwen3-4B (4B parameters)
2. DeepSeek-R1-0528-Qwen3-8B (8B parameters, reasoning-distilled)
3. Qwen3-8B (8B parameters, standaard pretraining)

Elk basismodel werd gefine-tuned met behulp van LoRA met DoRA (Weight-Decomposed Low-Rank Adaptation) op zowel de Dart+Synthetic als de Dart+Swift datasets.

2.3 Evaluatie Metrieken

De studie evalueerde modellen met drie complementaire metrieken:

1. CodeBLEU: Semantische gelijkenis (n-gram, AST, en data-flow matching). Een aangepaste Dart implementatie is ontwikkeld.
2. compile@k: Syntactische validiteit (proportie van gegenereerde outputs die compileren).
3. pass@k: Functionele correctheid (kans dat ten minste één van de $k$ outputs alle unit tests slaagt), berekend met de unbiased estimator.

2.4 Statistische Analyse

De auteurs pasten rigoureuze gepaarde statistische tests toe om de gefine-tuned varianten te vergelijken met hun respectieve basismodellen:

• McNemar's exact test voor binaire pass@1 uitkomsten (opgelost vs. niet opgelost).
• Bootstrap confidence intervals voor gemiddelde verschillen.
• Wilcoxon signed-rank tests en t-tests voor continue metrieken.

3. Belangrijkste Resultaten

3.1 Effectiviteit van Fine-tuning (RQ1)

In tegenstelling tot de hypothese dat fine-tuning de prestaties verbetert, produceerde geen enkele gefine-tuned configuratie een statistisch significante verbetering in pass@k.

• Qwen3-8B (Sterkste Basis): Fine-tuning veroorzaakte een zeer significante regressie. De Dart+Synthetic variant (v5) daalde van 6,36% naar 0,71% pass@1 ($p < 0,001$), waarbij 22 taken verloren gingen en er geen werden gewonnen. De Dart+Swift variant (v6) vertoonde een vergelijkbare catastrofale daling.
• Qwen3-4B (Zwakste Basis): De Dart+Synthetic variant (v1) vertoonde een richtinggevend positieve maar niet-significante trend (+0,71 pp, $p=0,21$).
• DeepSeek-R1-8B: Toonde geen significante verandering, met een lichte niet-significante regressie.

3.2 Cross-Linguale Interferentie (RQ2 & RQ3)

De studie onderzocht of trainen op Swift-code interfereert met Dart decompilatie.

• Schaalafhankelijke Interferentie: Bij 4B veroorzaakte het toevoegen van Swift trainingsdata een significante degradatie in Dart pass@k ($\Delta = -2,66$ pp, $p < 0,001$).
• Scaling Hypothese: Bij 8B werd deze interferentie statistisch ononderscheidbaar van nul. De auteurs merken echter op dat dit gecompliceerd wordt door het feit dat beide 8B varianten massaal leden onder regressie door de fine-tuning zelf, waardoor de "equivalentie" tussen de twee gedegradeerde modellen minder betekenisvol is.

3.3 Metriek Divergentie (RQ4)

Een cruciale bevinding is de divergentie tussen oppervlakkige metrieken en functionele correctheid.

• Casestudy (v3): De DeepSeek-R1-8B variant getraind op Dart+Synthetic vertoonde significante verbeteringen in CodeBLEU (+0,051, $p=0,001$) en compile@1 (+16 pp). Echter, de pass@1 regresseerde (van 3,90% naar 3,12%), hoewel niet significant.
• Casestudy (v5): De Qwen3-8B variant vertoonde een enorme instorting in pass@1 (van 6,36% naar 0,71%) terwijl CodeBLEU en compile@k relatief stabiel bleven of slechts bescheiden dalingen vertoonden.
• Conclusie: Modellen kunnen leren om syntactisch valide en oppervlakkig gelijkaardige code te produceren (hoge CodeBLEU) terwijl ze erin falen de onderliggende logica te vatten die vereist is voor functionele uitvoering.

3.4 Fout- en Complexiteitsanalyse

• Assembly Lengte: De sterkste voorspeller van taakcomplexiteit was de assembly sequentie lengte ($p=0,001$). Er bestaat een "capability cliff" bij ongeveer 200 instructies; oplosbaarheid daalt van 48% voor taken <50 regels naar 6% voor taken >200 regels.
• Traditionele Metrieken: Standaard code complexiteitsmetrieken (cyclomatische complexiteit, nesting depth) vertoonden verwaarloosbare voorspellende kracht.
• Trade-off: Fine-tuning bij 4B parameters leek "bereik" in te ruilen voor "betrouwbaarheid". Het gefine-tuned model (v1) werd betrouwbaarder voor korte, eenvoudige assembly sequenties, maar verloor het vermogen om complexe taken op te lossen die het basismodel soms oploste via stochastische algemene redenering.

4. Bijdragen

1. HumanEval-Dart Benchmark: Een nieuwe benchmark van 154 Dart-functies met unit tests voor het evalueren van functionele correctheid in decompilatie.
2. Dart CodeBLEU Implementatie: Een taal-specifieke implementatie van CodeBLEU met AST en data-flow analyse voor Dart.
3. Empirisch Bewijs over Fine-tuning: Een systematische studie die aantoont dat taakspecifieke fine-tuning op kleine- tot middelgrote modellen (4B–8B) geen garantie biedt voor functionele verbetering en significante regressies kan veroorzaken, vooral in sterkere basismodellen.
4. Demonstratie van Metriek Divergentie: Bewijs dat CodeBLEU en compile@k kunnen verbeteren terwijl pass@k regresseert, wat het vertrouwen in oppervlakkige metrieken in code generatie taken uitdaagt.
5. Cross-Linguale Analyse: Gecontroleerd bewijs dat cross-linguale interferentie significant is op kleinere schaal maar afneemt met modelcapaciteit, hoewel verward door optimalisatie mismatches.

5. Betekenis en Claims

Het paper positioneert zichzelf als een systematische analyse van evaluatiemethodologie en fine-tuning effectiviteit in plaats van een inzetbare decompilatie systeem. De auteurs benadrukken dat absolute pass@k cijfers laag blijven over alle modellen, inclus\ de commerciële systemen (Qwen3-Max: 18,38% pass@1).

De primaire betekenis ligt in de waarschuwende bevindingen:

• Verwerping van Oppervlakkige Metrieken: De studie betoogt dat CodeBLEU en compile@k onvoldoende proxies zijn voor functionele correctheid in decompilatie. Een model kan de schijn wekken te verbeteren op oppervlakkige metrieken terwijl het functioneel nutteloos wordt.
• Capaciteit-Afhankelijke Fine-tuning: De auteurs stellen een hypothese op (geen bevestigd wet) dat fine-tuning waardevolle algemene redeneercapaciteiten in sterkere modellen kan overschrijven, wat leidt tot catastrofale regressie, terwijl het neutrale of licht positieve effecten heeft op zwakkere modellen.
• Evaluatie Protocol: Het paper pleit voor pass@k met unit tests als de primaire evaluatiemetriek voor neurale decompilatie en code generatie taken waar functionele correctheid essentieel is.

De auteurs geven expliciet aan dat hun bevindingen over de "capaciteit-afhankelijke trend" gebaseerd zijn op drie architecturen en één hyperparameter configuratie, en framen deze als hypothese-genererende observaties die verdere schaal-sweeps motiveren in plaats van definitieve schaalwetten. Ze erkennen ook de beperking van optimalisatie mismatches in hun cross-linguale experimenten, waarbij zij opmerken dat toekomstig werk met optimalisatie-gematchte datasets vereist is om linguïstische interferentie te isoleren van distributionele verschuivingen.