Riepilogo Tecnico: DECAF - Miglioramento della Decompilazione Neurale con Feedback Automatico e Ricerca

1. Enunciato del Problema

La decompilazione è il processo di traduzione del codice assembly a basso livello in codice sorgente ad alto livello. Sebbene i decompilatori tradizionali (ad esempio Ghidra, Hex-Rays) impieghino analisi sofisticate dei programmi per recuperare variabili e flussi di controllo, spesso falliscono nel ricostruire sintassi idiomatica, nomi di identificatori significativi e tipi di dati personalizzati. Al contrario, i recenti modelli di decompilazione neurale, in particolare quelli basati su Large Language Models (LLM), eccellono nella generazione di codice leggibile e idiomatico ma soffrono di "allucinazioni". Questi modelli producono frequentemente codice semanticamente errato, omettono logica critica (come le condizioni di interruzione) o generano codice che non riesce a compilare o eseguire correttamente.

La sfida centrale affrontata da questo articolo è il compromesso tra idiomaticità (leggibilità e struttura) e correttezza funzionale (equivalenza semantica rispetto al binario originale). Gli approcci neurali esistenti generano tipicamente un'unica output candidato, lasciando inesplorato il potenziale di soluzioni corrette se la prima ipotesi del modello è difettosa. Inoltre, verificare la correttezza del codice decompilato è un problema indecidibile nel caso generale, rendendo difficile selezionare automaticamente il miglior candidato da un insieme di possibilità.

2. Metodologia

Gli autori propongono DECAF (DECompilation with Automated Feedback), un sistema che migliora la decompilazione neurale generando molteplici candidati di decompilazione e selezionando automaticamente quello più promettente utilizzando feedback del compilatore e un riclassificatore neurale addestrato.

2.1. La Pipeline DECAF

Il sistema opera in tre fasi principali:

1. Decompilazione Iniziale: Un decompilatore tradizionale (Ghidra) elabora il binario target per produrre una rappresentazione iniziale, spesso non idiomatica, simile al C.
2. Generazione dei Candidati: Questo output viene immesso in un modello generatore neurale (un LLM). Invece di una singola inferenza, il sistema utilizza il campionamento con temperatura per generare un insieme diversificato di $N$ candidati di decompilazione (ad esempio, $N=32$).
3. Feedback Automatico e Riclassificazione:
   • Filtro di Compilazione: Ogni candidato viene compilato (ad esempio utilizzando gcc -c). I candidati che non riescono a compilare vengono scartati.
   • Riclassificazione: I candidati rimanenti vengono valutati rispetto al binario originale. Gli autori propongono tre strategie di riclassificazione:
     • Probabilità Logaritmica: Classificazione basata sulla probabilità logaritmica normalizzata del modello generatore.
     • Distanza in Byte: Compilazione del candidato e calcolo di una distanza di Levenshtein modificata tra i byte binari del candidato e i byte del binario originale. Questa distanza tiene conto degli artefatti di relocation trattando offset specifici come wildcards.
     • Riclassificatore Neurale: Un LLM dedicato (Decaf-ReRanker) addestrato a prevedere la probabilità che due sequenze assembly (l'originale e il candidato ricompilato) siano funzionalmente equivalenti.

2.2. Dati e Addestramento

• Modello Generatore: Gli autori hanno effettuato il fine-tuning di LLM4Decompile-Ref-22b-v2 (22 miliardi di parametri) sul dataset EXEBENCH. Hanno introdotto una supervisione consapevole dei tipi, addestrando il modello a generare le necessarie istruzioni #include, dichiarazioni forward e definizioni di tipo per garantire che l'output sia compilabile. Hanno inoltre addestrato modelli su binari stripped per simulare scenari reali di reverse engineering.
• Modello Riclassificatore: Un modello da 32 miliardi di parametri (QWEN3-32B) è stato addestrato a distinguere tra coppie di assembly funzionalmente equivalenti e non equivalenti. I dati di addestramento sono stati costruiti generando molteplici candidati, eseguendoli contro casi di test e accoppiando esecuzioni riuscite (positive) con fallimenti o mismatch (negative).
• Recupero delle Vulnerabilità: Per esperimenti specifici, gli autori hanno utilizzato la Juliet Test Suite per valutare la capacità del sistema di recuperare codice contenente vulnerabilità note (classi CWE) da binari stripped.

3. Contributi Chiave

1. Sistema DECAF: Un nuovo framework che combina la generazione neurale con feedback del compilatore e ricerca (campionamento di molteplici candidati) per risolvere il compromesso tra leggibilità e correttezza.
2. Decaf-Gen-22b: Un nuovo modello generatore LLM che supera i decompilatori neurali esistenti all'avanguardia (inclusi LLM4Decompile e Idioms-Gemma-7b) in termini di accuratezza funzionale e corrispondenza byte-wise, in particolare quando addestrato con supervisione consapevole dei tipi e input binari stripped.
3. Decaf-ReRanker-32b: Un modello riclassificatore specializzato che identifica efficacemente decompilazioni funzionalmente corrette da un pool di candidati, superando significativamente euristiche semplici come probabilità logaritmica o distanza in byte in molti scenari.
4. Insight Metodologico: La dimostrazione che campionare molteplici candidati (ad esempio 32) aumenta drasticamente la probabilità di trovare una soluzione funzionalmente corretta (alzando il limite superiore da ~60% a ~88% in alcune suddivisioni), a condizione che sia presente un meccanismo di riclassificazione efficace.
5. Generalizzabilità: Evidenza che la metodologia di riclassificazione può amplificare modelli più deboli (ad esempio, applicare il riclassificatore DECAF agli output di LLM4Decompile produce guadagni significativi).

4. Risultati Sperimentali

Gli autori hanno valutato il loro approccio sul dataset EXEBENCH attraverso varie suddivisioni (Real/Synth, Stripped/Unstripped, -O0/-O2).

• Correttezza Funzionale: Sulla suddivisione Stripped REAL -O2, DECAF ha raggiunto un tasso di correttezza funzionale dell'83,9% con riclassificazione, rispetto al 26,0% del miglior modello neurale precedente (Idioms-Gemma-7b) e al 59,1% del solo generatore (singolo campione).
• Corrispondenza Byte-wise: DECAF ha ottenuto una corrispondenza esatta byte-wise del 70,9% sulla stessa suddivisione, superando significativamente il 19,1% di Idioms-Gemma-7b.
• Somiglianza alla Sorgente: Contrariamente all'intuizione che l'ottimizzazione per la correttezza potrebbe ridurre la leggibilità, gli autori hanno scoperto che la riclassificazione per la correttezza funzionale generalmente migliora la somiglianza (minore Distanza di Editing) rispetto al codice sorgente originale.
• Recupero delle Vulnerabilità: Sulla Juliet test suite, DECAF ha ottenuto un punteggio F1 del 29,8% per il recupero delle vulnerabilità, superando notevolmente Ghidra (1,7%) e dimostrando un'alta precisione (95,5%).
• Robustezza: Quando testato con un compilatore diverso (Clang) per il feedback rispetto a quello utilizzato per la generazione (GCC), le prestazioni del riclassificatore neurale sono diminuite sulle suddivisioni non stripped a causa di uno spostamento della distribuzione, evidenziando una dipendenza dalla diversità dei dati di addestramento.

5. Significato e Affermazioni

L'articolo sostiene che i limiti degli attuali decompilatori neurali non sono dovuti esclusivamente alla mancanza di dati o alla dimensione del modello, ma piuttosto alla mancanza di verifica e ricerca. Trattando la decompilazione come un problema di ricerca in cui vengono generati e filtrati molteplici candidati tramite feedback del compilatore, il sistema può recuperare codice sorgente di alta qualità che è sia leggibile che semanticamente corretto.

Gli autori affermano che DECAF rappresenta un avanzamento significativo nello stato dell'arte per la decompilazione neurale, superando il paradigma della "migliore singola ipotesi". Sottolineano che il loro approccio è generale e può essere applicato per amplificare qualsiasi decompilatore neurale capace di produrre candidati diversificati. Il lavoro evidenzia anche l'utilità pratica di questi metodi in compiti di sicurezza, come il recupero di vulnerabilità da binari stripped, dove gli strumenti tradizionali spesso falliscono nel fornire codice di alto livello azionabile.

Gli autori riconoscono le limitazioni, inclusa la dipendenza dall'accesso alla configurazione del compilatore di riferimento per la corrispondenza byte-wise e le sfide nel generalizzare a diverse architetture di compilatori (ad esempio Clang vs GCC) senza un addestramento specifico. Concludono che il lavoro futuro dovrebbe concentrarsi sull'addestramento di riclassificatori su configurazioni di compilatori più diversificate e sull'esplorazione dell'apprendimento per rinforzo per il raffinamento iterativo.