Can LLMs Deobfuscate Binary Code? A Systematic Analysis of Large Language Models into Pseudocode Deobfuscation

1. Il Problema

L'offuscamento del codice binario è una tecnica ampiamente utilizzata per proteggere la proprietà intellettuale o, al contrario, per nascondere malware ed eludere i sistemi di sicurezza. Questo processo applica trasformazioni che preservano la semantica ma aumentano drasticamente la complessità strutturale (es. appiattimento del flusso di controllo, sostituzione di istruzioni, predicati opachi), rendendo l'analisi inversa (reverse engineering) estremamente difficile.

Sebbene gli approcci tradizionali (analisi statica/dinamica basata su regole) esistano, spesso mancano di generalizzabilità di fronte a combinazioni complesse di offuscamento. Recenti studi suggeriscono che i Large Language Models (LLM) potrebbero essere efficaci nel recuperare la semantica, ma manca una valutazione sistematica e rigorosa delle loro capacità nel contesto specifico della deoffuscatura del codice binario, specialmente rispetto a trasformazioni severe e diverse architetture.

2. Metodologia: BINDEOBFBENCH

Per colmare questa lacuna, gli autori hanno introdotto BINDEOBFBENCH, il primo benchmark completo per valutare le capacità di deoffuscatura basate su LLM.

• Costruzione del Dataset:

  • Il dataset è stato generato partendo da 754.058 programmi C/C++ (sottoinsieme di CodeNet), filtrati per garantire validità di compilazione e lunghezza appropriata.
  • Sono stati applicati 6 tipi di trasformazioni di offuscamento (BCF, SUB, FLA, MBA, Opaque, ImmMov) utilizzando strumenti open-source e commerciali (OLLVM, Tigress, Hikari, Alcatraz).
  • Le trasformazioni sono state applicate in tre fasi: pre-compilazione, tempo di compilazione e post-compilazione.
  • Sono state generate 2.108.736 varianti uniche offuscate, combinando diversi livelli di complessità (da 1 a 6 trasformazioni simultanee), 4 architetture di istruzioni (ISA: ARM, MIPS, x86, x64) e 4 livelli di ottimizzazione del compilatore (O0-O3).
  • È stato incluso anche un dataset di malware reale (Backdoor, Botnet, Trojan) offuscato per testare scenari reali.

• Valutazione Multi-dimensionale:
  Gli autori hanno definito quattro metriche per valutare la qualità della deoffuscatura, superando la semplice correttezza semantica:

  1. Coerenza Lessicale (Lexical Consistency): Misurata con BLEU, valuta la fedeltà dei nomi di identificatori e strutture sintattiche rispetto al codice originale.
  2. Preservazione Semantica (Semantic Preservation): Utilizza un metodo di "Fusione Semantica a Doppia Prospettiva" che combina embedding impliciti (tramite un modello LLM fine-tuned) e firme simboliche esplicite (parametri, chiamate a funzione) per verificare la coerenza comportamentale.
  3. Semplicità del Codice (Code Simplicity): Misurata tramite l'entropia delta a livello di token per quantificare la riduzione della complessità informativa introdotta dall'offuscamento.
  4. Leggibilità (Code Readability): Valutata tramite la complessità di Halstead (in particolare lo sforzo mentale richiesto), per stimare quanto il codice deoffuscato sia comprensibile per un umano.

• Modelli Testati:
  Sono stati valutati 9 modelli rappresentativi divisi in categorie:

  • LLM generici e specifici per il codice (Qwen2.5-Coder, CodeLlama, Llama-3.1, DeepSeek-V3, GPT-4o).
  • Modelli con capacità di ragionamento (Reasoning Models: OpenAI-o1, DeepSeek-R1).
  • Modelli esperti di dominio/task-specific (ReCopilot, ChatDEOB).
  • Strumenti tradizionali non-LLM (D810, GooMBA) per confronto.

3. Contributi Chiave

1. Prima Valutazione Sistematica: Il primo studio che valuta in modo rigoroso e su larga scala le capacità degli LLM nella deoffuscatura del codice binario.
2. BINDEOBFBENCH: Un benchmark scalabile e diversificato che copre diverse fasi di offuscamento, architetture e livelli di ottimizzazione, fornendo ground truth verificati.
3. Framework di Valutazione Olistico: Introduzione di metriche che bilanciano correttezza semantica, semplicità e leggibilità, superando le limitazioni delle metriche tradizionali.
4. Insight Empirici: Identificazione di fattori critici (ragionamento, fine-tuning specifico) che influenzano le prestazioni più della semplice scala del modello.

4. Risultati Principali

L'analisi ha portato a cinque scoperte empiriche fondamentali:

• Capacità di Ragionamento vs. Scala del Modello: Contrariamente all'assunzione comune che "più parametri = meglio", la capacità di ragionamento e l'esperienza di dominio sono più importanti della scala grezza. I modelli "Reasoning" (es. DeepSeek-R1) superano costantemente i modelli generici più grandi (es. Llama-3.1-70B) in scenari complessi.
• Fine-Tuning Specifico vs. Pre-training Generico: Il Supervised Fine-Tuning (SFT) specifico per il task di deoffuscatura (come in ChatDEOB) supera il pre-training su dominio generico (come ReCopilot). L'addestramento diretto sulla mappatura codice offuscato/non-offuscato è cruciale.
• Robustezza sotto Offuscamento Severo: Mentre i modelli standard degradano rapidamente con offuscamento intenso (Livello 6), i modelli di ragionamento mantengono una fedeltà semantica robusta (es. DeepSeek-R1 mantiene il 62,89% di fedeltà semantica contro il 54,62% di ReCopilot).
• Generalizzazione Architettonica e Ottimizzazione: I modelli di ragionamento mitigano i bias verso architetture CISC (x86/x64) e gestiscono meglio le ottimizzazioni aggressive (O3) rispetto ai modelli standard, rifattorizzando logiche contorte in codice più pulito.
• Impatto dell'In-Context Learning (ICL): L'ICL (few-shot learning) migliora significativamente le prestazioni dei modelli standard (es. CodeLlama), ma ha effetti limitati o controproducenti per i modelli di ragionamento, poiché le dimostrazioni possono interferire con i loro processi interni di ragionamento passo-passo.
• Efficacia su Malware: Nel contesto del malware, i modelli di ragionamento eccellono nella semplificazione strutturale (riducendo la complessità del codice del ~60%), mentre il fine-tuning specifico è essenziale per recuperare la logica computazionale esatta e neutralizzare le tecniche anti-analisi.

5. Significato e Implicazioni

Questo studio ridefinisce l'approccio alla deoffuscatura del codice binario basata sull'IA. Dimostra che:

• La semplice scalabilità dei modelli non è la soluzione per compiti di analisi binaria complessi; è necessario investire in capacità di ragionamento e specializzazione di dominio.
• Gli LLM non sono solo strumenti per la generazione di codice, ma potenti motori di semplificazione e comprensione che possono superare i limiti degli strumenti basati su regole rigide, offrendo una leggibilità superiore e una migliore adattabilità a scenari reali e malevoli.
• BINDEOBFBENCH si posiziona come il nuovo standard di riferimento per la ricerca futura, spingendo la comunità a focalizzarsi sul miglioramento dei processi di ragionamento interno piuttosto che solo sull'aumento delle dimensioni dei modelli.

In sintesi, il paper conclude che gli LLM, specialmente quelli potenziati da capacità di ragionamento e addestrati specificamente per il task, rappresentano un passo avanti significativo nel reverse engineering automatizzato, offrendo soluzioni più robuste e adattabili rispetto alle tecniche tradizionali.