Pretraining on Call Graphs: When Binary Analysis Tasks Profit From Context

Sintesi Tecnica: Pretraining su Call Graph: Quando l'analisi dei binari trae profitto dal contesto

Problematica
L'analisi del codice binario spesso si affida a modelli di deep learning per codificare la semantica delle funzioni disassemblate per compiti quali il rilevamento della somiglianza del codice binario (BCSD), il rilevamento delle vulnerabilità e la classificazione dei malware. Sebbene i modelli basati su Transformer all'avanguardia (ad esempio, CLAP, jTrans) catturino efficacemente la semantica intra-procedurale, essi affrontano limitazioni di scalabilità riguardo all'intero contesto del programma. Una strategia comune per affrontare questo problema è sfruttare il contesto inter-procedurale tramite i call graph, dove l'embedding di una funzione viene raffinato utilizzando le informazioni dalle sue funzioni chiamate (callees). Tuttavia, la letteratura esistente manca di un esame sistematico di come i raffinamenti basati sui call graph influenzino la generalizzabilità degli embedding verso task a valle oltre al BCSD. In particolare, rimane poco chiaro se l'ottimizzazione per la somiglianza semantica (BCSD) preservi o degradi le prestazioni su task sintattici (ad esempio, il recupero della provenienza del compilatore) o altri task semantici (ad esempio, l'etichettatura delle funzioni). Inoltre, non sono stati analizzati in modo esaustivo i casi specifici in cui i miglioramenti del call graph sono benefici — come la dimensione della funzione, la complessità o il tipo di etichetta.

Metodologia
Gli autori propongono un workflow per valutare l'impatto del pretraining su call graph sugli embedding delle funzioni binarie. Il processo prevede quattro fasi principali:

1. Disassembly ed Estrazione: I binari in input vengono disassemblati (usando IDA Pro) per estrarre le funzioni e costruire un grafo di chiamate diretto dove i nodi rappresentano le funzioni interne e gli archi rappresentano le relazioni chiamante-chiamata.
2. Backbone Embedding: Modelli basati su Transformer pre-addestrati (CLAP e jTrans) generano gli embedding iniziali per ogni funzione.
3. Raffinamento basato su Grafo: Il call graph viene elaborato utilizzando Graph Neural Networks (GNN) per aggiornare gli embedding dei nodi. Lo studio confronta tre strategie di aggregazione:
   • AVG: Un semplice baseline di media degli embedding dei vicini.
   • GCN (Graph Convolutional Network): Aggrega i vicini utilizzando pesi predefiniti.
   • GAT (Graph Attention Network): Utilizza un meccanismo di attenzione per apprendere l'importanza dei vicini.
     I modelli sono addestrati con profondità di chiamata (call depth) da 1 a 5.
4. Valutazione: Gli embedding risultanti potenziati dal contesto sono valutati su tre task distinti:
   • Binary Code Similarity Detection (BCSD): Il task di training primario, che utilizza la perdita contrastiva InfoNCE per identificare funzioni compilate dalla stessa sorgente.
   • eXtreme Function Labeling (XFL): Un task semantico a valle che predice i nomi delle funzioni normalizzati (classificazione multi-label).
   • Compiler Optimization Detection (COD): Un task sintattico a valle che predice il livello di ottimizzazione del compilatore (O0–O3, Os) per valutare la ritenzione dei dettagli tecnici a basso livello.
     Gli esperimenti utilizzano un dataset derivato da BinaryCorp-26M, composto da circa 1,4 milioni di coppie di funzioni da 34.300 binari.

Risultati Chiave
Lo studio produce diverse scoperte critiche riguardanti i compromessi dell'integrazione del call graph:

• Performance BCSD: L'integrazione del contesto del call graph migliora significativamente le prestazioni del BCSD. Il modello GAT con una profondità di chiamata di 2 (GAT(2)) ha ottenuto i risultati migliori, migliorando la recall@1 di CLAP da 0,758 a 0,867 e quella di jTrans da 0,579 a 0,817.
• Generalizzazione Semantica (XFL): Contrariamente ai miglioramenti nel BCSD, l'aggiunta del contesto del call graph ha peggiorato le prestazioni nel compito di etichettatura delle funzioni (XFL). I backbone CLAP e jTrans hanno superato tutti i modelli raffinati con GNN su XFL, suggerendo che l'aggregazione semantica appresa per il BCSD non si trasferisce alla denominazione delle funzioni.
• Degradazione Sintattica (COD): Esiste una forte correlazione inversa tra l'ottimizzazione della somiglianza semantica e le prestazioni dei task sintattici. I modelli raffinati per il BCSD hanno mostrato un deterioramento delle prestazioni su COD, in particolare all'aumentare della profondità di chiamata. Ciò indica che concentrarsi sulla somiglianza semantica di alto livello causa la perdita di sensibilità del modello alle variazioni strutturali a basso livello (es. livelli di ottimizzazione).
• Robustezza e Dimensione del Contesto: I modelli basati su GNN hanno dimostrato una robustezza superiore in scenari in cui i modelli backbone faticavano. Nello specifico, hanno mantenuto una performance stabile per:
  • Funzioni Grandi: Funzioni con molte istruzioni e chiamate, dove le finestre di contesto dei Transformer (1024/512 token) tipicamente causano cali di prestazione.
  • Coppie Dissimili: Coppie di funzioni con bassa similarità iniziale degli embedding o call graph non isomorfi, dove il modello GAT(2) ha costantemente raggiunto punteggi di recall superiori a 0,53 anche quando i corpi delle funzioni erano interamente dissimili.
  • Variazioni Tecniche: I modelli sono stati più robusti rispetto alle differenze nei linguaggi sorgente (C vs C++) e alle coppie di ottimizzazione del compilatore rispetto ai baseline.
• Namespace vs Logica: I benefici del contesto del call graph non sono uniformi. I raffinamenti sono stati più benefici per le funzioni legate allo namespace (es. wrapper di librerie) rispetto alle funzioni focalizzate sulla logica individuale. Al contrario, il calo di performance su XFL è stato meno severo per le etichette di namespace rispetto ai descrittori di funzioni specifici.

Contributi Principali
Il documento presenta quattro contributi primari:

1. Dimostra che, sebbene il pretraining su call graph migliori il BCSD, può impattare negativamente sulla generalizzabilità verso altri task semantici a valle come l'etichettatura delle funzioni.
2. Stabilisce una correlazione in cui l'ottimizzazione per i task di somiglianza semantica porta a una diminuzione delle prestazioni sui task sintattici (es. provenienza del compilatore).
3. Mostra che gli embedding potenziati dal contesto sono più robusti rispetto a dimensioni di contesto più grandi, alla diversità all'interno delle coppie di funzioni e alle variazioni di implementazione tecnica (ottimizzazioni del compilatore).
4. Identifica che l'utilità dei miglioramenti del call graph dipende dalla funzione, dimostrando di essere più vantaggioso per le funzioni legate allo namespace piuttosto che per quelle focalizzate sulla logica individuale.

Significatività e Rivendicazioni
Gli autori pongono questo lavoro come una necessaria dissezione delle implicazioni dei raffinamenti degli embedding. Affermano che le loro scoperte evidenziano un compromesso fondamentale: i modelli ottimizzati per la somiglianza semantica tramite call graph guadagnano robustezza in scenari complessi e ricchi di contesto, ma perdono la capacità di generalizzare verso altri task semantici e di mantenere la precisione sintattica. Il documento non pretende di proporre un nuovo modello allo stato dell'arte per tutti i task, ma piuttosto di promuovere una comprensione sfumata di quando il contesto inter-procedurale sia benefico. Gli autori sottolineano che il call graph viene sfruttato più efficacemente in scenari dipendenti dal contesto e invocano ulteriore ricerca su task di pretraining che bilancino la generalizzabilità semantica e sintattica. Raccomandano inoltre l'adozione di analisi esplicative (slicing del dataset) per comprendere meglio i punti di forza e le carenze dei modelli emergenti di analisi binaria.