Beyond Text Matching: Towards Reference-Free Evaluation for Human-Oriented Binary Reverse Engineering

Immagina di cercare di leggere un messaggio segreto scritto in una lingua che è stata rimescolata, privata della punteggiatura e in cui sono stati cancellati tutti i nomi delle persone coinvolte. Questo è ciò che accade quando gli esperti di sicurezza cercano di comprendere i programmi informatici compilati in codice "binario" — le istruzioni grezze, leggibili dalle macchine, che eseguono le funzioni sul tuo telefono o sul tuo laptop. Di solito, questi programmi arrivano con un utile manuale di "codice sorgente", ma quando gli hacker o gli autori di malware nascondono le loro tracce, quel manuale scompare. Gli esperti devono usare strumenti speciali per tradurre il binario rimescolato in qualcosa che assomigli al codice, ma spesso il risultato appare come un groviglio confuso di numeri e nomi generici come "sub_401B20". Per dare un senso a tutto questo, devono riscriverlo in una storia comprensibile all'uomo, un processo chiamato "Ingegneria Inversa del Binario Orientata all'Uomo" (Human-Oriented Binary Reverse Engineering). Ma ecco la parte difficile: come si fa a sapere se la nuova storia, ripulita, sia effettivamente buona? Non puoi semplicemente chiedere a un computer di contare quante parole corrispondono a una risposta perfetta, perché la risposta perfetta non esiste (il manuale originale è sparito). E chiedere a un esperto umano di leggere ogni singola riga è troppo lento, troppo costoso e l'esperto si stanca. Quindi, la grande domanda è: possiamo insegnare a un'IA super intelligente ad agire come un giudice e dirci se la traduzione è buona, senza aver bisogno del manuale originale con cui confrontarsi?

Questo articolo approfondisce esattamente questa domanda, esplorando se i Large Language Models (LLM) — lo stesso tipo di IA che può scrivere poesie o risolvere problemi di matematica — possano essere i "giudici" per queste traduzioni di codice disordinate. I ricercatori hanno scoperto che questi giudici IA sono effettivamente molto più bravi a comprendere il significato del codice rispetto ai vecchi parametri informatici, che si limitano a cercare la corrispondenza delle parole. Infatti, i giudici IA hanno concordato con gli esperti umani il 63,20% delle volte, mentre i vecchi metodi informatici concordavano solo il 35,04% delle volte. Tuttavia, l'articolo ha anche scoperto un colpo di scena sorprendente: non esiste un singolo setup di IA "migliore" che funzioni in ogni situazione. A volte, un modello specifico di IA con un modo specifico di porre le domande funziona benissimo per nominare le funzioni, ma fallisce miseramente nel riassumere il codice. È come cercare di usare un unico paio di scarpe per correre, nuotare e fare escursioni; serve l'attrezzatura giusta per il lavoro giusto.

Per risolvere questo problema, gli autori hanno costruito un sistema ingegnoso chiamato "BinJudge". Pensatelo come un intelligente controllore del traffico che osserva ogni specifico pezzo di codice e sceglie istantaneamente il giudice IA perfetto e il modo migliore per porre la domanda. Questo sistema non si limita a scegliere un unico "miglior" giudice per tutti; si adatta al volo. In questo modo, BinJudge è riuscito ad avvicinarsi ancora di più agli esperti umani (migliorando l'accordo fino al 24,7%) e, allo stesso tempo, ha risparmiato una quantità enorme di denaro — costando solo una frazione minuscola (tra 0,06 e 0,84 volte) di quanto costerebbe utilizzare il setup statico più costoso. L'articolo dimostra che, sebbene non si possa semplicemente scegliere un tasto magico per risolvere tutto, possiamo costruire un sistema intelligente e flessibile che renda la valutazione di queste complicate traduzioni di codice veloce, economica e sorprendentemente accurata.

Lo Sfondo: Decodificare il Messaggio Rimescolato

Prima di arrivare al punto principale, mettiamo in scena alcuni concetti chiave.

L'Ingegneria Inversa del Binario è come cercare di ricostruire una torta dopo che è stata cotta, schiacciata e dopo che la glassa è stata raschiata via. Hai il prodotto finale (il file binario), ma non hai la ricetta (il codice sorgente). Gli esperti usano strumenti per invertire il processo, trasformando il codice macchina in qualcosa che assomigli a un linguaggio di programmazione. Tuttavia, poiché la "ricetta" originale è andata perduta, il risultato è spesso disordinato.

La Human-Oriented Binary Reverse Engineering (HOBRE) è il passo successivo. È l'arte di prendere quel codice disordinato e simile a quello di una macchina e lucidarlo affinché un essere umano possa effettivamente leggerlo. Ciò comporta l'assegnazione di nomi descrittivi e interessanti alle funzioni (invece di "sub_401B20"), la scrittura di riassunti chiari di ciò che il codice fa e la sistemazione della struttura affinché sembri una storia ben scritta.

Il Problema della Valutazione: Come si sa se la "lucidatura" ha funzionato?

• Il Vecchio Modo (Corrispondenza di Testo): Immagina di valutare il saggio di uno studente contando quante parole corrispondono alla chiave di risposta di un insegnante. Se lo studente dice "Il gatto corre veloce" e la chiave dice "Il felino è scattato rapidamente", il vecchio computer dice: "Sbagliato! Zero punti!", perché le parole non corrispondono. Questo è un problema per il codice perché esistono molti modi per dire la stessa cosa.
• Il Modo Umano: Un esperto umano legge il codice e dice: "Sì, ha senso". Questo è il "gold standard", ma è lento, costoso e difficile da scalare.
• La Nuova Idea (LLM-as-a-Judge): E se chiedessimo a un'IA, che ha letto milioni di libri e frammenti di codice, di agire come l'insegnante? Invece di contare semplicemente le parole, l'IA ne comprende il significato. Sa che "gatto" e "felino" sono la stessa cosa, e può capire se un riassunto spiega effettivamente il codice o se suona solo altisonante.

Il Percorso dell'Articolo: Testare i Giudici IA

I ricercatori, guidati da Xiuwei Shang e dal suo team, hanno deciso di mettere alla prova questa idea dell' "IA Giudice". Non si sono limitati a indovinare; hanno costruito un enorme e di alta qualità campo di gioco chiamato BinJudgeBench.

Costruire il Campo di Gioco:
Hanno preso 51 progetti software reali, li hanno compilati in codice binario e poi hanno rimosso tutti i nomi e i commenti utili. Successivamente, hanno chiesto a 8 diversi modelli di IA di provare a sistemare il codice. Per sapere chi avesse fatto un buon lavoro, hanno fatto in modo che tre esperti umani (che sono essenzialmente detective del codice) leggessero i risultati e li valutassero su una scala da 1 a 5. Hanno controllato aspetti quali:

• Ha senso? (Correttezza Semantica)
• Aiuta un essere umano a comprendere il codice più velocemente? (Utilità)
• È scritto con uno stile naturale, umano? (Idiomatismo)

Questo ha creato un dataset "Gold Standard" con oltre 1.200 esempi attentamente valutati.

La Prima Scoperta: Giudici IA vs Vecchi Parametri
Il team ha confrontato i giudici IA con i vecchi parametri basati sul "conteggio delle parole". I risultati sono stati chiari: i giudici IA erano molto più bravi a comprendere l'aspetto umano delle cose.

• I giudici IA hanno concordato con gli esperti umani il 63,20% delle volte.
• I vecchi parametri informatici concordavano solo il 35,04% delle volte.

Ciò suggerisce che l'IA può effettivamente "afferrare" il significato del codice, non solo l'ortografia. È come la differenza tra un robot che conta quante volte dici "ciao" e un amico che capisce che stai salutando calorosamente qualcuno.

La Seconda Scoperta: Il Mito del "Taglia Unica"
Qui la questione si fa interessante. I ricercatori hanno provato diverse impostazioni per i giudici IA:

• Diversi Modelli: Alcune IA sono enormi e costose (come GPT-4o), altre sono più piccole e meno costose.
• Diversi Prompt: Ad alcune è stato chiesto di dare solo un punteggio (Zero-Shot), altre sono state mostrate degli esempi di cosa sia un "5" o un "1" (Few-Shot), e altre ancora sono state invitate a spiegare il proprio ragionamento passo dopo passo (Chain-of-Thought).
• Diverse Temperature: Questo controlla quanto l'IA è "creativa" o "casuale" quando risponde.

Hanno scoperto che non esiste un unico setup migliore.

• Per alcuni compiti, come riassumere il codice, mostrare all'IA degli esempi (Few-Shot) funzionava meglio.
• Per altri compiti, come nominare le funzioni, chiedere all'IA di pensare passo dopo passo (Chain-of-Thought) aiutava i modelli più piccoli a migliorare.
• A volte, un modello enorme e costoso era il migliore; altre volte, un modello più piccolo e meno costoso era altrettanto buono.

Questo significa che non puoi semplicemente scegliere un'unica "migliore" IA e usarla per tutto. È come cercare di usare un grosso martello per riparare un orologio; a volte serve un piccolo cacciavite, e a volte serve un martello pesante.

La Soluzione: BinJudge (L'Intelligente Controllore del Traffico)
Poiché non esiste un unico setup migliore, il team ha costruito BinJudge. Si tratta di un sistema leggero che funge da router intelligente.

1. Osserva un pezzo specifico di codice.
2. Si chiede: "Quale modello di IA e quale stile di domanda funzioneranno meglio per questo specifico pezzo di codice?"
3. Sceglie quella specifica combinazione e invia il codice a quel giudice.

I Risultati di BinJudge:

• Migliore Accuratezza: Scegliendo il giudice giusto per il compito, BinJudge ha migliorato l'accordo con gli esperti umani dal 4,5% al 24,7% rispetto all'uso di un singolo setup statico.
• Più Economico: Poiché spesso sceglie modelli più piccoli e meno costosi quando sono sufficienti, ha ridotto il costo tra lo 0,06x e lo 0,84x rispetto al costo di utilizzo del setup più costoso e "migliore".

Cosa Significa Tutto Questo

L'articolo conclude che non dobbiamo affidarci esclusivamente a costosi esperti umani per ogni singolo pezzo di codice, né dobbiamo accontentarci di stupidi parametri informatici che contano solo le parole. Possiamo usare giudici IA, ma dobbiamo essere intelligenti. Non possiamo semplicemente scegliere un'IA "migliore"; abbiamo bisogno di un sistema che si adatti, scegliendo lo strumento giusto per il lavoro giusto.

Gli autori sottolineano con cautela che, sebbene i giudici IA siano bravi, non sono perfetti. A volte possono confondersi se il codice è troppo vago o se l'IA diventa troppo "fluida" ma errata. Ma in generale, questo lavoro suggerisce che, con il giusto sistema adattivo, possiamo valutare le traduzioni di codice in un modo che è veloce, economico e sorprendentemente vicino a ciò che direbbe un esperto umano. È un grande passo avanti per rendere il mondo oscuro e disordinato del codice binario un po' più leggibile per tutti.