Beyond Text Matching: Towards Reference-Free Evaluation for Human-Oriented Binary Reverse Engineering

Stel je voor dat je een geheime boodschap probeert te lezen die geschreven is in een taal die is gehusseld, waarvan de interpunctie is verwijderd en waarin alle namen van de betrokken personen zijn gewist. Dit is wat er gebeurt wanneer beveiligingsexperts proberen computerprogramma's te begrijpen die zijn gecompileerd naar "binair" code — de ruwe, door machines leesbare instructies die draaien op je telefoon of laptop. Meestal komen deze programma's met een handige "broncode" handleiding, maar wanneer hackers of malware-auteurs hun sporen wissen, verdwijnt die handleiding. Experts moeten speciale tools gebruiken om de gehusselde binaire code terug te vertalen naar iets dat op code lijkt, maar vaak komt het eruit als een rommelige, verwarrende brij van getallen en generieke namen zoals "sub_401B20". Om dit te begrijpen, moeten ze het herschrijven naar een mensvriendelijk verhaal, een proces dat "Human-Oriented Binary Reverse Engineering" wordt genoemd. Maar hier komt het lastige deel: hoe weet je of het nieuwe, opgeschoonde verhaal eigenlijk goed is? Je kunt niet simpelweg een computer vragen om te tellen hoeveel woorden overeenkomen met een perfect antwoord, want het perfecte antwoord bestaat niet (de originele handleiding is immers weg). En een menselijke expert vragen om elke regel te lezen is te traag, te duur, en zij worden moe. Dus is de grote vraag: kunnen we een superintelligente AI leren om als een rechter op te treden en ons te vertellen of de vertaling goed is, zonder dat we de originele handleiding nodig hebben om het mee te vergelijken?

Dit paper duikt in precies die vraag en onderzoekt of Large Language Models (LLMs) — hetzelfde soort AI dat gedichten kan schrijven of wiskundeproblemen kan oplossen — de "scheidsrechters" kunnen zijn voor deze rommelige codetranslaties. De onderzoekers ontdekten dat deze AI-rechters inderdaad veel beter zijn in het begrijpen van de betekenis van de code dan ouderwetse computermetrieken, die alleen zoeken naar overeenkomende woorden. Sterker nog, de AI-rechters stemden in 63,20% van de gevallen overeen met menselijke experts, terwijl de oude computermethoden slechts in 35,04% van de gevallen overeenstemming vertoonden. Echter, het paper ontdekte ook een verrassende wending: er is niet één enkele "beste" AI-opstelling die in elke situatie werkt. Soms werkt een specifieke AI-model met een specifieke manier van vragen geweldig voor het benoemen van functies, maar faalt het jammerlijk bij het samenvatten van code. Het is alsof je probeert één paar schoenen te gebruiken voor hardlopen, zwemmen en wandelen; je hebt de juiste uitrusting nodig voor de juiste klus.

Om dit op te lossen, bouwden de auteurs een slim systeem genaamd "BinJudge". Denk aan een slimme verkeersregelaar die naar elk specifiek stukje code kijkt en direct de perfecte AI-rechter en de beste manier om de vraag aan hem te stellen kiest. Dit systeem kiest niet zomaar één "beste" rechter voor iedereen; het past zich ter plekke aan. Door dit te doen, wist BinJudge zelfs dichter bij menselijke experts te komen (de overeenstemming verbeteren met tot wel 24,7%) en bespaarde het tegelijkertijd een enorme hoeveelheid geld — het kostte slechts een fractie (tussen 0,06 en 0,84 keer) van wat het zou kosten om de meest dure, statische opstelling te gebruiken. Het paper bewijst dat, hoewel we niet simpelweg één magische knop kunnen kiezen om alles op te lossen, we wel een slim, flexibel systeem kunnen bouwen dat het evalueren van deze lastige codetranslaties snel, goedkoop en verrassend nauwkeurig maakt.

De Achtergrond: Het decoderen van de gehusselde boodschap

Voordat we bij de hoofdzaak komen, leggen we de basis met een paar belangrijke ideeën.

Binary Reverse Engineering is als het proberen te reconstrueren van een taart nadat deze is gebakken, platgedrukt en waarbij alle glazuur eraf is geschraapt. Je hebt het eindproduct (het binaire bestand), maar je hebt niet het recept (de broncode). Experts gebruiken tools om het proces om te keren, waarbij de machinecode wordt terugveranderd in iets dat op programmeercode lijkt. Omdat het originele "recept" echter weg is, is het resultaat vaak rommelig.

Human-Oriented Binary Reverse Engineering (HOBRE) is de volgende stap. Het is de kunst van het nemen van die rommelige, machine-achtige code en het op te poetsen zodat een mens het daadwerkelijk kan lezen. Dit houdt in dat functies coole, beschrijvende namen krijgen (in plaats van "sub_401B20"), heldere samenvattingen worden geschreven van wat de code doet, en de structuur wordt aangepast zodat het eruitziet als een goed geschreven verhaal.

Het Evaluatieprobleem: Hoe weet je of het "oppoetsen" is gelukt?

• De Oude Manier (Tekstmatching): Stel je voor dat je een essay van een student beoordeelt door te tellen hoeveel woorden overeenkomen met het antwoordmodel van de leraar. Als de student zegt "De kat rende snel" en het model zegt "De feline sprintte vlot", dan zegt de oude computer: "Fout! Nul punten!" omdat de woorden niet overeenkomen. Dit is slecht voor code, omdat er veel manieren zijn om hetzelfde te zeggen.
• De Menselijke Manier: Een menselijke expert leest de code en zegt: "Ja, dat is logisch." Dit is de "gouden standaard", maar het is traag, duur en moeilijk op te schalen.
• Het Nieuwe Idee (LLM-als-een-rechter): Wat als we een AI vragen, die miljoenen boeken en codestukken heeft gelezen, om de leraar te zijn? In plaats van alleen woorden te tellen, begrijpt de AI de betekenis. De AI weet dat "kat" en "feline" hetzelfde zijn, en kan zien of een samenvatting daadwerkelijk de code uitlegt of alleen maar deftig klinkt.

De Reis van het Paper: Het testen van de AI-rechters

De onderzoekers, onder leiding van Xiuwei Shang en zijn team, besloten dit "AI-rechter"-idee op de proef te stellen. Ze gokten niet zomaan; ze bouwden een enorme, hoogwaardige speeltuin genaamd BinJudgeBench.

Het Bouwen van de Speeltuin:
Ze namen 51 echte softwareprojecten, compileerden deze naar binaire code, en verwijderden vervolgens alle nuttige namen en commentaren. Daarna vroegen ze 8 verschillende AI-modellen om de code weer op te knappen. Om te weten wie het goed deed, lieten ze drie menselijke experts (die in feften eigenlijk code-detectives zijn) de resultaten lezen en beoordelen op een schaal van 1 tot 5. Ze controleerden op zaken als:

• Maakt het zin? (Semantische Correctheid)
• Helpt het een mens om de code sneller te begrijpen? (Utiliteit)
• Is het geschreven in een natuurlijke, menselijke stijl? (Idiomatisering)

Dit creëerde een "Gouden Standaard"-dataset met meer dan 1.200 zorgvuldig beoordeelde voorbeelden.

De Eerste Ontdekking: AI-rechters versus Ouderwetse Metrieken
Het team vergeleek de AI-rechters met de oude "woordtel"-metrieken. De resultaten waren duidelijk: de AI-rechters waren veel beter in het begrijpen van de menselijke kant van zaken.

• De AI-rechters stemden in 63,20% van de gevallen overeen met de menselijke experts.
• De oude computermetrieken vertoonden slechts in 35,04% van de gevallen overeenstemming.

Dit suggereert dat AI daadwerkelijk de betekenis van de code kan "vatten", en niet alleen de spelling. Het is het verschil tussen een robot die telt hoe vaak je "hallo" zegt en een vriend die begrijpt dat je daadwerkelijk iemand warm begroet.

De Tweede Ontdekking: De Mythe van "Eén Formaat Past Iedereen"
Hier wordt het interessant. De onderzoekers probeerden verschillende instellingen voor de AI-rechters:

• Verschillende Modellen: Sommige AI's zijn enorm en duur (zoals GPT-4o), andere zijn kleiner en goedkoper.
• Verschillende Prompts: Sommigen kregen de opdracht om alleen een score te geven (Zero-Shot), anderen kregen voorbeelden te zien van wat een "5" of een "1" is (Few-Shot), en sommige werden gevraagd om hun redenering stap voor stap uit te leggen (Chain-of-Thought).
• Verschillende Temperaturen: Dit regelt hoe "creatief" of "willekeurig" de AI is bij het antwoorden.

Ze ontdekten dat er geen enkele beste opstelling is.

• Voor sommige taken, zoals het samenvatten van code, werkte het laten zien van voorbeelden aan de AI (Few-Shot) het best.
• Voor andere taken, zoals het benoemen van functies, hielp het de kleinere modellen beter te presteren door de AI te vragen stap voor stap te denken (Chain-of-Thought).
• Soms was een enorme, dure AI het beste; andere keren was een kleinere, goedkopere AI net zo goed.

Dit betekent dat je niet zomaar de ene "beste" AI kunt kiezen en die voor alles kunt gebruiken. Het is als proberen een horloge te repareren met een sloophamer; soms heb je een kleine schroevendraaier nodig, en soms een zware hamer.

De Oplossing: BinJudge (De Slimme Verkeersregelaar)
Omdat er niet één beste opstelling is, bouwde het team BinJudge. Dit is een lichtgewicht systeem dat fungeert als een slimme router.

1. Het bekijkt een specifiek stukje code.
2. Het vraagt zichzelf: "Welk AI-model en welke vraagstijl zullen het beste werken voor dit specifieke stukje code?"
3. Het kiest die specifieke combinatie en stuurt de code naar die rechter.

De Resultaten van BinJudge:

• Betere Nauwkeurigheid: Door de juiste rechter voor de klus te kiezen, verbeterde BinJudge de overeenstemming met menselijke experts met 4,5% tot 24,7% vergeleken met het simpelweg gebruiken van een enkele, statische opstelling.
• Goedkoper: Omdat het vaak kleinere, goedkopere modellen kiest wanneer die goed genoeg zijn, verminderde het de kosten tot tussen de 0,06x en 0,84x van de kosten van het gebruik van de duurste "beste" opstelling.

Wat Dit Betekent

Het paper concludeert dat we niet afhankelijk hoeven te zijn van dure menselijke experts voor elk stukje code, noch hoeven genoegen te nemen met domme computermetrieken die alleen woorden tellen. We kunnen AI-rechters gebruiken, maar we moeten dat wel slim doen. We kunnen niet zomaar één "beste" AI kiezen; we hebben een systeem nodig dat zich aanpast en de juiste tool voor de juiste klus kiest.

De auteurs merken er voorzichtig bij op dat hoewel AI-rechters geweldig zijn, ze niet perfect zijn. Ze raken soms in de war als de code te vaag is of als de AI te "vloeiend" maar foutief wordt. Maar over het algal genomen suggereert dit werk dat we, met het juiste adaptieve systeem, codetranslaties kunnen evalueren op een manier die snel, goedkoop en verrassend dicht bij wat een menselijke expert zou zeggen, is. Het is een grote stap naar het begrijpelijker maken van de duistere, rommelige wereld van binaire code voor iedereen.