The Next Challenge for Agentic Cybersecurity: A Realistic, Contamination-Free Reverse Engineering Benchmark

Technische Samenvatting: SRE-Bench

Probleemstelling

Hoewel AI-agenten snel vooruitgaan in cybersecurity-taken met betrekking tot broncode, blijft er een kritieke kloof bestaan in hun vermogen om software te analyseren die uitsluitend als binaire bestanden wordt gedistribueerd. Dit is de realiteit voor hoogwaardige defensieve doelwitten (propriëtaire enterprise-software, firmware) en offensieve dreigingen (geobfusceerde malware), waarbij de broncode niet beschikbaar is. Het analyseren van deze binaire bestanden vereist Reverse Engineering (RE): het herstellen van hoogwaardige programmaregelmatigheden uit opaak vormige byte-representaties.

Huidige benchmarks voor agentische RE lijden aan twee fundamentele gebreken die hen verhinderen om werkelijke capaciteiten accuraat te meten:

1. Data-contaminatie: Veel benchmarks vertrouwen op publieke broncode of CTF-challenges. Als een model het doelwit heeft gezien in zijn pretraining-data, kan het de eigenlijke analyse omzeilen door het doel van het programma te herkennen, wat de prestatiecijfers kunstmatig opblaast. Bij RE is zelfs vage kennis van de intentie van een doelwit schadelijk, omdat dit top-down sturing biedt die het herstelproces afkort.
2. Gebrek aan Realistische Schaal en Bescherming: Bestaande benchmarks gebruiken vaak "speelgoed"-programma's of CTF-stijl challenges die de complexiteit van real-world software (duizenden regels code) en de geavanceerde anti-analyse beschermingen (obfuscatie, packing, anti-debugging) die in de praktijk voorkomen, missen.

Consequent is er geen rigoureuze testomgeving om te bepalen of sterke beveiligingscapaciteiten voor broncode overdraagbaar zijn naar binaire analyse.

Methodologie: Constructie van SRE-Bench

Om deze hiaten aan te pakken, introduceren de auteurs SRE-Bench, de eerste realistische, contaminatievrije RE-benchmark. De constructiemethodologie geeft prioriteit aan "clean-room" ontwikkeling en realistische complexiteit boven gemak.

1. Clean-Room Ontwikkeling

• Zero Contamination: Alle 19 doelwitprogramma's, de evaluatie-infrastructuur en de beschermingssuite werden vanaf nul ontwikkeld door RE-experts met een gemiddelde ervaring van zes jaar. Geen enkele code is afgeleid van publieke projecten.
• Private Specificaties: Elk programma werd geïmplementeerd op basis van private ontwerpspecificaties die nooit worden vrijgegeven.
• Adversarial Auditing: De auteurs gebruikten iteratieve "reward-hacking" audits, waarbij agenten werden afgezet tegen in uitvoering zijnde instanties om shortcuts (bijv. leesbare strings die verborgen gedrag onthullen) te identificeren en te patchen die krediet mogelijk maakten zonder echte RE.

2. Real-World Schaal en Domeinen

• Schaal: De benchmark bestaat uit 19 programma's met een gemiddelde van 16.915,8 Lines of Code (LoC), totaal meer dan 320K LoC. Dit is 30–470× groter dan eerdere RE-benchmarks.
• Domeinen: De programma's bestrijken vijf representatieve RE-domeinen die zijn geïdentificeerd via gesprekken uit de industrie:
  • Netwerkprotocollen: Propriëtaire versleutelde client-server stacks die reconstructie van de state machine vereisen.
  • Games: Een terminal roguelike met 20 verdiepingen met verborgen "Easter egg" gedragingen die worden getriggerd door specifieke logica.
  • Bestandsformaten: Een custom file compressor/encoder die de agent vereist om een multi-stage pipeline te reverse-engineeren om archieven te decoderen.
  • Malware: Een synthetische, veilige Linux-implant die zes malware-families simuleert (bijv. ransomware, C2), waarbij de taak defensieve opschoning is.
  • Firmware: Bare-metal firmware voor een fictionele microcontroller die controle vereist via een JTAG-stijl emulator.

3. Anti-Analyse Beschermingssuite

Om real-world defensies na te bootsen, hebben de auteurs een custom beschermingssuite gebouwd (27K LoC) met 44 verschillende primitieven verdeeld over negen families. Opvallend genoeg hebben meer dan de helft van deze primitieven geen publieke implementaties. Belangrijke kenmerken zijn onder meer:

• Per-page Authenticated Encryption: Pagina's worden versleuteld met sleutels die zijn afgeleid van de executie-context, wat memory dumps voorkomt.
• On-Demand Decryption: Code wordt pagina voor pagina gedecryptteerd op het moment van uitvoering, wat de aanwezigheid van plaintext minimaliseert.
• Measurement-Keyed Anti-Debugging: Decryptiesleutels worden gecorrumpeerd als er debugging-signalen (bijv. ptrace, breakpoints) worden gedetecteerd.
• Loader Virtualization: Kritieke laadlogica wordt uitgevoerd in een custom VM met geobfusceerde opcodes.
• Anti-Re-hosting: Voorkomt dat aanvallers decryptie-routines extraheren om ze in een apart proces uit te voeren.

4. Evaluatie Pipeline

• Instanties: De 19 programma's zijn gecompileerd in 262 binaire instanties (variërend door optimalisatie, symbol stripping, linking en protection presets).
• Taken: Elke instantie definieert 6 deterministisch gegradeerde taken (bijv. het herstellen van een protocol handshake, het triggeren van een verborgen game-gedrag), wat resulteert in 1.572 totale taken.
• Modellen: Vijf frontier LLM's (GPT-5.6-sol, Claude-Opus-5, GPT-5.5, Grok-4.5, GLM-5.2) werden geëvalueerd met een gestandaardiseerde harness met een bash-only toolset en standaard RE-tools (Ghidra, radare2, etc.). De totale evaluatiekosten bedroegen $31,4K.

Belangrijkste Resultaten

De evaluatie laat zien dat agentische RE grotendeels onopgelost blijft, zelfs voor de meest geavanceerde modellen.

• Prestatieplafond: Het sterkste model, GPT-5.6-sol, behaalde een gemiddelde score van 3,69/6 (61,4% van de maximale score) en loste slechts 31,5% van de instanties volledig op. Het zwakste model (GLM-5.2) loste 0% van de instanties volledig op.
• Impact van Bescherming: De interne beschermingssuite was de primaire bottleneck. Het halveerde de prestaties van GPT-5.6-sol (van 4,69 naar 2,50) en drukte de prestaties van alle andere modellen naar bijna nul.
• Divergentie van Menselijke Analisten:
  • Optimalisatie & Linking: In tegen tegenstelling tot menselijke analisten, die worstelen met compiler-optimalisaties en static linking, zijn huidige agenten relatief ongevoelig voor deze factoren.
  • Symbol Stripping: Agenten vertrouwen zwaar op lexicale ankers (functie-/variabele namen). Het strippen van symbolen veroorzaakte een significante daling in prestaties (bijv. GPT-5.6-sol daalde met 0,48 punten), wat suggereert dat agenten naamgeving prioriteren boven instructie-niveau redeneren.
• Contaminatie vs. Schaal: Ablatie-studies bevestigden dat beide factoren essentieel zijn.
  • Een clean-room speelgoedprogramma werd gemakkelijk opgelost door alle modellen.
  • Een publiek afgeleid programma (zelfs met wijzigingen) werd gemakkelijk opgelost door alle modellen.
  • Alleen de combinatie van private provenance en real-world schaal creëerde een moeilijkheidsgraad die de modellen van elkaar scheidde.

Betekenis en Claims

Het artikel claimt dat SRE-Bench een nieuwe standaard zet voor het evalueren van agentische cybersecurity door te bewijzen dat:

1. Broncode-capaciteit vertaalt zich niet naar binaire analyse: Sterke prestaties op broncode-benchmarks garanderen geen competentie in het reverse engineeren van binaire bestanden.
2. Contaminatiecontrole is niet onderhandelbaar: Benchmarks moeten strikt voorkomen dat modellen doelwitten herkennen; anders reflecteren metrieken geheugenretrieval in plaats van analyse.
3. Schaal doet ertoe: Real-world complexiteit (duizenden regels code) is een vereiste voor een zinvolle evaluatie; speelgoedprogramma's slagen er niet in de prestaties op echte doelwitten te voorspellen.
4. Huidige agenten zijn broos: Hoewel agenten enige structurele analyse kunnen afhandelen, falen ze significant wanneer ze worden geconfronteerd met real-world anti-analyse beschermingen en een gebrek aan het robuuste instructie-niveau redeneren dat vereist is voor volledig geobfusceerde binaire bestanden.

SRE-Bench dient als een rigouze, contaminatievrije testomgeving om vooruitgang in dit kritieke front te meten, en benadrukt dat de kloof tussen het begrijpen van broncode en binaire analyse een aanzienlijke uitdaging blijft voor het vakgebied.