Capture the Flags: Family-Based Evaluation of Agentic LLMs via Semantics-Preserving Transformations

Probleemstelling

Agente Large Language Models (LLMs) worden steeds vaker ingezet voor cybersecurity-taken, zoals het vinden van kwetsbaarheden en het uitvoeren van geautomatiseerde penetratietests. Bestaande benchmarks, zoals Cybench en Intercode, evalueren deze modellen op basis van Capture-The-Flag (CTF) uitdagingen. Deze benchmarks hebben echter twee fundamentele beperkingen:

1. Beperkte inzicht in robuustheid: De uitdagingen zijn onafhankelijke, puntsgewijze taken. Ze tonen hoe een model presteert op een specifieke set, maar geven weinig inzicht in hoe robuust het model is tegenover variaties in de code (bijv. hernoeming van variabelen of toevoeging van irrelevante code).
2. Risico op data-verontreiniging: Omdat veel CTF's openbaar zijn, bestaat het risico dat modellen deze tijdens het trainen hebben gezien, wat de validiteit van de evaluatie ondermijnt.

Er is behoefte aan een methode om te testen of een agent daadwerkelijk code begrijpt en gereedschappen (tools) effectief gebruikt, in plaats van alleen oppervlakkige patronen te herkennen of uit het geheugen te halen.

Methodologie

De auteurs introduceren een nieuwe evaluatiebenadering gebaseerd op CTF-families. In plaats van onafhankelijke taken, wordt één originele CTF gebruikt om een familie van semantisch equivalente uitdagingen te genereren via semantics-preserving transformations (transformaties die de betekenis van de code behouden, maar de syntaxis veranderen).

De Tool: Evolve-CTF
De kern van de methode is een nieuwe tool genaamd Evolve-CTF, die specifiek is ontworpen voor Python-challenges. De tool past de volgende transformaties toe:

• R (Rename): Vervangt alle variabelen, functies en klassen door willekeurige namen (uit coderingsvocabulaire of multilinguale strings).
• T1 (Insert loops): Voegt redundante, niet-uitgevoerde for- en while-lussen toe.
• T2 (Insert conditionals): Voegt redundante if-statements of try-except blokken toe met onmogelijke voorwaarden.
• T3 (Insert functions): Voegt overbodige functie- of lambda-definities toe.
• T4 (Insert comments): Voegt synthetische, soms misleidende comments toe.
• T5 (Combine): Combineert T1 tot en met T4 sequentieel.
• O (Obfuscate): Past agressieve obfuscatie toe met PyObfuscator (hernoemen, versleutelen van strings, comprimeren met gzip).

Deze transformaties worden gecombineerd in een boomstructuur (zie Figuur 2 in het paper), waarbij elke tak een nieuwe variant van de challenge vertegenwoordigt. De originele exploit-strategie blijft voor alle varianten geldig, maar de syntactische complexiteit en leesbaarheid variëren sterk.

Experimenteel Ontwerp

• Data: 16 Python-CTF's uit de Cybench en Intercode suites.
• Modellen: Evaluatie van 13 LLM-configuraties (9 basismodellen, waaronder GPT-5, Claude, Gemini, DeepSeek, Kimi, etc.), waarbij sommige modellen met expliciete "redenering"-modi werden getest.
• Framework: Evaluatie uitgevoerd via het Inspect-framework, waarbij agents toegang hebben tot tools zoals bash, python en een submit-tool.
• Protocol: Elke variant werd 5 keer herhaald met een token-budget van 200.000 tokens per run.

Belangrijkste Bijdragen

1. Concept van CTF-families: Een nieuwe paradigmaverschuiving in de evaluatie van agente LLMs, waarbij robuustheid en generalisatie worden getest binnen gestructureerde ruimtes van gerelateerde problemen.
2. Evolve-CTF Tool: Een open-source tool die automatisch families van semantisch equivalente CTF's genereert, waardoor het mogelijk is om de effecten van specifieke transformaties geïsoleerd te bestuderen.
3. Groot Dataset: Een uitgebreide dataset met evaluatieresultaten van 13 state-of-the-art modellen op 24 varianten per originele challenge (totaal 384 unieke scenario's per model).
4. Benchmark-analyse: De methode fungeert ook als diagnose-instrument om te bepalen welke bestaande benchmarks te eenvoudig zijn en geen onderscheidend vermogen hebben.

Resultaten

De evaluatie leverde de volgende cruciale inzichten op:

• Robuustheid tegen oppervlakkige wijzigingen: Modellen zijn uitzonderlijk robuust tegen identifier-hernoeming (R) en het toevoegen van enkele soorten redundante code (zoals T1-T4). De prestaties dalen nauwelijks bij deze isolatie-transformaties.
• Compositie en Obfuscatie zijn kritiek:
  • Compositie (T5): Wanneer transformaties worden gecombineerd (T5), daalt de prestatie significant. Dit suggereert dat modellen moeite hebben met het verwerken van complexe, verwarrende codestructuren, zelfs als de logica intact blijft.
  • Obfuscatie (O): De toepassing van PyObfuscator (O) leidt tot de grootste daling in succespercentages (vaak onder de 10%). Modellen kunnen de gecomprimeerde en versleutelde code vaak niet analyseren zonder succesvolle tool-gebruik.
• Tool-gebruik: Bij complexe transformaties (T5 en O) nemen de tool-aanroepen sterk toe. Modellen gebruiken tools zoals grep, sed en python om codefragmenten te zoeken en obfuscatie te proberen te ontrafelen. Bij succesvolle oplossingen zien we strategisch gebruik van deze tools.
• Redenering heeft weinig impact: Het inschakelen van expliciete "high-reasoning" modi had weinig tot geen positief effect op de succespercentages. In sommige gevallen presteerde het zelfs iets slechter.
• Gebrek aan discriminatie: Drie van de Intercode-challenges bleken zo eenvoudig dat bijna alle modellen ze oplosden, ongeacht de transformatie. Dit bevestigt dat deze specifieke benchmarks geen onderscheidend vermogen hebben voor state-of-the-art agents.
• Token-gebruik: De meeste mislukkingen (97,9%) waren te wijten aan het bereiken van het token-limiet, niet aan het indienen van een verkeerde flag. Dit betekent dat modellen veel moeite doen (veel tool-aanroepen en scripts schrijven) voordat ze falen, in plaats van snel een fout te maken.

Betekenis en Conclusie

Dit paper biedt een fundamenteel nieuwe manier om de capaciteiten van agente LLMs in cybersecurity te evalueren. Het bewijst dat huidige modellen goed kunnen omgaan met simpele code-veranderingen, maar kwetsbaar zijn voor geavanceerde obfuscatie en gecombineerde transformaties die dieper inzicht en geavanceerd tool-gebruik vereisen.

De studie benadrukt dat "snelheid" of "succes op een statische benchmark" niet gelijkstaat aan echte code-vaardigheid. De Evolve-CTF methode biedt een gestructureerde manier om de grenzen van modelrobustheid te testen en helpt ontwikkelaars en onderzoekers om te begrijpen waar modellen echt falen: niet bij het herkennen van patronen, maar bij het analyseren van verwarrende, gereduceerde of gecomprimeerde code. Dit is een essentiële stap voor het ontwikkelen van veiligere en betrouwbaardere AI-systemen voor cybersecurity-toepassingen.