STRIATUM-CTF: A Protocol-Driven Agentic Framework for General-Purpose CTF Solving

Probleemstelling

Offensieve beveiligingstests, zoals penetration testing en Capture-the-Flag (CTF)-wedstrijden, zijn traditioneel handmatig en arbeidsintensief. Menselijke analisten moeten complexe, niet-lineaire workflows uitvoeren: het enumereren van aanvalsoppervlakken, het interpreteren van scanner-uitvoer, het selecteren van exploitatie-methoden en het iteratief afstemmen van payloads.
Hoewel Large Language Models (LLM's) potentie hebben voor code-generatie, kampen ze met ernstige beperkingen in deze context:

1. Hallucinaties: LLM's genereren vaak syntactisch onjuiste commando's of verzonnen bestanden/bibliotheken, vooral bij gebrek aan grondige feedback uit de omgeving.
2. Context-drift: Bij lange taken (zoals CTF's met honderden interacties) verliezen modellen het overzicht van eerdere verkenningen ("Lost in the Middle"), wat leidt tot foutenpropagatie.
3. Reasoning-Action Gap: Modellen kunnen een kwetsbaarheid correct identificeren, maar falen bij het genereren van de exacte exploitatie-payload.
4. Menselijke Bottlenecks: Bestaande "copilot"-benaderingen vereisen menselijke tussenkomst, wat de snelheid beperkt en de agent niet in staat stelt om in real-time te reageren op dynamische veranderingen.

Methodologie: STRIATUM-CTF

De auteurs introduceren STRIATUM-CTF, een neuro-symbolisch agentframework dat LLM-redenering ontkoppelt van systeembewerkingen via het Model Context Protocol (MCP). Het systeem is opgebouwd uit drie lagen:

1. Redeneringslaag (Probabilistisch):

   • Een LLM (in dit geval Claude Sonnet 4.5) fungeert als strategische planner.
   • De agent genereert hoog-niveau strategieën en stelt taken op, maar is fysiek geïsoleerd van het besturingssysteem om directe uitvoering van hallucinaties te voorkomen.

2. Protocollaag (Symbolisch):

   • Dit is de kerninnovatie. Het MCP fungeert als een strenge validatielaag die alle LLM-uitvoer filtert.
   • In plaats van ruwe shell-commando's, communiceert de agent via gestructureerde JSON-schema's.
   • De laag fungeert als een "circuit breaker": als een parameter (bijv. een poortnummer of bestandsnaam) niet voldoet aan het schema, wordt het verzoek afgewezen voordat het de sandbox bereikt. Dit dwingt de agent om te opereren binnen een geldig actie-ruimte en elimineert hallucinaties op het niveau van de uitvoering.

3. Uitvoeringslaag (Deterministisch):

   • Bestaat uit een containeromgeving met beveiligde tools (Angr voor symbolische executie, Ghidra voor statische analyse, GDB voor runtime debugging, Nmap, FFUF, etc.).
   • Deze tools worden blootgesteld via MCP-servers die gestructureerde JSON-observaties teruggeven in plaats van ruwe tekststromen.

Werkingscyclus:
Het systeem volgt een recursieve cyclus: Plannen (taak decompositie) → Uitvoeren (MCP-gemedieerde tool-aanroep) → Parseren (gestructureerde inname van foutmeldingen/uitvoer) → Itereren (zelfcorrectie op basis van grondige feedback).

Belangrijkste Bijdragen

1. Protocol-gedreven Agentarchitectuur: Een nieuw framework dat MCP gebruikt om LLM-interacties met offensieve tools te standaardiseren. Dit vermindert hallucinaties drastisch door de output-manifold in te perken tot strikt geldige schema's.
2. Integratie van Gespecialiseerde Primitieven: Het framework integreert complexe domeinspecifieke tools (zoals symbolische executie en dynamische debugging) direct in de context van de agent, waardoor diep binaire analyse mogelijk is zonder menselijke tussenkomst.
3. Validatie via Live Wedstrijd: In tegenstelling tot veel onderzoek dat alleen synthetische datasets gebruikt, is het systeem getest in een live, competitieve omgeving met dynamische uitdagingen.

Resultaten

De auteurs hebben het systeem gevalideerd via twee routes:

1. Benchmark Evaluatie:

   • Dataset: 15 CTF-uitdagingen (geheugenbeschadiging, reverse engineering, web-exploitatie, cryptografie).
   • Resultaten: De volledige configuratie (Baseline) bereikte een succesrate van 86,7%. Zelfs de minimale configuratie (alleen schema's, geen documentatie) haalde 77,8%.
   • Analyse: De resultaten tonen aan dat de prestaties voornamelijk worden gedreven door de symbolische gronding via MCP en niet door uitgebreide prompt-engineering. De "Minimal" agent presteerde robuust zonder zware contextuele documentatie.

2. Live CTF Wedstrijd (November 2025):

   • Een team genaamd "Graveyard" gebruikte STRIATUM-CTF in een universiteitswedstrijd met 22 deelnemende teams (voornamelijk studenten).
   • Uitslag: STRIATUM-CTF behaalde eerste plaats met 215 punten.
   • Vergelijking: Het systeem versloeg de tweede en derde plaats (respectievelijk 205 en 200 punten) en alle andere teams scoorden onder de 135 punten.
   • Efficiëntie: De agent was aanzienlijk sneller dan mensen (taakverwerking in <1 seconde vs. 30-60 seconden voor mensen) en vertoonde geen cognitieve vermoeidheid bij het systematisch testen van hypotheses.

Betekenis en Toekomstperspectief

STRIATUM-CTF bewijst dat protocol-gestuurde gronding (grounding) een cruciale oplossing is voor het hallucinatieprobleem in autonome cyber-systemen. Door de LLM te beperken tot een gestructureerde interface, kan het systeem complexe, multi-stap aanvalspaden navigeren zonder de context te verliezen.

• Toekomstige werk: De auteurs richten zich op het verminderen van token-overhead door hiërarchische contextmanagement (een lokaal LLM als semantisch filter) en het uitbreiden van het actie-ruimte met domeinspecifieke primitieven voor complexere scenario's.
• Impact: Het systeem bereikt nu het competentieniveau van gevorderde studenten met uitgebreide CTF-ervaring en markeert een belangrijke stap richting robuuste, autonome cyber-operaties die menselijke experts kunnen overtreffen in snelheid en precisie.