Technische Samenvatting: CAESAR – Een Gecoördineerd Multi-Agent Framework voor Geautomatiseerde Cyber-inbraken

1. Probleemstelling

Grote Taalmodellen (LLM's) hebben hun bekwaamheid aangetoond in offensieve beveiligingstaken, zoals het triageren van kwetsbaarheden en het opstellen van exploits. Echter, huidige single-agent benaderingen persen de volledige inbraakworkflow – bewijsextractie, planning, uitvoering en validatie – samen in één conversatiestroom. Deze compressie leidt tot contextverschuiving, foutpropagatie en hallucinatie, met name in complexe, meerstapscampagnes zoals Advanced Persistent Threats (APT's).

Inbraken in de echte wereld vereisen onderling afhankelijke fasen (reconnaissance, hypothesevorming, exploitconstructie, activiteiten na compromittering) die het praktische tokenbudget en de geheugenconsistentie van één enkele LLM-aanroep overstijgen. Bestaande multi-agent systemen richten zich vaak op algemene samenwerking of debat, maar falen er expliciet in om de rolgrenzen, provenance van artefacten en strikte kostenbeperkingen (token, tijd, risico) te modelleren die noodzakelijk zijn voor adversarisch, meerstapsredeneren. Bijgevolg storten single-agent pipelines vaak in op trial-and-error sequenties die niet convergeren in heterogene domeinen zoals binaire analyse of algebraïsche inferentie.

2. Methodologie: Het CAESAR Framework

Het artikel presenteert CAESAR (Coordinated Adversarial Execution and Strategic Reasoning), een gecoördineerd multi-agent framework dat is ontworpen om inbraakachtige workflows operationeel te maken via een gestructureerd, rond-gebaseerd protocol.

A. Formeel Model en Architectuur

CAESAR wordt formeel gedefinieerd als een tuple $F = \langle R, E, K, W, \Pi, V \rangle$, die opereert over een doelomgeving $E$ met een beperkt operationeel budget $\Gamma = \langle c_{tok}, c_{time}, c_{risk} \rangle$. Het framework decomposeert de workflow in vijf getypeerde roloperators:

1. Detective (D): Extraheren van opvallende kenmerken en bewijs uit de doelomgeving.
2. Strategist (S): Organiseren van bewijs in hypothese-graaf, het construeren van alternatieve oplossingspaden.
3. General (G): Evalueren van hypothesen tegen het budgetvector en selecteren van een uitvoerbaar plan, het toewijzen van acties aan specifieke executors.
4. Executor (E): Oproepen van domeinspecifieke tools (bijv. debuggers, disassemblers) om atomaire acties uit te voeren.
5. Validator (V): Inspecteren van uitvoeringstraces, valideren van uitkomsten, en blokkeren van de promotie van betrouwbare patronen naar een persistente kennisbank.

B. Het Rond-protocol

Het framework voert uit in discrete rondes, waarbij elke ronde door zes fasen verloopt:

1. Initialisatie: Een schrijfbeveiligde snapshot van de persistente kennisbank ($K$) wordt gemaakt voor de ronde.
2. Bewijsverzameling: De Detective geeft gebonden observatieacties, waardoor gestructureerde bewijsartefacten worden gegenereerd.
3. Hypotheseconstructie: De Strategist bouwt een hypothese-graaf met behulp van huidig bewijs en herbruikbare patronen uit $K$.
4. Planvorming: De General scoort hypothesen met een nuttigheidsfunctie $U_G$ die de succeskans afweegt tegen token-, tijd- en risicokosten. Een plan wordt onderhandeld en toegewezen aan executors.
5. Taakuitvoering: Executors roepen tools aan en geven gestructureerde traces af.
6. Evaluatie en Promotie: De Validator scoort alle artefacten. Alleen die welke een promotiedrempel $\tau_{prom}$ overschrijden, worden vastgelegd in de persistente kennisbank $K$ als getypeerde entries (Patronen, Capabilities of Feedback).

C. Belangrijke Mechanismen

• Validator-gedreven Kennispromotie: Om foutversterking te voorkomen, worden alleen gevalideerde, hoog-vertrouwensartefacten gepromoveerd naar $K$. Dit zorgt ervoor dat volgende rondes bouwen op geverifieerde waarnemingen in plaats van gehallucineerde staten.
• Getypeerde Artefacten en Provenance: Elk artefact draagt een type, inhoudshash en provenance-link, waardoor de Validator tussenproducten kan auditeren tegen specificaties.
• Budgetbewuste Planning: De General optimaliseert expliciet voor een trade-off vector, zodat plannen binnen token-, tijd- en risicolimieten blijven.
• Schrijfisolatie: Rollen hebben geïsoleerde schrijftoegang tot hun specifieke werkruimtepartities, waarbij de Validator fungeert als de enige schrijver naar de gedeelde kennisbank.

3. Belangrijkste Bijdragen

1. Frameworkvoorstel: De introductie van CAESAR, dat rolspecialisatie, validator-gedreven geheugen en budgetbewuste planning operationaliseert onder een formeel getypeerd rond-protocol.
2. Systematische Evaluatie: Een uitgebreide evaluatie op 25 real-world CTF-uitdagingen (Reverse, Pwn, Crypto, Misc, Web) over vier hedendaagse LLM-backends (GPT-5, Gemini 2.5, Grok-4, DeepSeek-R1).
3. Generalisatiestudie: Een secundaire studie die aantoont dat het coördinatiemodel overdraagbaar is naar sociale-engineering infiltratie-scenario's, met een hogere extractiesucces en lager detectierisico dan single-agent baselines.
4. Defensieve Inzichten: Empirisch bewijs dat suggereert dat coördinatiestructuur, en niet de ruwe modelcapaciteit, de drijvende kracht is achter emergente aanvalskracht, wat impliceert dat er behoefte is aan structurele monitoring van rol-dynamiek.

4. Resultaten en Analyse

De evaluatie vergeleek CAESAR met single-agent baselines onder identieke tool-toegang en budgetbeperkingen.

• Succespercentages en Efficiëntie: CAESAR verbeterde consistent de taaksuccespercentages en verkortte de tijd tot oplossing in alle vijf CTF-categorieën. Bijvoorbeeld, in de Reverse-categorie met GPT-5 verbeterde het succespercentage met +0,36, en daalde de oplostijd van ~54 minuten (single-agent) naar ~24 minuten (multi-agent).
• Adaptief Gedrag: Het framework toonde adaptief leren. De prestaties stabiliseerden na een klein aantal succesvolle rondes, waarbij de validator-gedreven geheugen de foutversterking onderdrukte. Rol-scores (toegewezen door de Validator) toonden reconfiguratie nabij succesvolle runs, wat aangeeft dat het systeem leerde van gevalideerde feedback.
• Backend-onafhankelijkheid: De voordelen van coördinatie waren consistent over alle vier LLM-backends. Hoewel de ruwe prestaties varieerden per model (bijv. Grok-4 toonde hogere redeneerscores op Crypto-taken), was de relatieve winst geleverd door de multi-agent structuur stabiel. Dit suggereert dat de verbetering voortkomt uit het coördinatieprotocol en niet uit specifieke modelcapaciteiten.
• Overdracht Sociale Engineering: In de sociale-engineering-studie behaalde het multi-agent team 3/3 verkregen geheimen zonder detectie tegen ronde 10, terwijl de single-agent baseline slechts 1/3 behaalde. De multi-agent benadering slaagde erin om over te schakelen van directe probing (wat detectie triggerde) naar indirecte eliciteringsstrategieën.

5. Betekenis en Claims

Het artikel beweert dat coördinatie, en niet de ruwe model-intelligentie, de dominante factor is in de waargenomen aanvalseffectiviteit.

• Structurele Kwetsbaarheid: De bevindingen suggereren dat toekomstige door AI aangedreven tegenstanders waarschijnlijk zullen manifesteren als gedistribueerde ensembles die gedeeltelijke informatie uitwisselen en strategieën verfijnen over rondes heen, in plaats van enkele "superintelligente" instanties.
• Defensieve Implicaties: Huidige inhoudsgerichte beveiligingsmaatregelen (input/output-filters, alignment-layers) zijn onvoldoende omdat ze berichten geïsoleerd evalueren. Een gecoördineerde aanvaller verspreidt intentie over rollen en rondes, waardoor het schadelijke signaal pas ontstaat wanneer berichten worden gecorreleerd.
• Verschuiving in Defensie: De auteurs betogen dat defensie moet verschuiven van inhoudsgebaseerde filtering naar structurele monitoring van rol-dynamiek, provenance van artefacten en strategie-vorming over berichten heen. De op protocol-niveau gesignaleerde signalen die door CAESAR worden geëxternaliseerd (bijv. herhaalde verwijzingen naar beschermde entiteiten over agents heen, geleidelijke rol-specialisatie) worden voorgesteld als de noodzakelijke grootheden voor structurele defensie.

Erkende Beperkingen

De auteurs merken expliciet op dat:

• CTF-uitdagingen vereenvoudigde proxies zijn voor echte inbraken, zonder actieve verdedigers en persistente beperkingen.
• Het framework niet is getest tegen live, geharde productiesystemen.
• De sociale-engineering-studie gebruikte door LLM's gegenereerde persona's, geen echte mensen, wat claims over operationele effectiviteit tegen daadwerkelijke menselijke cognitie beperkt.
• Het protocol uitgaat van coöperatieve agents; Byzantijnse of bedrieglijke rollen vallen buiten het bestek.