Technische Samenvatting: COHORT – Collaborative Orchestration for Hardening via Offensive Replay on Emulated Topologies

1. Probleemstelling

Het mitigeren van een specifieke tegenstander in een bedrijfsnetwerk is traditioneel een traag, door experts afhankelijk proces. Het vereist een analist om een op maat gemaakte mitigatie af te leiden, deze te valideren zonder de productie te verstoren, en te verifiëren dat het de specifieke aanval effectief blokkeert. Deze workflow wordt beperkt door twee primaire knelpunten:

1. Expert-afhankelijkheid: Het proces leunt zwaar op menselijk oordeel om nieuwe controles te synthetiseren, in plaats van te vertrouwen op gecureerde playbooks.
2. Productierisico: Experimentele aanpassingen aan firewallregels, routeringsbeleid of hostconfiguraties kunnen niet veilig worden uitgevoerd op live productienetwerken vanwege het risico op het verstoren van legitieme operaties.

Bestaande tools (IDS/IPS, SIEM, SOAR) voeren doorgaans gecureerde reacties uit voor bekende patronen of valideren detectiebereik via Breach-and-Attack Simulation (BAS) tegen ongewijzigde netwerken. Zij genereren niet autonoom nieuwe, inzetbare mitigaties of valideren deze door de geobserveerde tegenstander opnieuw uit te voeren tegen het gewijzigde netwerk.

2. Methodologie: Het COHORT-framework

COHORT is het eerste end-to-end framework dat is ontworpen om autonoom inzetbare mitigaties te genereren, te implementeren en te valideren tegen een specifieke geobserveerde tegenstander. Het opereert volledig binnen een hoogwaardige geëmuleerde omgeving om blootstelling aan productie te voorkomen.

Kernarchitectuur

Het framework maakt gebruik van een role-decomposed multi-agent Large Language Model (LLM) workflow die draait op een GNS3-emulator die echte vendor-firmware (FortiGate, Cisco IOS, Open vSwitch) start. De tegenstander wordt geëmuleerd met behulp van Caldera, dat handelt volgens MITRE ATT&CK-gealigneerde acties.

De workflow bestaat uit de volgende gespecialiseerde agenten:

• Mitigation Suggester: Analyseert het operationele rapport van de tegenstander en de netwerktopologie om herbruikbare, enterprise-brede controlestrategieën voor te stellen (bijv. segmentatie, routeringsrestricties).
• Mitigation Implementer: Vertaalt de geselecteerde strategie naar concrete apparaatconfiguratiecommando's binnen een begrensd commando-budget.
• Critic: Beoordeelt de implementatie vóór de replay om configuratiefouten, beleidsschendingen of afwijkingen van de intentie te identificeren. Dit triggert een iteratieve implementatie–kritiek loop (tot $K$ iteraties) om de configuratie te verfijnen voordat deze wordt geaccepteerd of verworpen.
• Judge: Evalueert de uitkomst door dezelfde tegenstander opnieuw af te spelen tegen het gemitigeerde netwerk. Het vergelijkt de Attack Step Success Rate (ASSR) van de gemitigeerde run met de ongemitigeerde baseline.
• Summarizer: Produceert een voor mensen leesbaar artefact van het proces.

Validatiemechanismen

Validatie berust op offensive replay in plaats van abstracte simulatie of expert-proxies. Een mitigatie wordt pas als succesvol beschouwd als het aan twee criteria voldoet:

1. Aanval Disruptie: Het vermindert strikt de Attack Step Success Rate (Mitigation Effectiveness, $ME > 0$).
2. Connectiviteit Behoud: Het slaagt voor twee onafhankelijke probes vanaf de gecompromitteerde host: een LAN-ping naar een intern doelwit en een HTTP-verzoek naar een internet-endpoint.

Daarnaast ondersteunt het framework Cumulatieve Evaluatie, waarbij goedgekeurde mitigaties op een persistente netwerkstatus worden gestapeld om cumulatieve effecten te meten en regressie te voorkomen.

3. Belangrijkste Bijdragen

• End-to-End Autonoom Framework: COHORT adresseert zowel de expert-kennis bottleneck als de productie-risico bottleneck. Het genereert en valideert autonoom mitigaties met echte apparaatcommando's in een hoogwaardige emulator, waardoor de noodzaak voor menselijke synthese tijdens de generatiefase wordt weggenomen.
• Multi-Agent Decompositie: Het paper demonstreert dat het decomponeren van de workflow in gespecialiseerde rollen (Suggester, Implementer, Critic) aanzienlijk beter presteert dan een single-agent baseline.
• Iteratieve Kritiek Loop: De inclusie van een Critic-agent die configuraties verfijnt vóór de replay, wordt getoond als een cruciaal onderdeel van het succes van het systeem.
• Cumulatieve Mitigatie Evaluatie: Het framework introduceert een mechanisme om defensies te stapelen op een persistente staat, wat de cumulatieve effecten onthult die per-mitigatie evaluaties missen.

4. Experimentele Resultaten

Het framework werd geëvalueerd over drie enterprise topologieën (Small, Medium, Large) en vier aanvalsscenario's (Ransomware, Lateral Movement, DNS Exfiltration, Data Theft), gebruikmakend van GPT-5.4 mini als het onderliggende model.

• Mitigation Success Rate (MSR): Het multi-agent framework bereikte een algehele MSR van 46,7%. Dit is een 4,4× verbetering ten opzichte van een single-agent baseline (10,7%) die hetzelfde model en tool-toegang gebruikt.
  • Decompositie van Verbetering: Rolspecialisatie (Multi-Agent zonder Critic) was verantwoordelijk voor ongeveer 75% van de winst (38,6% MSR), terwijl de iteratieve kritiek loop verantwoordelijk was voor de resterende 25%.
• Cumulatieve Effectiviteit: Wanneer goedgekeurde mitigaties werden gestapeld, bereikte het systeem een plateau van ongeveer 52% cumulatieve reductie van de aanvalsstappen bij de vierde defensie.
• Topologie Onafhankelijkheid: Er werd geen statistisch significant verschil in MSR gedetecteerd tussen kleine, medium en grote topologieën.
• Mitigatie Categorieën:
  • Host-gecentreerde controles (bijv. Host Hardening, Application Control) domineerden zowel in volume als in effectiviteit (bijv. Application Control bereikte een MSR van 82,1%).
  • Netwerkgebaseerde filtering was de op één na meest voorkomende categorie qua volume, maar had een lage succesrate (5,8%). Falen was primair te wijten aan regels die op de verkeerde netwerk-hop waren geplaatst, in de verkeerde volgorde werden geëvalueerd, of er geen rekening mee hielden met verborgen tussenliggende stappen, in plaats van een onjuiste intentie.

5. Betekenis en Omvang

Het paper claimt significantie als het eerste framework dat de cirkel sluit tussen adversary emulation, real-device configuration generation en offensive replay validation. Door experimenten te beperken tot een hoogwaardige emulator, maakt het de veilige afleiding van inzetbare mitigaties mogelijk die anders te riskant zouden zijn om op productienetwerken te testen.

Beperkingen en Omvang:
De auteurs geven expliciet aan dat de resultaten niet generaliseren naar:

• Adaptieve tegenstanders: Het framework gaat uit van een gescript model van de tegenstander dat niet opnieuw plant in reactie op defensies.
• Windows endpoints: Evaluatie was beperkt tot Linux-containers vanwege de beperkte resources van de emulator.
• Vendor Heterogeniteit: Testen was beperkt tot FortiGate, Cisco IOS en Open vSwitch.
• Productie-implementatie: Het framework levert gevalideerde kandidaten, maar de uiteindelijke implementatie blijft een aparte, door mensen gestuurde stap.

Het paper concludeert dat hoewel COHORT erin slaagt om de afleiding en validatie van mitigaties voor gescripte tegenstanders te automatiseren, het systeem menselijke beoordeling vereist vóór implementatie om de veiligheid te garanderen, vooral gezien het potentieel van het framework om nieuwe kwetsbaarheden (bijv. container escape zwakheden) aan het licht te brengen tijdens het hardeningproces.