Environment-Grounded Multi-Agent Workflow for Autonomous Penetration Testing

Probleemstelling

De toenemende complexiteit en onderlinge verbondenheid van digitale infrastructuur, met name in Operationele Technologie (OT) zoals robotica, creëren een dringende behoefte aan schaalbare en betrouwbare beveiligingsbeoordelingsmethoden. Moderne robots zijn complexe cyber-fysische systemen die vaak gebruikmaken van middleware zoals ROS (Robot Operating System) en ROS2. Deze systemen hebben echter aanzienlijke aanvalsoppervlakten door blootgestelde topics, services en vaak te permissieve standaardconfiguraties.

Bestaande oplossingen voor geautomatiseerde penetration testing met Large Language Models (LLM's) hebben drie belangrijke tekortkomingen:

1. Onvolledige automatisering: Ze kunnen vaak geen autonome taken genereren op basis van eerdere bevindingen, waardoor echte end-to-end workflows ontbreken.
2. Gebrek aan persistente context: Bestaande methoden verliezen informatie tussen modules of vertrouwen te veel op samenvattingen, wat leidt tot inconsistenties bij langdurige testen.
3. Beperkte traceerbaarheid en toezicht: Er ontbreken robuuste mechanismen om te documenteren waarom bepaalde acties zijn ondernomen. Dit is een kritiek probleem gezien nieuwe regelgeving zoals de EU AI Act, die transparantie en menselijk toezicht vereist voor veiligheidsgerelateerde AI-systemen.

Methodologie

De auteurs stellen een omgeving-gebaseerde multi-agent workflow voor, gebouwd met LangGraph, die specifiek is ontworpen voor penetration testing in ROS-omgevingen. Het systeem bestaat uit drie coöpererende agents die in een gesloten lus werken:

1. Planner: Genereert gestructureerde takenlijsten op basis van de huidige staat van het systeem en de beschikbare kennis.
2. Executor: Voert de taken uit door ze om te zetten in uitvoerbare commando's (bijv. Nmap-scans of ROS-exploitatiescripts).
3. Memory Agent: Beoordeelt de resultaten van uitgevoerde taken en slaat ze op in een persistente, grafische kennisbank (GraphMemory).

Kerninnovaties in de architectuur:

• GraphMemory: In plaats van statische kennis, bouwt het systeem dynamisch een gedeelde graaf op tijdens de uitvoering. Deze graaf captureert de waarneembare systeemstaat, inclusief netwerktopologie, communicatiekanalen, kwetsbaarheden en uitgevoerde exploitaties. Dit zorgt voor een continue, up-to-date weergave van het doelnetwerk.
• Operational Modes: Het systeem werkt binnen vooraf gedefinieerde modi (bijv. Scanning Mode met Nmap of ROS Exploitation Mode). Een menselijke operator schakelt tussen deze modi, maar binnen een modus opereren de agents autonoom. Dit biedt een balans tussen autonomie en menselijke controle (Human-in-the-loop).
• Iteratieve Cyclus: De Memory Agent queryt de kennisgrafiek en geeft relevante inzichten terug aan de Planner. Hierdoor kan het systeem iteratief en contextbewust plannen, gebaseerd op wat er al is ontdekt.

Experimentele Opstelling:
De evaluatie vond plaats in een gecontroleerde Docker-omgeving die een robotische productielijn simuleerde (met ROS1/ROS2 containers, een PLC en een Universal Robots-arm). De prestaties werden getest via een Capture-the-Flag (CTF) scenario met vier fasen:

• CTF-0: Ontdekking van alle 6 nodes.
• CTF-1: Identificatie van de ROS-master (poort 11311).
• CTF-2: Inventarisatie van actieve ROS-topics.
• CTF-3: Lezen van een actief ROS-bericht.

De workflow werd vergeleken met de state-of-the-art HackSynth framework en getest met verschillende LLM-modellen (o.a. llama-3.3-70b, deepseek-v3.2, gemma-3-27b).

Belangrijkste Resultaten

De resultaten tonen een significante verbetering ten opzichte van bestaande benchmarks:

• 100% Succescijfer: Het voorgestelde systeem slaagde erin om de volledige CTF-uitdaging te voltooien in 100% van de testruns (n=5) met de beste modellen (zoals llama-3.3-70b-instruct).
• Vergelijking met HackSynth: Bestaande frameworks (HackSynth) slaagden weliswaar in de basisnetwerkontdekking (CTF-0), maar faalden consequent bij de ROS-specifieke taken (CTF-2 en CTF-3). Ze konden de overgang van netwerkontdekking naar exploitatie niet maken en leden aan fouten zoals "Reasoning-Action Mismatch" (acties die niet overeenkomen met de redenering) en "Step Repetition" (herhaaldelijk falende strategieën).
• Robuustheid: Het nieuwe systeem kon zelfs met kleinere modellen (zoals deepseek-v3.2) de ROS-master vinden en topics inventariseren, hoewel de prestaties varieerden afhankelijk van het model.
• Traceerbaarheid: Door de GraphMemory kan elke stap van de aanvalspad volledig worden gereconstrueerd. Dit biedt de transparantie die vereist is voor naleving van regelgeving zoals de EU AI Act.

Bijdragen en Significantie

De belangrijkste bijdragen van dit paper zijn:

1. Architecturale Innovatie: De introductie van een environment-grounded multi-agent architectuur die een dynamische, grafische geheugenstructuur gebruikt om context te behouden en redundantie te voorkomen.
2. Regelgevingsconformiteit: Het systeem is ontworpen met traceerbaarheid en menselijk toezicht als kernprincipes, waardoor het voldoet aan de strenge eisen van de EU AI Act voor veiligheidskritieke AI-systemen.
3. Praktische Toepasbaarheid in OT: Het bewijst dat LLM-gedreven automatisering effectief kan worden ingezet voor specifieke, complexe domeinen zoals robotica (ROS), waar algemene tools vaak falen.
4. Overwinnen van Bestaande Beperkingen: Het lost het probleem op van contextverlies in multi-agent systemen door persistente, gestructureerde opslag van netwerkinformatie, wat leidt tot een hoger niveau van autonome besluitvorming zonder in te leveren op controle.

Conclusie:
Dit onderzoek toont aan dat een zorgvuldig ontworpen multi-agent workflow, gekoppeld aan een persistente grafische kennisbank, een krachtige en regelgevings-conforme oplossing biedt voor autonome penetration testing in robotica. Het overtreft bestaande methoden aanzienlijk in betrouwbaarheid en traceerbaarheid, en biedt een blauwdruk voor de toekomst van beveiliging in kritieke infrastructuur.