xOffense: An Autonomous Multi-Agent Framework for Penetration Testing with Domain-Adapted Large Language Models

1. Probleemstelling

Geautomatiseerde penetratietests (pentests) zijn cruciaal voor het beoordelen van moderne informatiebeveiliging, maar bestaande oplossingen ondervinden aanzienlijke beperkingen:

• Traditionele Automatisering: Deterministische of op heuristieken gebaseerde tools (bijv. DeepExploit) vertrouwen op rigide regels en hebben moeite met onbekende configuraties of onvolledige informatie.
• Versterkend Leren (RL): Hoewel adaptief, vereisen RL-gebaseerde agenten vereenvoudigde actie ruimten (bijv. "poort scannen") en enorme hoeveelheden dure interacties met de omgeving, wat hun overdraagbaarheid naar realistische netwerken beperkt.
• Huidige LLM-benaderingen: Recentere systemen (bijv. VulnBot, PentestGPT) maken gebruik van Large Language Models (LLM's), maar vertrouwen vaak op enorme, proprietaire modellen (bijv. GPT-4o, LLaMA-70B). Dit resulteert in:
  • Hoge operationele kosten en afhankelijkheid van API's.
  • Beperkte schaalbaarheid en aanpasbaarheid aan specifieke domeinen.
  • Problemen met hallucinaties, contextverlies over multi-stadia workflows heen, en slechte commando-vertaling in complexe scenario's.

Er is een dringende behoefte aan een kostenefficiënte, schaalbare en reproduceerbare oplossing die gebruikmaakt van kleinere, open-source modellen die specifiek zijn fijngefineerd voor het meerfasige karakter van penetratietests.

2. Methodologie: Het xOffense Framework

xOffense is een door AI aangedreven, autonoom multi-agent framework dat is ontworpen om door experts geleide pentests om te zetten in een volledig geautomatiseerde workflow. Het vervangt de afhankelijkheid van enorme algemene modellen door een domein-geadapterd mid-scale LLM.

Core Architectuur

Het systeem splitst de pentest-pijplijn op in drie gespecialiseerde fasen, gecoördineerd door een Task Orchestrator:

1. Verkenning (Reconnaissance): Agenten verzamelen inlichtingen (hosts, poorten, services) met behulp van tools zoals Nmap, Dirb en Gobuster.
2. Kwetsbaarheidsscan (Vulnerability Scanning): Agenten correleren bevindingen met CVE/CWE-databases met behulp van tools zoals Nikto, WPScan en sqlmap.
3. Exploitatie: Agenten genereren en testen payloads om toegang te krijgen of privileges te escaleren met behulp van Metasploit, Hydra en aangepaste scripts.

Belangrijke Technische Componenten

• Domein-geadapterd Mid-Scale LLM:

  • Basis Model: Qwen3-32B (32 miljard parameters, open-source).
  • Fine-Tuning: Het model is fijngefineerd met behulp van LoRA (Low-Rank Adaptation) met Chain-of-Thought (CoT) redeneerdata.
  • Trainingsdata: Een gecureerde dataset bestaande uit meer dan 1.000 machine write-ups van platforms zoals HackTheBox en TryHackMe, plus de WhiteRabbitNeo dataset. De data bevat synthetische CoT-sporen om gestructureerde, stap-voor-stap logische deductie te leren.
  • Optimalisatie: Training gebruikte DeepSpeed ZeRO-3 en FlashAttention v2 om het 32B-parametermodel efficiënt te verwerken op standaard hardware (NVIDIA A100).

• Grey-Box Fase Prompting:

  • In tegenstelling tot pure black-box testing, krijgen agenten gedeeltelijke systeeminzichten (bijv. protocolhints, waargenomen services, samenvattingen van eerdere scans).
  • Deze "grey-box"-strategie balanceert realisme met effectiviteit, vermindert contextverlies tussen fasen zonder volledige systeeminterne details te onthullen.

• Multi-Agent Orchestration & Reflectie:

  • Task Coordination Graph (TCG): Een gestructureerde acyclische graaf die taken, afhankelijkheden en uitvoeringsstatus definieert.
  • Check en Reflectie Mechanisme: Als een taak faalt, triggert de orchestrator een reflectielus. Het haalt vergelijkbare succesvolle gevallen op uit een Knowledge Repository (met behulp van RAG) en genereert het plan opnieuw met gecorrigeerde parameters of alternatieve strategieën.
  • Informatie Aggregator: Consolideert uitgebreide tool-outputs in beknopte samenvattingen om binnen het contextvenster van de LLM te passen (16k tokens), waardoor informatie-overbelasting wordt voorkomen.

• Uitvoeringsomgeving:

  • Draait op een Kali Linux VM met een MemAgent-verbeterd contextbeheersysteem om lange tool-outputs te verwerken door ze in stukken te verwerken.

3. Belangrijkste Bijdragen

1. AI-gedreven Multi-Agent Systeem: Een nieuw framework waarbij gespecialiseerde agenten (Recon, Scan, Exploit) samenwerken via een TCG, menselijke red team-workflows nabootsen met modulariteit en fouttolerantie.
2. Domein-geadapterd Mid-Scale LLM: Demonstreert dat een open-source model met 32 miljard parameters (Qwen3-32B), wanneer fijngefineerd met CoT pentest-data, betere prestaties levert dan veel grotere modellen (bijv. LLaMA-3-405B) in gespecialiseerde beveiligingstaken.
3. Grey-Box Prompting Strategie: Introduceert een contextbewuste prompting-mechanisme dat omgevingsaanwijzingen integreert om continuïteit tussen fasen te behouden terwijl testbeperkingen worden gerespecteerd.
4. Uitgebreide Empirische Validatie: Rigoureuze evaluatie op twee belangrijke benchmarks (AutoPenBench en AI-Pentest-Benchmark) die de effectiviteit van de aanpak bewijzen.

4. Experimentele Resultaten

Het framework werd geëvalueerd tegen state-of-the-art baselines (GPT-4o, LLaMA-3-70B/405B, VulnBot, PentestGPT) op AutoPenBench (33 taken) en AI-Pentest-Benchmark (13 realistische machines).

• Totale Taakvoltooiing:

  • xOffense (Qwen3-32B-finetune) behaalde een 72,72% totale voltooiingsgraad.
  • Dit presteerde aanzienlijk beter dan de basis Qwen3-32B (30,30%), LLaMA-3-405B (30,30%) en GPT-4o (21,21%).
  • In specifieke categorieën zoals Access Control (AC) behaalde xOffense 100% succes, vergeleken met 60% voor LLaMA-3-405B.

• Sub-taak Voltooiing (Robuustheid):

  • Enkele Experiment: xOffense behaalde een 79,17% sub-taak voltooiingsgraad, wat hoger is dan LLaMA-3-405B (69,05%).
  • Vijf Experimenten (Consistentie): xOffense behield een 60,94% voltooiingsgraad, aanzienlijk hoger dan LLaMA-3-405B (49,90%) en het basismodel (23,03%).

• Realistische Exploitatie (AI-Pentest-Benchmark):

  • Zonder RAG behaalde xOffense concurrerende of superieure resultaten op 4 van de 6 realistische kwetsbare machines vergeleken met VulnBot-baselines.
  • Met RAG (Knowledge Repository) behaalde xOffense 100% voltooiing op "Victim1" en "WestWild", wat aantoont dat retrieval-augmentatie gecombineerd met fine-tuning de kloof naar door mensen ondersteunde frameworks effectief overbrugt.

5. Betekenis en Implicaties

• Kostenefficiëntie & Toegankelijkheid: xOffense bewijst dat hoogwaardige autonome pentests geen dure, enorme proprietaire modellen vereisen. Het maakt implementatie mogelijk op standaard hardware met open-source modellen, waardoor geavanceerde beveiligingsautomatisering wordt gedemocratiseerd.
• Domeinadaptatie is Cruciaal: De resultaten benadrukken dat voor gespecialiseerde taken zoals pentests, het fijnfineeren van een mid-scale model met domeinspecifiek redeneren (CoT) effectiever is dan het gebruik van een groter, algemeen doelmodel zonder adaptatie.
• Schaalbaarheid en Reproduceerbaarheid: Het framework biedt een reproduceerbare, gestructureerde aanpak voor autonome beveiligingstests, waardoor de problemen van "contextverlies" en "hallucinaties" die gebruikelijk zijn bij huidige LLM-gebaseerde agenten, worden aangepakt.
• Defensieve Impact: Door het automatiseren van het ontdekken van kwetsbaarheden kan xOffense beveiligingsteams helpen om zwakke plekken sneller te identificeren en te verhelpen, wat uiteindelijk de beveiligingspositie van moderne systemen versterkt.

Conclusie: xOffense vertegenwoordigt een paradigmaverschuiving in autonome penetratietests, en demonstreert dat een zorgvuldig georkestreerd, domein-geadapterd multi-agent systeem dat mid-scale open-source LLM's gebruikt, state-of-the-art proprietaire oplossingen kan overtreffen in zowel effectiviteit als betrouwbaarheid.