xOffense: An Autonomous Multi-Agent Framework for Penetration Testing with Domain-Adapted Large Language Models

1. Enunciato del Problema

Il penetration testing (pentesting) automatizzato è fondamentale per la valutazione della sicurezza informatica moderna, tuttavia le soluzioni esistenti presentano limitazioni significative:

• Automazione Tradizionale: Gli strumenti deterministici o basati su euristiche (ad esempio DeepExploit) si affidano a regole rigide e faticano a gestire configurazioni inedite o informazioni incomplete.
• Apprendimento per Rinforzo (RL): Sebbene adattivi, gli agenti basati su RL richiedono spazi di azione semplificati (ad esempio "scansiona porta") e enormi quantità di interazioni costose con l'ambiente, limitando la loro trasferibilità alle reti reali.
• Approcci LLM Attuali: I sistemi recenti (ad esempio VulnBot, PentestGPT) sfruttano i Modelli Linguistici di Grandi Dimensioni (LLM) ma dipendono spesso da modelli proprietari massicci (ad esempio GPT-4o, LLaMA-70B). Ciò comporta:
  • Elevati costi operativi e dipendenze da API.
  • Scalabilità e adattabilità limitati a domini specifici.
  • Problemi di allucinazioni, perdita di contesto nei flussi di lavoro multistadio e scarsa traduzione dei comandi in scenari complessi.

Vi è un urgente bisogno di una soluzione efficiente in termini di costi, scalabile e riproducibile che utilizzi modelli open-source più piccoli, ottimizzati specificamente per la natura multifase del penetration testing.

2. Metodologia: Il Framework xOffense

xOffense è un framework autonomo multi-agente guidato dall'intelligenza artificiale progettato per trasformare il pentesting guidato da esperti in un flusso di lavoro completamente automatizzato. Sostituisce la dipendenza da modelli generici massicci con un LLM di scala media adattato al dominio.

Architettura Principale

Il sistema scompone la pipeline del pentest in tre fasi specializzate, coordinate da un Orchestratore di Attività:

1. Ricognizione: Gli agenti raccolgono informazioni (host, porte, servizi) utilizzando strumenti come Nmap, Dirb e Gobuster.
2. Scansione delle Vulnerabilità: Gli agenti correlano i risultati con le banche dati CVE/CWE utilizzando strumenti come Nikto, WPScan e sqlmap.
3. Sfruttamento: Gli agenti generano e testano payload per ottenere l'accesso o elevare i privilegi utilizzando Metasploit, Hydra e script personalizzati.

Componenti Tecnici Chiave

• LLM di Scala Media Adattato al Dominio:

  • Modello Base: Qwen3-32B (32 miliardi di parametri, open-source).
  • Fine-Tuning: Il modello viene ottimizzato utilizzando LoRA (Low-Rank Adaptation) con dati di ragionamento Chain-of-Thought (CoT).
  • Dati di Addestramento: Un dataset curato composto da oltre 1.000 report scritti da macchine su piattaforme come HackTheBox e TryHackMe, più il dataset WhiteRabbitNeo. I dati includono tracce CoT sintetiche per insegnare deduzioni logiche strutturate e passo dopo passo.
  • Ottimizzazione: L'addestramento ha utilizzato DeepSpeed ZeRO-3 e FlashAttention v2 per gestire efficientemente il modello da 32 miliardi di parametri su hardware standard (NVIDIA A100).

• Prompting in Fase Grey-Box:

  • A differenza del test puramente black-box, agli agenti vengono fornite informazioni parziali sul sistema (ad esempio suggerimenti sui protocolli, servizi osservati, riepiloghi di scansioni precedenti).
  • Questa strategia "grey-box" bilancia realismo ed efficacia, riducendo la perdita di contesto tra le fasi senza rivelare l'intero interno del sistema.

• Orchestrazione Multi-Agente e Riflessione:

  • Grafo di Coordinamento delle Attività (TCG): Un grafo aciclico strutturato che definisce attività, dipendenze e stato di esecuzione.
  • Meccanismo di Controllo e Riflessione: Se un'attività fallisce, l'orchestratore attiva un ciclo di riflessione. Recupera casi simili di successo da un Repository di Conoscenza (utilizzando RAG) e rigenera il piano con parametri corretti o strategie alternative.
  • Aggregatore di Informazioni: Consolida le output verbose degli strumenti in riepiloghi concisi per adattarsi alla finestra di contesto dell'LLM (16k token), prevenendo il sovraccarico informativo.

• Ambiente di Esecuzione:

  • Esegue su una VM Kali Linux con un sistema di gestione del contesto potenziato da MemAgent per gestire output lunghi degli strumenti elaborandoli a blocchi.

3. Contributi Chiave

1. Sistema Multi-Agente Guidato dall'AI: Un framework innovativo in cui agenti specializzati (Ricognizione, Scansione, Sfruttamento) collaborano tramite un TCG, emulando i flussi di lavoro dei red team umani con modularità e tolleranza ai guasti.
2. LLM di Scala Media Adattato al Dominio: Dimostra che un modello open-source da 32 miliardi di parametri (Qwen3-32B), quando ottimizzato con dati di pentest CoT, supera modelli molto più grandi (ad esempio LLaMA-3-405B) in compiti di sicurezza specializzati.
3. Strategia di Prompting Grey-Box: Introduce un meccanismo di prompting consapevole del contesto che integra segnali ambientali per mantenere la continuità delle fasi preservando al contempo i vincoli di testing.
4. Validazione Empirica Estesa: Valutazione rigorosa su due benchmark principali (AutoPenBench e AI-Pentest-Benchmark) che dimostra l'efficacia dell'approccio.

4. Risultati Sperimentali

Il framework è stato valutato rispetto a baseline all'avanguardia (GPT-4o, LLaMA-3-70B/405B, VulnBot, PentestGPT) su AutoPenBench (33 attività) e AI-Pentest-Benchmark (13 macchine reali).

• Completamento Complessivo delle Attività:

  • xOffense (Qwen3-32B-finetune) ha raggiunto un tasso di completamento complessivo del 72,72%.
  • Questo risultato ha superato significativamente il Qwen3-32B base (30,30%), LLaMA-3-405B (30,30%) e GPT-4o (21,21%).
  • In categorie specifiche come Controllo degli Accessi (AC), xOffense ha raggiunto il 100% di successo, rispetto al 60% di LLaMA-3-405B.

• Completamento delle Sottotask (Robustezza):

  • Singola Esperienza: xOffense ha raggiunto un tasso di completamento delle sottotask del 79,17%, superando LLaMA-3-405B (69,05%).
  • Cinque Esperienze (Coerenza): xOffense ha mantenuto un tasso di completamento del 60,94%, significativamente più alto di LLaMA-3-405B (49,90%) e del modello base (23,03%).

• Sfruttamento Reale (AI-Pentest-Benchmark):

  • Senza RAG, xOffense ha ottenuto risultati competitivi o superiori su 4 macchine vulnerabili reali su 6 rispetto alle baseline di VulnBot.
  • Con RAG (Repository di Conoscenza), xOffense ha raggiunto il 100% di completamento su "Victim1" e "WestWild", dimostrando che l'aumento del recupero combinato con il fine-tuning colma efficacemente il divario con i framework assistiti da umani.

5. Significato e Implicazioni

• Efficienza dei Costi e Accessibilità: xOffense dimostra che il penetration testing autonomo ad alte prestazioni non richiede modelli proprietari massicci e costosi. Permette il deployment su hardware standard utilizzando modelli open-source, democratizzando l'automazione della sicurezza avanzata.
• L'Adattamento al Dominio è Critico: I risultati evidenziano che per compiti specializzati come il pentesting, ottimizzare un modello di scala media con ragionamento specifico del dominio (CoT) è più efficace che utilizzare un modello più grande e generico senza adattamento.
• Scalabilità e Riproducibilità: Il framework offre un approccio strutturato e riproducibile al testing di sicurezza autonomo, affrontando i problemi di "perdita di contesto" e "allucinazioni" comuni negli attuali agenti basati su LLM.
• Impatto Difensivo: Automatizzando la scoperta delle vulnerabilità, xOffense può aiutare i team di sicurezza a identificare e rimediare alle debolezze più rapidamente, rafforzando infine la postura di sicurezza dei sistemi moderni.

Conclusione: xOffense rappresenta un cambiamento di paradigma nel penetration testing autonomo, dimostrando che un sistema multi-agente attentamente orchestrato e adattato al dominio, che utilizza LLM open-source di scala media, può superare le soluzioni proprietarie all'avanguardia sia in termini di efficacia che di affidabilità.