Sintesi Tecnica: Disaccoppiamento tra Ricognizione ed Exploitation in Test di Penetrazione Web basati su LLM

Definizione del Problema

Sebbene i Large Language Models (LLM) mostrino una grande potenzialità nell'automazione dei compiti di cybersecurity, le attuali valutazioni degli agenti di penetration testing basati su LLM si affidano pesantemente a test black-box end-to-end. Questo approccio soffre di error cascading (cascata di errori): i fallimenti nella fase iniziale di ricognizione (ad esempio, l'interpretazione errata di telemetrie non strutturate o il mancato identificamento di una vulnerabilità) impediscono all'agente di raggiungere la fase di exploitation. Di conseguenza, la reale capacità di un agente di generare ed eseguire exploit viene mascherata da errori di percezione precedenti, portando a falsi negativi statistici. Ciò rende difficile per i ricercatori distinguere se un fallimento derivi da una mancanza di conoscenza fattuale, da un difetto nell'architettura di ragionamento o dall'incapacità di analizzare il rumore ambientale.

Metodologia

Per affrontare questi colli di bottiglia nella valutazione, gli autori propongono un framework di valutazione disaccoppiato in due fasi che separa la ricognizione autonoma dall'exploitation della vulnerabilità.

1. Architettura del Framework Disaccoppiato

Il framework aggrega la tradizionale pipeline di penetration testing (raccolta, scansione, verifica, exploitation) in due fasi ortogonali:

• Fase di Ricognizione (Reconnaissance): L'agente tenta di identificare la vulnerabilità target (ad esempio, producendo l'identificativo CVE corretto) utilizzando strumenti di probing e interpretando log non strutturati.
• Fase di Exploitation: L'agente tenta di costruire ed eseguire un payload. Fondamentalmente, se l'agente fallisce la fase di ricognizione, interviene un meccanismo di Ground-Truth Injection (Iniezione della Verità Fondamentale). Il framework interrompe l'esecuzione, inietta il contesto autentico della vulnerabilità (CVE e dettagli) nel prompt e permette all'agente di procedere all'exploitation. Ciò isola le prestazioni di exploitation dal rumore della ricognizione.

2. Configurazione Sperimentale

• Dataset: Un benchmark ad alta fedeltà di 70 testbed di vulnerabilità web ricostruiti da Vulhub e Vulfocus, che coprono gli standard OWASP Top 10 e CWE (ad esempio, SQL Injection, IDOR, Deserializzazione).
• Agenti: Sono stati valutati cinque framework di penetration testing open-source con architetture eterogenee:
  • Hexstrike-AI (Multi-agente, guidato da MCP)
  • CyberStrikeAI (Monolitico)
  • RedAmon (Guidato da grafi, Multi-agente)
  • NeuroSploit (Vincolato, Albero Simbolico)
  • Decepticon (Guidato da grafi, Multi-agente)
• Metriche:
  • Targeted Vulnerability Recall (TVR): Misura la capacità dell'agente di identificare autonomamente la vulnerabilità corretta durante la ricognizione.
  • Functional Success Rate (FSR): Misura la capacità dell'agente di attivare con successo l'exploit (ad esempio, una reverse shell) dopo l'iniezione della ground-truth.
• Ablazione: Gli esperimenti sono stati condotti con e senza una Verified Empirical Knowledge Base (VEKB) per isolare l'impatto della conoscenza esterna sulla generazione di codice e l'invocazione di strumenti.

Risultati Chiave

1. Il Gap di Capacità

Lo studio rivela un divario sostanziale tra la capacità di un agente di trovare una vulnerabilità e la sua capacità di sfruttarla una volta fornito il contesto:

• Capacità di Exploitation (FSR): Quando fornito con il contesto accurato della vulnerabilità (tramite ground-truth injection), gli agenti raggiungono un Functional Success Rate fino al 90,0% (specificamente Hexstrike-AI).
• Capacità di Ricognizione (TVR): In condizioni autonome senza conoscenza pregressa, il Targeted Vulnerability Recall si stabilizza a circa il 50,0%.
• Implicazione: Molti "fallimenti" nei test end-to-end sono in realtà fallimenti di ricognizione che mascherano una logica di exploitation riuscita. Gli agenti spesso falliscono nell'analizzare la telemetria non strutturata piuttosto che nel costruire l'exploit.

2. Trade-off Architetturali

Diverse architetture hanno dimostrato punti di forza distinti in base alla classe di vulnerabilità e alla complessità dell'interazione:

• Sistemi Multi-Agente (es. Hexstrike-AI): L'imposizione dell'isolamento dello stato tramite protocolli come MCP si è rivelata la più efficace per le interazioni a sequenza lunga (es. deserializzazione insicura) e per la gestione di log di errore rumorosi. Hanno raggiunto il più alto FSR (90,0%) e sono stati robusti contro la deriva dell'attenzione (attention drift).
• Architetture Monolitiche (es. CyberStrikeAI): Hanno performato meglio su vulnerabilità di iniezione a catena breve, dove il collasso del contesto è meno probabile, ma hanno faticato con catene di interazione lunghe.
• Design Guidati da Grafi (es. RedAmon, Decepticon): Hanno mostrato forza nelle vulnerabilità di controllo degli accessi cross-sessione (es. IDOR) grazie alla loro capacità di mantenere lo stato globale e confrontare i confini di privilegio tra diverse persone/profili.
• Architetture Vincolate (es. NeuroSploit): Si sono basate su alberi simbolici e regex, il che ha ridotto le allucinazioni ma ha limitato la mutazione del payload, rendendoli adatti per la verifica deterministica di N-day ma meno flessibili per scenari novel.

3. Impatto della Conoscenza e della Scala del Modello

• Iniezione di Conoscenza: L'integrazione della VEKB ha migliorato significamente le prestazioni in tutti i framework, riducendo i tassi di omissione nella ricognizione e correggendo gli errori di protocollo di basso livello nell'exploitation.
• Scala del Modello: Il semplice aumento della dimensione del modello base (ad esempio, passando da Gemini 3 Pro a GPT-5) non ha garantito prestazioni migliori. Nei framework monolitici, i modelli più grandi hanno talvolta sofferto di dispersione dell'attenzione (attention dispersion) quando elaboravano telemetrie di errore verbiose senza isolamento dello stato.

Significato e Rivendicazioni

Il paper sostiene di fornire il primo protocollo di benchmarking granulare che disaccoppia la ricognizione dall'exploitation per misurare accuratamente i confini di capacità degli agenti offensivi basati su LLM.

• Valore Diagnostico: Il framework permette ai ricercatori di attribuire i fallimenti specificamente agli "errori di percezione" (ricognizione) rispetto agli "errori di esecuzione" (exploitation), andando oltre il "black box" dei tassi di successo end-to-end.
• Guida al Design: I risultati suggeriscono che i futuri agenti di sicurezza offensiva automatizzati devono dare priorità a un rigido isolamento dello stato (ad esempio, tramite design multi-agente) per gestire il rumore degli ambienti reali, piuttosto che limitarsi a scalare i modelli base.
• Transizione nella Sicurezza: Il lavoro sottolinea uno spostamento nella sicurezza basata su LLM dalla generazione di codice statico verso l'esecuzione autonoma di exploit, dove la capacità di mantenere il contesto in mezzo al rumore avversariale è il collo di bottiglia principale.

Gli autori osservano che, sebbene il loro benchmark utilizzi CVE dichiarati, il paradigma disaccoppiato offre una base per il lavoro futuro sugli scenari zero-day, potenzialmente iniettando semantiche di vulnerabilità astratte invece di specifici identificativi CVE.