Riepilogo Tecnico: Agenti LLM Autonomi e CTF: Un Secondo Esame

Enunciato del Problema

Nonostante la proliferazione di agenti basati su Modelli Linguistici di Grande Dimensione (LLM) che promettono di automatizzare le attività di sicurezza offensiva, recenti affermazioni su tassi di successo quasi umani nelle sfide Capture-the-Flag (CTF) meritano scrutinio. L'industria della cybersecurity affronta una significativa carenza di forza lavoro, mentre gli attaccanti sfruttano rapidamente nuove vulnerabilità. Sebbene gli LLM possiedano conoscenze sulle classi di vulnerabilità e sugli strumenti, la sicurezza offensiva richiede pianificazione multi-step, uso adattivo degli strumenti e gestione coerente del contesto su lunghi orizzonti di interazione—capacità che gli agenti attuali faticano a dimostrare in modo affidabile. Inoltre, molti studi precedenti si basano su sistemi closed-source o su compiti proxy (ad esempio, riconoscimento di vulnerabilità) piuttosto che sull'esecuzione completa degli exploit, lasciando un vuoto nella comprensione delle vere capacità e limitazioni degli agenti autonomi nel penetration testing.

Metodologia

Gli autori conducono una valutazione rigorosa di agenti basati su LLM su un set curato di 30 sfide CTF web-based che coprono 14 classi di vulnerabilità (ad esempio, SQL injection, XSS, difetti di logica di business, race condition). Tutte le sfide sono state risolte manualmente dagli autori per fornire soluzioni di riferimento ground-truth per un'analisi granulare.

Architetture degli Agenti

Lo studio confronta tre architetture modulari specifiche per il dominio con una baseline generica:

1. Esecutore (E): Un agente monolitico responsabile della scoperta, della pianificazione e dell'esecuzione.
2. Esecutore + Valutatore (E+E): Un sistema multi-agente in cui un Valutatore assegna un punteggio alle azioni proposte dall'Esecutore prima dell'esecuzione, fornendo feedback per il raffinamento.
3. Pianificatore + Esecutore + Valutatore (P+E+E): Una pipeline strutturata in cui un Pianificatore (supportato da un Nodo di Ricognizione) formula un piano di attacco ad alto livello, che viene poi eseguito dall'Esecutore e monitorato dal Valutatore. Questo design disaccoppia la pianificazione dall'esecuzione.
4. Baseline (claude-code): Un assistente agenziale generico di livello produttivo (Opus 4.5) che determina autonomamente la propria architettura interna, inclusa la capacità di generare sotto-agenti.

Configurazione Sperimentale

• Modelli: Le architetture modulari sono state testate con GPT-4.1 e GPT-5. La baseline ha utilizzato claude-code (Opus 4.5).
• Esecuzione: Ogni architettura è stata eseguita tre volte per sfida (90 esecuzioni totali per architettura) per misurare la coerenza, mentre la baseline è stata eseguita una volta per sfida a causa dei vincoli sui token.
• Ambiente: Gli agenti hanno interagito con applicazioni web isolate in Docker tramite terminali SSH, utilizzando gli strumenti run_command e run_python.
• Metriche: Tasso di successo (massimo tra le esecuzioni), numero medio di passaggi di interazione, costo (USD) e durata in tempo reale (wall-clock).

Contributi e Risultati Chiave

1. Soffitto delle Prestazioni e Confronto con la Baseline

Lo studio rivela che gli agenti attuali sono ancora al di sotto della capacità umana.

• Tasso di Successo: Sia la migliore architettura ingegnerizzata (P+E+E con GPT-5) che il generico claude-code hanno risolto esattamente 19 sfide su 30 (63%).
• Dipendenza dal Modello: Il modello LLM sottostante è decisivo; GPT-4.1 ha risolto solo 9/30 compiti, mentre GPT-5 ha raggiunto 19/30, indicando che il ragionamento complesso multi-step richiede modelli dell'ultima generazione.
• Architettura vs. Scopo Generale: Sebbene claude-code abbia raggiunto lo stesso tasso di successo massimo della soluzione ingegnerizzata più complessa senza ingegneria specifica per il dominio, le soluzioni ingegnerizzate hanno offerto un'efficienza superiore.

2. Efficienza e Coerenza

Sebbene la risolvibilità massima fosse identica tra i sistemi forti, la complessità architetturale ha impattato significativamente efficienza e affidabilità:

• Costo e Passaggi: L'architettura P+E+E è stata la più efficiente in termini di costi, riducendo i passaggi medi da 31,56 (solo Esecutore) a 24,09 e abbassando i costi del 34% rispetto all'approccio monolitico.
• Coerenza: Le architetture multi-agente hanno dimostrato una maggiore robustezza. La configurazione P+E+E ha risolto la stessa sfida in tutte e tre le esecuzioni indipendenti per 16/30 compiti, rispetto a 12/30 per l'Esecutore monolitico.
• Overhead di Runtime: Nonostante l'efficienza nei passaggi, le architetture strutturate hanno sostenuto tempi di esecuzione (wall-clock) più elevati a causa dell'overhead nell'istanziare più agenti, mentre claude-code è rimasto veloce generando raramente sotto-agenti.

3. Analisi dei Fallimenti e Colli di Bottiglia

Lo studio identifica che i fallimenti si raggruppano costantemente attorno a categorie specifiche, indipendentemente dall'architettura dell'agente o dal modello utilizzato.

• Principale Collo di Bottiglia: Il riconoscimento della vulnerabilità è il punto di fallimento principale. Il Pianificatore ha correttamente identificato la vulnerabilità target in 23/30 casi; nei restanti 7, né gli agenti né claude-code sono riusciti a formulare un piano. Una volta riconosciuta una vulnerabilità, lo sfruttamento è riuscito nella stragrande maggioranza dei casi.
• Modalità di Fallimento Sistematiche:
  • Cross-Site Scripting (XSS): I fallimenti sono dovuti a limitazioni ambientali (mancanza di rendering del browser per l'esecuzione JavaScript) piuttosto che a errori di ragionamento.
  • SQL/Command Injection Cieche: I fallimenti derivavano da vincoli della finestra di contesto. Il lungo affinamento iterativo dei payload ha degradato la qualità e la coerenza del ragionamento.
  • Difetti di Logica di Business: Gli agenti hanno fallito costantemente nel ragionare sui flussi di lavoro dell'applicazione, ricorrendo alla ricerca di exploit tecnici standard (ad esempio, injection) invece di comprendere la logica prevista.
  • Race Conditions: Entrambi i sistemi hanno fallito nell'eseguire attacchi che richiedevano azioni concorrenti o sincronizzate, poiché le architetture operavano in sequenza e non inferivano la necessità di parallelismo.

Significato e Affermazioni

Il documento fornisce un "reality check" sulle affermazioni di prestazioni quasi umane nella sicurezza offensiva autonoma. Il suo significato principale risiede in:

1. Stabilire Baseline Forti: Dimostrare che agenti generici come claude-code sono baseline solide che eguagliano le prestazioni massime di sistemi multi-agente specifici per il dominio creati a mano.
2. Identificare il Valore Architetturale: Mostrare che, sebbene l'architettura non aumenti il soffitto dei compiti risolvibili, l'orchestrazione strutturata (in particolare il modello Pianificatore-Esecutore-Valutatore) migliora significativamente la coerenza, l'efficienza dei costi e la riduzione dei passaggi all'interno del sottoinsieme risolvibile.
3. Definire i Limiti: Chiarire che i limiti attuali non sono meramente architetturali ma derivano da lacune fondamentali nelle capacità degli LLM:
   • Tecnico: Mancanza di capacità ambientali (rendering del browser, concorrenza).
   • Cognitivo: Incapacità di ragionare sulla logica di business e di mantenere la coerenza su lunghe catene di interazione con stato.

Gli autori concludono che il progresso futuro richiede di affrontare queste specifiche barriere ambientali e cognitive, migliorando in particolare il riconoscimento delle vulnerabilità e la gestione del contesto a lungo termine, piuttosto che semplicemente aumentare la complessità architetturale.