Riepilogo Tecnico: AGENTCYBERRANGE

Problematica

I sistemi di IA all'avanguardia stanno dimostrando capacità crescenti in compiti di cybersicurezza interattivi, come l'ispezione di codebase, il rilevamento di vulnerabilità e la generazione di exploit. Tuttavia, la valutazione sistematica delle loro capacità offensive autonome rimane limitata dalla mancanza di un'infrastruttura di cyber-range multi-host aperta e riproducibile.

Gli esistenti benchmark pubblici (ad es. CTF, riproduzione di vulnerabilità o generazione di singoli exploit) spesso isolano le singole abilità dalla struttura end-to-end di intrusioni realistiche. Gli attacchi informatici reali comportano una catena operativa: scoperta di servizi esposti, ottenimento di un primo accesso (initial foothold), raccolta di informazioni interne ed espansione del compromesso attraverso host in rete tramite post-exploitation. Gli attuali benchmark non riescono a catturare questo flusso di lavoro, rendendo difficile osservare i rischi emergenti precocemente in condizioni che preservino l'intero ciclo di vita dell'attacco.

Metodologia

Gli autori introducono AGENTCYBERRANGE, un'infrastruttura di valutazione multi-range aperta, progettata per misurare la capacità di attacco informatico autonomo dei sistemi di IA all'avanguardia in ambienti realistici. Il sistema comprende due componenti principali:

1. La Suite di Benchmark

Il benchmark copre due fasi principali di attacchi realistici:

• Web Exploitation (WebExploitBench): Consiste in 110 vulnerabilità in 15 applicazioni web reali (ad es. CMS, e-commerce, motori di workflow AI). Include vulnerabilità reali zero-day e one-day, oltre a vulnerabilità sintetiche incorporate nei workflow applicativi. I compiti richiedono agli agenti di esplorare endpoint nascosti, inferire parametri ed esplorare vulnerabilità dalla superficie di attacco esposta.
• Post-Exploitation (PostExploitBench): Comprende 8 cyber range di tipo enterprise contenenti 156 host interni. Questi ambienti presentano topologie di rete multilivello, ruoli degli host realistici (DMZ, app interne) e pressioni difensive (honeypot, anti-virus, monitoraggio di tipo EDR). I compiti valutano la capacità di stabilire un accesso interno, scalare i privilegi, recuperare credenziali ed eseguire il movimento laterale.

Livelli di Difficoltà: Entrambi i percorsi definiscono tre livelli di difficoltà per controllare la disponibilità delle informazioni:

• Livello-0: Informazioni minime (solo URL del target o IP del punto di ingresso).
• Livello-1: Informazioni intermedie (URL vulnerabili o topologia di rete).
• Livello-2: Informazioni elevate (tipi di vulnerabilità o CVE/credenziali concrete).

2. La Pipeline di Valutazione CAGE

Per garantire un'esecuzione scalabile e riproducibile, gli autori hanno costruito CAGE, una toolchain modulare:

• Agent Adapters: Unificano agenti CLI eterogenei (ad es. Codex, Claude Code) sotto un'interfaccia comune.
• Agent Manager: Controlla i cicli di vita del runtime, isola i container e registra le tracce di esecuzione.
• Benchmark Manager: Distribuisce applicazioni web e cyber range in ambienti isolati, gestisce gli stati dei task e resetta gli ambienti tra le esecuzioni.
• Verifier: Verifica automaticamente il successo riportato rispetto alle prove di runtime (ad es. verifica l'SQL injection tramite stringhe canary, controlla l'escalation dei privilegi tramite marker di file in /root).

Configurazione Sperimentale

Gli autori hanno valutato sei sistemi di IA all'avanguardia con prompt e budget di step corrispondenti:

1. GPT-5.5 (con Codex)
2. Claude-Opus-4.7 (con Claude Code)
3. GLM-5.1 (con Claude Code)
4. DeepSeek-V4-Pro (con Claude Code)
5. Qwen-3.7-Max (con Qwen Code)
6. Kimi-2.6 (con Kimi Code)

I compiti sono stati limitati a 150 step per l'esplorazione web e 500 step per la post-exploitation, con un timeout di due ore per ogni task.

Risultati Chiave

Prestazioni di Web Exploitation

• GPT-5.5 con Codex ha ottenuto i tassi di successo più elevati, risolvendo il 16,1% dei task sotto Pass@3 (Avg.) e il 28,18% sotto Pass@3 (Max) nell'impostazione di Livello-0 (black-box).
• Sotto il Livello-2 (con suggerimenti concreti), il tasso di successo per GPT-5.5 è salito al 33,0%.
• Analisi Comportamentale: GPT-5.5 è stato l'unico agente a utilizzare visibilmente strumenti di scoperta di endpoint specifici per la sicurezza (ad es. ffuf). La maggior parte degli altri agenti si è affidata pesantemente a curl e python3.
• Limitazioni: Gli agenti hanno avuto difficoltà con la "profondità della vulnerabilità". I tassi di rilevamento sono scesi dal 35% alla profondità 2 all'11% alla profondità 6, indicando un fallimento nella navigazione di workflow applicativi profondi. È stata osservata un'alta varianza tra le esecuzioni, con molte vulnerabilità trovate in un unico tentativo.

Prestazioni di Post-Exploitation

• GPT-5.5 con Codex è stato nuovamente in testa, raggiungendo il 31,7% di Pass@3 (Avg.) nel Livello-0 e il 46,3% nel Livello-2.
• Claude-Opus-4.7 ha affrontato significativi rifiuti di sicurezza (12 tentativi interrotti), evidenziando la tensione tra l'allineamento della sicurezza e la valutazione delle capacità offensive.
• Capacità: Gli agenti hanno dimostrato la capacità di concatenare i passaggi (ad es. sfruttare un servizio, recuperare le credenziali, fare pivot verso host interni) e mutare i payload per bypassare le difese anti-virus.
• Fallimenti: Gli agenti hanno spesso sprecato step su host non vulnerabili e non sono riusciti a cercare sistematicamente credenziali a valle (ad es. fallendo nel trovare le credenziali di GitLab all'interno di un wiki di Confluence compromesso). Hanno inoltre spesso attivato honeypot e lasciato log di avviso, mancando della furtività dei penetration tester umani.

Risultati Fuori dal Benchmark

Durante la valutazione, i sistemi hanno identificato vulnerabilità valide non incluse nel set di riferimento del benchmark. In particolare, GPT-5.5 ha scoperto una vulnerabilità zero-day di arbitrari file write in ComfyUI (un popolare motore di workflow AI), dimostrando che l'IA all'avanguardia può identificare rischi reali oltre l'ambito previsto del test.

Significato e Rivendicazioni

Il documento sostiene che una valutazione open e end-to-end di un cyber-range è necessaria per osservare le capacità offensive emergenti in condizioni realistiche.

• Stato Attuale: I sistemi di IA all'avanguardia non sono ancora attaccanti end-to-end affidabili. Mostrano un'alta varianza, faticano nella pianificazione a lungo termine e mancano di furtività.
• Rischio Emergente: Tuttavia, possono già completare una frazione non banale di compiti di attacco realistici, inclusa l'esplorazione di applicazioni web reali, la navigazione in reti aziendali e l'adattamento alle difese.
• Implicazione: Gli autori sostengono che le valutazioni del rilascio dei modelli debbano evolversi per includere workflow di attacco controllati che colleghino la web exploitation con la post-exploitation. Affidarsi esclusivamente a benchmark isolati (come i CTF) è insufficiente per catturare i rischi operativi posti dagli agenti autonomi di IA.

Il lavoro fornisce una base per tracciare queste capacità nel tempo e rafforzare le difese contro future minacce informatiche guidate dall'IA autonoma. Il benchmark e la pipeline sono open-source per facilitare la ricerca riproducibile in questo dominio.