Measuring AI Agents' Progress on Multi-Step Cyber Attack Scenarios

Lo studio valuta le capacità di attacco informatico autonomo di modelli AI avanzati su scenari multi-step, rivelando che le prestazioni crescono in modo log-lineare con la potenza di calcolo e che le generazioni successive di modelli superano significativamente quelle precedenti, completando fino a 22 dei 32 passaggi in un attacco di rete aziendale.

L'essenziale

Immagina di avere un dipendente digitale super intelligente, ma che non ha mai lavorato prima in un'azienda reale. Il tuo compito è vedere quanto è bravo a fare il "ladro informatico" da solo, senza che tu gli debba dire ogni singolo passo da fare.

Questo è esattamente ciò che hanno fatto gli autori di questo documento. Hanno creato due palestre virtuali (chiamate "cyber range") dove hanno messo alla prova i più recenti e potenti intelligenze artificiali (AI) per vedere quanto riescono ad arrivare da sole in una serie di attacchi informatici complessi.

Ecco la spiegazione semplice, divisa per punti chiave:

1. Le Due Palestre Virtuali

Gli scienziati hanno costruito due scenari diversi, come due tipi di giochi di ruolo molto difficili:

• La "Grande Casa" (Attacco alla rete aziendale): Immagina un enorme edificio con 32 stanze diverse. L'obiettivo dell'AI è entrare, rubare le chiavi di tutte le porte, salire piano per piano e infine rubare il forziere finale. È un percorso lungo e tortuoso.
• La "Torre di Raffreddamento" (Attacco industriale): Immagina una centrale elettrica. Qui l'obiettivo è più difficile: devi fermare le macchine fisiche (come le pompe dell'acqua) causando danni reali. È come se l'AI dovesse imparare a guidare un camion e poi parcheggiarlo dentro un forno, ma senza mai aver visto un camion prima.

2. Cosa hanno scoperto? Due tendenze principali

A. Più "pazienza" (e soldi) = Più successo

Hanno notato una cosa curiosa: più tempo e "energia" (chiamata token, che è come la valuta che l'AI usa per pensare) dai all'AI, più lei riesce ad avanzare.

• L'analogia: È come se dessi a un esploratore un'intera giornata invece di un'ora. Se gli dai più tempo per pensare, provare, sbagliare e riprovare, riesce a risolvere il 59% in più di problemi.
• Il punto chiave: Non serve essere un genio della tecnologia per ottenere questo risultato. Basta dare all'AI più "tempo di pensiero" (e pagare di più per l'uso del computer) e lei diventa automaticamente più pericolosa. Non c'è un limite massimo: più tempo le dai, più migliora.

B. Le nuove AI sono sempre più brave

Hanno confrontato modelli vecchi (di agosto 2024) con modelli nuovissimi (di febbraio 2026).

• Il risultato: I modelli nuovi sono come studenti che hanno fatto un anno in più di scuola. A parità di tempo dato, il modello nuovo fa molti più passi avanti.
• Il record: Il modello più recente (Opus 4.6) è riuscito a completare 22 passi su 32 nella "Grande Casa".
  • Per fare un paragone: Un esperto umano avrebbe impiegato circa 14 ore per fare tutto il lavoro. Il miglior tentativo dell'AI ne ha fatti circa 6 ore di lavoro (anche se ci ha messo 10 ore reali di tempo di calcolo). È un salto enorme in pochi mesi.

3. Dove si bloccano?

Nonostante i progressi, le AI non sono ancora invincibili.

• Il muro: Nella "Grande Casa", dopo un certo punto, le cose diventano molto tecniche (come decifrare codici segreti o smontare software complessi). Qui le AI si bloccano spesso. È come se un ladro fosse bravissimo a scassinare le porte, ma quando deve hackerare un cofano blindato, non sa cosa fare.
• L'industria: Nella "Torre di Raffreddamento", le AI sono ancora molto indietro. Riescono a fare solo 1 o 2 passi su 7. È un ambiente troppo complesso e fisico per loro al momento.

4. Un dettaglio inquietante: L'AI pensa fuori dagli schemi

C'è stato un momento in cui le AI hanno fatto qualcosa che gli umani non si aspettavano.

• La storia: L'attacco era progettato per seguire un percorso specifico (entrare dal web, rubare una chiave, poi attaccare le macchine).
• L'azione dell'AI: Alcune AI hanno ignorato il percorso previsto. Invece di seguire la strada principale, hanno "annusato" il protocollo di comunicazione delle macchine industriali e hanno trovato un buco diretto, come se un ladro non avesse forzato la porta d'ingresso, ma avesse trovato una finestra nascosta che nessuno aveva controllato. Hanno usato un "bug" (un errore nel software) che nemmeno i creatori della palestra avevano previsto.

5. Perché è importante?

Questo studio ci dice due cose fondamentali:

1. Il pericolo è reale e in crescita: Le AI stanno diventando capaci di eseguire attacchi complessi da sole, e migliorano ogni pochi mesi. Non serve un hacker esperto per usarle; basta dare loro più tempo di calcolo.
2. Non siamo ancora al punto di non ritorno: Le AI non sono ancora in grado di distruggere intere infrastrutture industriali da sole. C'è ancora bisogno di un essere umano per guidarle o per finire il lavoro quando si bloccano.

In sintesi

Immagina le AI come dei novizi in una scuola di ladri.

• Due anni fa, erano bravi solo a rubare la posta dal cassetto.
• Oggi, con un po' di più di "pazienza" (tempo di calcolo), riescono a scassinare la porta di casa, salire le scale e aprire il primo armadio.
• Ma quando arrivano alla cassaforte nel seminterrato, si bloccano e chiedono aiuto.

La preoccupazione è che, se continuano a migliorare a questo ritmo, tra poco non avranno più bisogno di chiedere aiuto per aprire quella cassaforte.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper "Measuring AI Agents' Progress on Multi-Step Cyber Attack Scenarios" in italiano.

Titolo: Misurare i Progressi degli Agenti AI negli Scenari di Attacco Cibernetico Multi-Step

1. Il Problema

Con l'aumento delle capacità dei sistemi di intelligenza artificiale, è diventato critico comprendere la loro abilità nel condurre attacchi informatici autonomi. Sebbene esistano valutazioni su compiti isolati (come le sfide CTF - Capture The Flag) o benchmark di domande e risposte, questi approcci non catturano la complessità delle operazioni offensive reali. Le operazioni reali richiedono:

• Ragionamento multi-step autonomo: Catene di attacco estese che richiedono pianificazione a lungo termine.
• Gestione dello stato: Tracciamento delle informazioni attraverso ambienti di rete complessi.
• Recupero dagli errori: Capacità di adattarsi quando un approccio fallisce.
• Chaining di capacità eterogenee: Combinare competenze diverse (es. scansione di rete, exploit web, reverse engineering) in una sequenza coerente.

Il paper si pone l'obiettivo di colmare questo divario valutando i modelli AI "frontier" (di punta) su ambienti simulati realistici che richiedono l'esecuzione autonoma di catene di attacco estese, senza intervento umano significativo.

2. Metodologia

Gli autori hanno valutato 7 modelli AI rilasciati in un periodo di 18 mesi (da agosto 2024 a febbraio 2026), tra cui GPT-4o, diverse versioni di Claude (Sonnet, Opus) e GPT (Codex).

Ambienti di Valutazione (Cyber Ranges):
Sono stati utilizzati due ambienti simulati creati da SpecterOps e Hack The Box, privi di difensori attivi (per isolare la capacità offensiva):

1. "The Last Ones" (Rete Aziendale): Un attacco a 32 passaggi in una rete aziendale virtualizzata. L'obiettivo è esfiltrare dati sensibili da un database interno protetto. I passaggi sono raggruppati in 9 milestone (ricognizione, movimento laterale, esfiltrazione). Si stima che un esperto umano impieghi circa 14 ore per completarlo.
2. "Cooling Tower" (Sistema di Controllo Industriale - ICS): Un attacco a 7 passaggi a un impianto energetico simulato. L'obiettivo è interrompere i processi fisici (torre di raffreddamento) compromettendo i controlli e reverse-engineerando librerie crittografiche. Si stima che un esperto umano impieghi circa 15 ore.

Design Sperimentale:

• Agente: I modelli operano in un ambiente Kali Linux standard, utilizzando il paradigma ReAct (Reason + Act). L'agente esegue comandi Bash, Python e utilizza il framework C2 Mythic.
• Budget di Token: Le valutazioni sono state condotte con budget di inferenza variabili, principalmente 10 milioni e 100 milioni di token.
• Context Compaction: Per superare i limiti della finestra contestuale, è stata utilizzata una tecnica di "compattazione del contesto", dove il modello riassume la storia della conversazione per continuare l'attacco senza perdere informazioni critiche (credenziali, topologia di rete).
• Metriche: Il successo è misurato dal numero di passaggi completati autonomamente. Non viene assegnato credito parziale all'interno di un singolo passaggio.

3. Contributi Chiave

• Valutazione Longitudinale: Fornisce una visione temporale dell'evoluzione delle capacità offensive AI su un periodo di 18 mesi, confrontando modelli di generazioni diverse.
• Ambienti Realistici Multi-Step: Introduce un nuovo standard di valutazione basato su catene di attacco estese (fino a 32 passaggi) invece di compiti isolati, simulando meglio le operazioni offensive reali.
• Analisi del Scaling: Studia come le prestazioni scalano con l'aumento delle risorse computazionali (token) e con il miglioramento dei modelli.
• Trasparenza Metodologica: Fornisce una descrizione dettagliata dei range e delle metriche, pur mantenendo alcuni dettagli specifici per preservare l'integrità futura dei benchmark.

4. Risultati Principali

A. Trend di Scalabilità e Prestazioni:

1. Scaling Log-Lineare con i Token: Le prestazioni su "The Last Ones" aumentano in modo log-lineare con il numero di token spesi, senza raggiungere un plateau fino a 100 milioni di token. Aumentare il budget da 10M a 100M token ha portato a guadagni fino al 59% nei passaggi completati. Questo richiede zero sofisticazione tecnica da parte dell'operatore.
2. Miglioramento Generazionale: Ogni nuova generazione di modelli supera i precedenti a parità di budget di token.
   • Su "The Last Ones" a 10M token: da 1.7 passaggi (GPT-4o, ago 2024) a 9.8 passaggi (Opus 4.6, feb 2026).
   • Il miglior singolo run (Opus 4.6 a 100M token) ha completato 22 su 32 passaggi, corrispondendo a circa 6 ore di lavoro umano su un totale stimato di 14 ore.
   • Il costo stimato per un tentativo da 100M token con Opus 4.6 è di circa 80 USD.

B. Analisi per Dominio:

• Rete Aziendale ("The Last Ones"): I modelli mostrano progressi significativi. Tuttavia, le prestazioni crollano drasticamente dopo la milestone 4, che segna la transizione verso fasi che richiedono conoscenze specialistiche (reverse engineering, crittografia, sviluppo malware). Opus 4.6 è il primo modello a superare consistentemente questa barriera.
• Sistemi Industriali ("Cooling Tower"): Le prestazioni rimangono limitate. Anche i modelli più recenti completano in media solo 1.2 - 1.4 passaggi su 7 (massimo 3 in un singolo run).
  • Nota interessante: I modelli hanno mostrato una tendenza a bypassare il percorso di attacco previsto dagli umani (che prevedeva exploit web e reverse engineering) proovando direttamente i protocolli proprietari dei PLC e sfruttando bug non intenzionali (es. brute-force di session ID), dimostrando un approccio divergente rispetto agli esperti umani.

C. Bottleneck e Variabilità:

• Esiste un'alta variabilità tra i singoli run (es. Opus 4.6: media 15.6 passaggi, massimo 22).
• I principali colli di bottiglia identificati sono gli attacchi NTLM Relay (che richiedono coordinamento di processi in tempo reale) e le catene di attacco CI/CD.

5. Significato e Implicazioni

• Accessibilità della Minaccia: La capacità di migliorare le prestazioni semplicemente aumentando il budget di token (senza bisogno di prompt engineering avanzato o scaffolding tecnico) rende queste capacità accessibili anche ad attori non esperti, abbassando la barriera all'ingresso per attacchi complessi.
• Accelerazione delle Operazioni: Sebbene l'attacco completamente autonomo end-to-end non sia ancora una realtà per tutti i domini, gli AI agenti possono già accelerare significativamente le fasi di attacco. Un operatore umano potrebbe utilizzare un agente AI per gestire la maggior parte del lavoro, intervenendo solo nei colli di bottiglia specialistici.
• Gestione del Rischio: I risultati suggeriscono che le capacità offensive AI stanno raddoppiando approssimativamente ogni 7 mesi. È urgente sviluppare framework di governance e mitigazione (come difese attive e rilevamento) che tengano conto di questa rapida evoluzione.
• Limiti Attuali: Le capacità rimangono limitate in ambienti operativi complessi (ICS) e in scenari che richiedono un'evasione sofisticata delle difese attive, poiché le valutazioni attuali non penalizzano la generazione di alert di sicurezza.

In conclusione, il paper dimostra che i modelli AI frontier stanno acquisendo rapidamente la capacità di eseguire catene di attacco complesse e multi-step, con un miglioramento costante sia attraverso l'aumento delle risorse computazionali che attraverso l'evoluzione dei modelli, rappresentando un cambiamento significativo nel panorama delle minacce informatiche.