🤖 AI

To Defend Against Cyber Attacks, We Must Teach AI Agents to Hack

Questo documento di posizione sostiene che, per contrastare gli inevitabili attacchi informatici guidati dall'IA, i difensori debbano cambiare radicalmente la propria strategia sviluppando e implementando responsabilmente le proprie capacità offensive di IA all'interno di ambienti controllati e governati, al fine di padroneggiare le minacce prima degli avversari.

Autori originali: Terry Yue Zhuo, Yangruibo Ding, Wenbo Guo, Ruijie Meng

Pubblicato 2026-02-04

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Terry Yue Zhuo, Yangruibo Ding, Wenbo Guo, Ruijie Meng

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

L'Idea Centrale: Le Vecchie Regole Non Funzionano Più

Per l'ultimo decennio, la cybersicurezza è stata come un gioco di "Whac-A-Mole" (colpisci il topo).

Il Vecchio Modo: Gli hacker dovevano essere umani altamente qualificati. Costruire un attacco complesso era come costruire una casa su misura; richiedeva mesi di duro lavoro e profonda competenza. Poiché era così costoso e lento, gli hacker attaccavano solo le "case grandi" (le grandi aziende) o usavano strumenti semplici e generici per bussare a migliaia di porte sperando che una fosse aperta. I difensori assumevano che gli hacker non potessero permettersi di bussare a ogni porta.
La Nuova Minaccia: Gli Agenti AI stanno cambiando le regole del gioco. Immaginate un hacker che non è una persona, ma uno sciame di migliaia di piccoli robot instancabili. Questi robot non hanno bisogno di essere esperti. Possono bussare a milioni di porte in un secondo. Anche se falliscono il 99% delle volte, basta che abbiano successo l'1% delle volte per generare un profitto. Possono attaccare le "case piccole" (sistemi di nicchia) che un tempo gli umani ignoravano perché non valevano lo sforzo.

Il documento sostiene che i difensori stanno attualmente cercando di fermare questi robot mettendo dei cartelli "Vietato l'Ingresso" sui robot stessi. Ma il documento afferma che questo non funzionerà perché i malintenzionati possono semplicemente costruire i propri robot senza quei cartelli.

Perché le Difese Attuali Stanno Fallendo

Gli autori affermano che stiamo cercando di fermare gli hacker AI usando tre metodi principali, ma sono tutti come cercare di fermare un'alluvione con un setaccio:

Filtrare i Dati di Addestramento (L'approccio della "Biblioteca Pulita"):
- L'Idea: Rimuoviamo tutte le istruzioni cattive (come "come costruire una bomba") dai libri di addestramento dell'IA in modo che non impari mai a essere cattiva.
- Perché Fallisce: Gli hacker malintenzionati non hanno bisogno di leggere i "libri cattivi". Possono insegnare all'IA come hackerare usando la logica di base e il buon senso, proprio come un essere umano può capire come scassinare una serratura senza un manuale. Inoltre, gli hacker malintenzionati possono semplicemente scaricare l'IA e istruirla da soli.
Allineamento della Sicurezza (L'approccio del "Buon Comportamento"):
- L'Idea: Addestriamo l'IA a dire "No" quando le viene chiesto di fare qualcosa di male.
- Perché Fallisce: Gli hacker malintenzionati sono astuti. Possono truffare l'IA facendole credere che una richiesta cattiva sia in realtà una buona (come chiedere a una guardia di "testare la sicurezza" invece di "entrare con la forza"). Inoltre, se l'IA è in esecuzione sul computer di un hacker, questi può semplicemente riaddestrarla per ignorare il tasto "No".
Guardrail in Uscita (L'approccio del "Buttafuori"):
- L'Idea: Mettiamo un buttafuori alla porta per controllare ogni messaggio che l'IA invia e bloccare tutto ciò che sembra pericoloso.
- Perché Fallisce: Un hacker può scomporre un grande attacco in mille piccoli passaggi che sembrano innocui. Il buttafuori vede ogni passaggio come sicuro, ma quando li metti insieme, costruiscono una bomba.

La Soluzione Proposta: Costruire i Propri Robot "Red Team"

Il documento suggerisce un cambiamento radicale: Dobbiamo insegnare ai nostri agenti IA come hackerare, in modo da poterli usare per difenderci.

Pensatelo come a un corpo dei vigili del fuoco.

Difesa Attuale: Aspettiamo che scoppi un incendio, poi cerchiamo di spegnerlo.
L'Idea del Documento: Assumiamo un team di piromani professionisti (la nostra "IA Offensiva") per lavorare all'interno di un impianto di addestramento sicuro e recintato (un "Cyber Range").
- Questi "Buoni Piromani" cercano di dare fuoco all'edificio usando ogni trucco del mestiere.
- Poiché sono IA, possono provare milioni di modi per scatenare un incendio in pochi secondi.
- Noi osserviamo dove hanno successo, troviamo i punti deboli nel nostro edificio e li sistemiamo prima che un vero cattivo si presenti.

I Tre Passaggi per Rendere Questo Sicuro

Gli autori sanno che questo sembra pericoloso, quindi propongono tre regole ferree per evitare che i "Buoni Piromani" causino danni reali:

Costruire Piste di Test Migliori: Abbiamo bisogno di migliori "corsi di guida" (benchmark) per misurare esattamente quanto siano bravi questi robot hacker. Dobbiamo testarli su scenari del mondo reale, non solo su semplici puzzle.
Addestrare, Non Solo Sceneggiare: Invece di dare ai robot una lista fissa di passaggi da seguire, dobbiamo addestrarli a imparare e ad adattarsi, proprio come farebbe un hacker umano. Questo li rende più bravi nel trovare nuove vulnerabilità sconosciute.
La Regola del "Sandbox": Questa è la parte più importante. I "Buoni Piromani" non devono mai lasciare l'impianto di addestramento sicuro.
- Rimangono all'interno di una gabbia digitale che non può toccare la vera internet.
- Trovano i buchi e scrivono un rapporto.
- Poi, prendiamo quel rapporto e lo diamo a un'altra IA, una "IA Sicura", che sa solo come riparare i buchi, non come crearli. Questa "IA Sicura" è quella che rilasciamo al pubblico per proteggere i nostri sistemi.

Conclusione

Il documento conclude che non possiamo aspettare che gli hacker malintenzionati capiscano come usare l'IA per attaccarci. Quando lo faranno, sarà troppo tardi.

Inveve, dobbiamo padroneggiare l'arma per primi. Dobbiamo costruire la nostra IA offensiva, tenerla chiusa in una gabbia sicura e usarla per trovare ogni possibile modo in cui i nostri sistemi possono essere violati. Solo comprendendo come il nemico pensa e agisce su scala massiccia possiamo sperare di difenderci.

In breve: Per fermare i cattivi robot, dobbiamo costruire i nostri buoni robot che siano ancora più bravi a rompere le cose, ma dobbiamo tenerli in una gabbia in modo che ci aiutino solo a riparare la nostra casa.

Sintesi Tecnica: Per difendersi dagli attacchi informatici, dobbiamo insegnare agli agenti IA come hackerare

1. Definizione del problema

Il documento identifica un cambiamento fondamentale nell'equilibrio economico e tecnico della cybersicurezza guidato dall'avvento degli agenti IA. Per oltre un decennio, l'industria della difesa si è affidata alla scarsità di lavoro umano per limitare gli attaccanti; gli exploit sofisticati richiedono una profonda competenza e uno sforzo manuale, costringendo gli avversari a colpire o asset di alto valore o a utilizzare strumenti automatizzati generici contro migliaia di obiettivi.

Tuttavia, gli agenti IA interrompono questo equilibrio automatizzando la scoperta e lo sfruttamento delle vulnerabilità su migliaia di obiettivi con un minimo intervento umano. A differenza dei tradizionali strumenti automatizzati che si basano su regole pre-programmate per vulnerabilità note, gli agenti IA possono imitare l'agency strategica umana, adattarsi a sistemi nuovi e scoprire nuovi percorsi di attacco. Questa automazione riduce il costo marginale degli attacchi, rendendo economicamente vantabili bersagli i sistemi "long-tail" (precedentemente ignorati a causa dell'elevato sforzo manuale richiesto).

Il problema centrale è che le attuali strategie difensive sono reattive e centrate sul modello, focalizzandosi sulla prevenzione del mal uso attraverso il filtraggio dei dati, l'allineamento della sicurezza e i guardrail di output. Gli autori sostengono che tali misure siano insufficienti perché:

Adattamento Avversariale: Gli attaccanti possono aggirare i meccanismi di sicurezza controllando modelli a pesi aperti (open-weight), auto-ospitando i modelli o effettuando il fine-tuning per rimuovere l'allineamento.
Viabilità Economica: Gli agenti IA non hanno bisogno di essere perfetti; devono solo avere un piccolo tasso di successo per essere redditizi grazie alla capacità di parallelizzare gli attacchi a un costo marginale prossimo allo zero.
Gap Difensivo: I difensori mancano dell' "intelligence di sicurezza offensiva" necessaria per prevedere come gli attacchi avverranno su larga scala, lasciandoli incapaci di anticipare le specifiche vulnerabilità che gli agenti IA sfrutteranno.

2. Metodologia e Framework Proposto

Il documento non presenta un singolo risultato sperimentale, ma propone un framework strategico per cambiare la postura difensiva. La metodologia si articola su tre pilastri primari:

A. Modellazione delle Minacce

Gli autori formalizzano un modello di minaccia basato su un avversario motivato finanziariamente con accesso ad agenti IA allo stato dell'arte (SOTA). L'obiettivo dell'avversario non è necessariamente massimizzare il danno a un singolo bersaglio, ma massimizzare il profitto aggregato su una popolazione eterogenea di vittime. In questo modello, i fallimenti e le allucinazioni non ne limitano l'efficacia poiché gli attacchi possono essere tentati su scala massiccia.

B. Critica delle Difese Attuali

Il documento valuta e scarta sistematicamente l'efficacia delle attuali misure di sicurezza contro gli agenti IA adattivi:

Governance dei Dati: Il filtraggio dei dati di addestramento fallisce perché gli agenti IA possono ragionare partendo da primi principi e acquisire nuove informazioni durante l'inferenza, piuttosto che fare affidamento sulla memorizzazione di testi di exploit.
Allineamento della Sicurezza: Le tecniche di allineamento (RLHF, fine-tuning) sono fragili e possono essere aggirate tramite jailbreaking, distorsione degli obiettivi o componendo passaggi benigni in traiettorie a lungo termine dannose.
Ingegneria della Rappresentazione: Le modifiche interne al modello sono difficili da verificare e spesso falliscono quando il contesto cambia o quando il comportamento emerge da interazioni estese tra agenti.
Guardrail di Output: Questi falliscono di fronte ai workflow agentici in cui gli esiti dannosi derivano da sequenze di azioni apparentemente innocue, particolarmente in ambienti di self-hosting o a pesi aperti dove il monitoraggio è assente.
Controlli di Accesso: Sono inefficaci una volta che i modelli sono ampiamente disponibili come pesi aperti, poiché possono essere trapelati, replicati o sottoposti a fine-tuning per rimuovere le restrizioni.

C. Strategia di Sicurezza Offensiva Proposta

Gli autori propongono che i difensori debbano sviluppare l' intelligence di sicurezza offensiva per padroneggiare le capacità degli attaccanti IA prima che lo facciano gli avversari. Ciò comporta tre azioni specifiche:

Costruire Benchmark Comprensivi:
- Andare oltre i dataset statici verso ambienti di valutazione dinamici che coprano l'intero ciclo di vita dell'attacco (ricognizione, sfruttamento, post-sfruttamento).
- Includere progetti reali su larga scala e simulare condizioni "in the wild" (es. ambienti Docker, tool set come Kali/CodeQL).
- Garantire che i benchmark coprano categorie granulari (es. concatenazione di exploit, comando e controllo) e forniscano etichette di verità fondamentale (ground truth) robuste.
Passare da Workflow-Based ad Agenti Addestrati:
- Gli attuali agenti offensivi si affidano a workflow esterni (prompting + chiamate a tool) che sono fragili.
- Il documento sostiene l'importanza di addestrare gli agenti direttamente in cyber range (ambienti controllati) utilizzando l'apprendimento per rinforzo. Ciò consente agli agenti di apprendere strategie adattive, accumulare esperienza e scoprire autonomamente vulnerabilità zero-day, invece di seguire pipeline fisse.
Implementare Governance e Distillazione:
- Contenimento: Gli agenti offensivi devono essere limitati ad ambienti cyber range auditati e isolati con rigorosa isolazione di rete.
- Distillazione: Le scoperte e le traiettorie di attacco degli agenti offensivi dovrebbero essere distillate in agenti esclusivamente difensivi. Questi agenti difensivi si concentrano su rilevamento, analisi delle cause radici e rimedio, senza ereditare lo spazio d'azione pericoloso dell'attaccante.
- Rilascio a Stadi: Le capacità offensive dovrebbero essere trattate come artefatti ad alto rischio, rilasciati in fasi basate sulla competenza misurata e sul controllo delle versioni.

3. Contributi Chiave

Cambio di Paradigma: Il documento sostiene che le capacità offensive dell'IA debbano essere trattate come infrastruttura difensiva essenziale. La scelta non è se l'IA offensiva esisterà, ma se i difensori ne padroneggeranno la capacità sotto una gestione responsabile o saranno costretti a farla tramite ingegneria inversa dopo attacchi riusciti.
Limiti dell'Allineamento della Sicurezza: Fornisce un argomento tecnico secondo cui l'allineamento della sicurezza e il filtraggio dei dati sono insufficienti contro avversari determinati con accesso a modelli a pesi aperti, rendendo necessaria una transizione verso una difesa proattiva basata sulle capacità.
Roadmap per l'IA Offensiva: Delinea un percorso evolutivo concreto per gli agenti di sicurezza offensiva (Tabella 2), passando da Modelli di Conoscenza (maturi) $\to$ Agenti di Workflow (stato attuale) $\to$ Agenti Addestrati (obiettivo futuro per la scoperta di zero-day).
Standard di Benchmarking: Evidenzia le carenze degli attuali benchmark di cybersicurezza (es. mancanza di ambienti dinamici, copertura limitata del ciclo di vita) e propone una metodologia per costruire suite di valutazione agent-friendly, dinamiche e complete.

4. Risultati e Prove

Il documento si basa su una sintesi della letteratura esistente e su osservazioni preliminari piuttosto che su nuovi dati sperimentali degli autori.

Performance dei Benchmark: La Tabella 1 riassume le performance degli agenti SOTA su benchmark esistenti (es. CyberSecEval-3, CTF, rilevamento di vulnerabilità). Nota che mentre gli agenti performano bene su compiti generativi su piccola scala (come il patching di brevi funzioni), faticano con compiti analitici su larga scala (come la generazione di PoC su interi progetti) e la concatenazione di exploit.
Analisi del Rischio Sistemico: Gli autori sostengono che gli agenti IA consentano attacchi informatici "superumani" combinando ampiezza (scansione di migliaia di obiettivi) e profondità (adattamento post-sfruttamento). Citano che gli agenti possono operare più velocemente degli umani e adattarsi alle misure di sicurezza in tempo reale, creando condizioni per violazioni diffuse.
Logica Economica: Il documento pone che la struttura dei costi degli attacchi è cambiata fondamentalmente; bassi tassi di successo per tentativo sono ora redditizi grazie alla capacità di parallelizzare gli attacchi, rendendo obsoleti i tradizionali assunti di difesa basati su "target di alto valore".

5. Significato e Rivendicazioni

Il documento sostiene che l'attuale paradigma della sicurezza dell'IA sia limitante e scollegato dalla realtà economica. Focalizzandosi esclusivamente sulla prevenzione del mal uso (allineamento della sicurezza), la comunità ignora la necessità di comprendere e padroneggiare le capacità offensive per costruire sistemi resilienti.

Gli autori affermano che:

Gli attacchi guidati dall'IA sono inevitabili. Gli incentivi economici per l'automazione negli attacchi informatici sono troppo forti per essere ignorati.
L'intelligence difensiva richiede capacità offensive. Per prevedere come gli attacchi avverranno su larga scala, i difensori devono possedere le stesse capacità degli attaccanti, ma dispiegate in ambienti controllati e auditati.
Lo sviluppo responsabile è possibile. Attraverso una governance rigorosa (cyber range, distillazione in agenti difensivi e rilascio a stadi), i rischi dell'IA offensiva possono essere contenuti pur raccogliendo i benefici della scoperta e della riparazione accelerata delle vulnerabilità.

Il documento conclude che non investire nell'intelligence di sicurezza offensiva lascia i difensori impreparati di fronte ad avversari che esploreranno inevitabilmente queste capacità in modo indipendente. L'obiettivo è chiudere il ciclo tra scoperta e riparazione utilizzando l'intelligenza su scala di macchina prima che gli avversari possano sfruttare la "coda lunga" dell'ecosistema software.