🤖 AI

Builder, Defender, Breaker: The Case Against Removing the Human from the AI-Driven Security Lifecycle

Questo articolo sostiene che rimuovere l'essere umano dal ciclo di vita della sicurezza guidata dall'IA sia fondamentalmente errato perché elimina la necessaria indipendenza tra i ruoli di costruzione, difesa e test, creando così punti ciechi condivisi, erodendo la responsabilità e lasciando i sistemi vulnerabili a prevedibili sfruttamenti avversari.

Autori originali: Mohamed Chahine Ghanem

Pubblicato 2026-07-07

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Mohamed Chahine Ghanem

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina un progetto di costruzione ad alto rischio dove devi costruire una fortezza, difenderla e poi cercare di scassinarla per trovare i punti deboli. In passato, avresti assunto tre team diversi per questi compiti: i Costruttori, i Difensori e gli Assalitori.

L'articolo sostiene che stiamo correndo nel tentativo di sostituire tutti e tre questi team umani con un singolo robot IA super intelligente. L'idea è che se questo robot può scrivere codice, può anche controllare il proprio lavoro e cercare di hackerare la propria creazione. L'autore, Mohamed Chahine Ghanem, dice che questo sembra efficiente, ma è in realtà una trappola pericolosa.

Ecco la suddivisione del perché rimuovere gli umani da questo processo sia una cattiva idea, utilizzando analogie semplici:

1. Il problema dell' "Unico Cervello" (La Monocultura)

Immagina se la persona che ha progettato la fortezza, la persona che sorveglia le porte e la persona che cerca di scassinare le serrature fossero tutti cloni della stessa persona. Sono andati tutti alla stessa scuola, hanno letto gli stessi libri e pensano esattamente allo stesso modo.

Il Rischio: Se quella singola "mente" ha un punto cieco (un errore che non sa di poter commettere), tutti e tre i ruoli avranno lo stesso punto cieco.
Il Risultato: Il Costruttore commette un errore. Il Difensore (che pensa come il Costruttore) non lo vede. L'Assalitore (che pensa anch'egli come il Costruttore) non sa come trovarlo. Il difetto scivola attraverso le crepe perché tutti guardano il mondo attraverso lo stesso paio di occhiali. L'articolo definisce questo una "monocultura algoritmica".

2. Il problema del "Correggere i propri compiti" (L'Oracolo)

A scuola, se scrivi un saggio e poi lo valuti da solo, è probabile che ti darai un voto alto perché sai cosa volevi dire, anche se non l'hai espresso chiaramente. Sei prevenuto verso il tuo stesso lavoro.

Il Rischio: Quando un'IA scrive codice e poi scrive i casi di test per controllare quel codice, sta essenzialmente correggendo i propri compiti. Controlla se il codice corrisponde alle proprie aspettative, non se il codice funziona davvero nel mondo reale.
Il Risultato: Il sistema diventa un ciclo chiuso in cui conferma solo ciò che già crede. Perde la capacità di trovare errori reali perché manca di un "insegnante" indipendente (un umano) che possa dire: "Aspetta, questo non ha senso".

3. La "Trappola della Velocità" (Deriva fuori dal ciclo)

Immagina un pilota di auto da corsa che è così veloce che l'ufficiale di sicurezza umano non riesce a stargli dietro. All'inizio, l'ufficiale osserva l'auto. Poi, l'auto va così veloce che l'ufficiale può solo guardare un riepilogo in seguito. Infine, l'auto è così veloce che l'ufficiale è solo un passeggero che riceve un rapporto dopo l'incidente.

Il Rischio: L'IA lavora alla velocità delle macchine. Se un'IA trova un bug e lo corregge in pochi secondi, un essere umano non può assolutamente fermarsi a controllarlo senza rallentare tutto. Così, iniziamo a rimuovere il tasto di "stop" umano.
Il Risultato: Gli umani passano dall'essere "nel ciclo" (prendere decisioni) all'essere "sul ciclo" (osservare) all'essere "fuori dal ciclo" (limitarsi a guardare i risultati). Nel momento in cui un essere umano si rende conto che qualcosa non va, l'IA ha già commesso migliaia di errori.

4. Il "Bersaglio Prevedibile" (L'Avversario)

La sicurezza è un gioco del gatto e del topo. Se il topo (il difensore) pensa sempre nello stesso modo, il gatto (l'hacker) impara esattamente come catturarlo.

Il Rischio: Se lo stesso modello di IA viene utilizzato per costruire, difendere e testare, l'intero sistema diventa prevedibile. Un hacker deve solo capire come ingannare un tipo di IA, e potrà ingannare l'intero sistema.
Il Risultato: È come costruire un castello con un solo tipo di serratura. Una volta che un ladro scassina quella serratura, l'intero castello cade. L'articolo nota che, in test del mondo reale, i sistemi di IA che erano eccellenti nell'hackerare altre macchine sono falliti miseramente quando si sono trovati di fronte a umani capaci di pensare in modo creativo e imprevedibile.

5. Il Problema del "Nessuno a cui dare la colpa" (Responsabilità)

Se un costruttore umano commette un errore, puoi chiedergli: "Perché l'hai fatto?" e ritenere lui responsabile. Se una macchina commette un errore, chi puoi interrogare?

Il Rischio: Se l'IA costruisce, difende e testa se stessa, e qualcosa va storto (come una massiccia violazione della sicurezza), non c'è un essere umano a cui chiedere conto. La macchina non ha "scelto" di fallire; ha solo seguito il suo codice.
Il Risultato: Questo crea un vuoto di responsabilità. Senza un essere umano che approvi il lavoro, il sistema perde la disciplina che deriva dal sapere che si dovrà rispondere delle proprie azioni.

La Soluzione: Mantenere l'Umano al Volante

L'articolo non dice che dovremmo smettere di usare l'IA. Anzi, l'IA è ottima nel fare il lavoro pesante, scrivere codice velocemente e trovare bug ovvi.

Tuttavia, l'autore sostiene che gli umani devono rimanere la "Testa" dell'operazione.

L'IA dovrebbe essere le mani e gli occhi (fare il lavoro).
L'Umano deve essere il cervello che fornisce il giudizio indipendente.

Abbiamo bisogno degli umani affinché siano l' "oracolo esterno" (l'insegnante che corregge i compiti), il "salvavita" (colui che può premere il tasto di arresto di emergenza) e la persona che si assume la responsabilità. Se rimuoviamo completamente l'essere umano, non stiamo solo automatizzando un lavoro; stiamo rompendo il sistema di sicurezza che mantiene sicuro il mondo digitale.

Sintesi Tecnica: Builder, Defender, Breaker: Il caso contro la rimozione dell'essere umano dal ciclo di vita della sicurezza guidato dall'IA

Problematica
Il documento affronta l'emergente tendenza nel settore della cybersecurity in cui una singola famiglia di modelli di IA generativa viene sempre più impiegata per svolgere tutti e tre i ruoli critici del ciclo di vita della sicurezza: costruire (generazione di codice), difendere (rilevamento delle intrusioni e hardening) e rompere (scoperta di vulnerabilità e fuzzing). Sebbene l'assistenza parziale dell'IA sia ampiamente accettata, la narrativa prevalente suggerisce che l'autonomia completa — ovvero la rimozione totale dell'essere umano dal processo — sia l'endpoint naturale. L'autore sostiene che questa transizione dall'assistenza parziale all'autonomia completa rappresenti un cambiamento qualitativo, non meramente quantitativo. Il problema centrale è che quando il costruttore (builder), il difensore (defender) e il romper (breaker) sono tratti dalla stessa distribuzione generativa (una "monocultura algoritmica"), essi ereditano un insieme condiviso di punti ciechi. Questa convergenza collassa l'indipendenza necessaria per una verifica significativa, crea un bersaglio prevedibile per gli avversari e dissolve il locus della responsabilità.

Metodologia e Base di Evidenza
Il documento impiega un'analisi concettuale ed evidenziata piuttosto che presentare nuovi dati sperimentali. Esso sintetizza i risultati di quattro domini distinti per costruire la propria argomentazione:

Generazione Autonoma di Codice: Citando studi su GitHub Copilot e analisi formali di modelli che generano programmi in C, il documento evidenzia come i modelli riproducano i pattern di insicurezza dei loro dati di addestramento, con tassi di vulnerabilità elevati (40–62%) che sono coerenti tra diversi modelli addestrati su corpora simili.
Apprendimento Automatico Avversariale (Adversarial Machine Learning): L'analisi si basa sulle tassonomie NIST e sulla ricerca che dimostra come i detector addestrati su distribuzioni specifiche possano essere elusi o avvelenati. Sottolinea che un difensore che condivide la stessa distribuzione del codice che protegge sarà cieco rispetto agli stessi casi limite (edge cases).
Tolleranza ai Guasti del Software: Il documento cita il fallimento della programmazione N-version (dove implementazioni scritte indipendentamente sono fallite sugli stessi input più spesso di quanto previsto) per argomentare che i modelli di IA addestrati su dati simili esibiranno modalità di guasto correlate, rendendo inefficace la ridondanza.
Tornei di Hacking Autonomi: Le evidenze sono tratte dal DARPA Cyber Grand Challenge del 2016 e dal 2025 AI Cyber Challenge. Sebbene questi sistemi abbiano dimostrato un'elevata capacità di trovare e correggere vulnerabilità senza l'intervento umano, il documento utilizza questi risultati per illustrare il fenomeno del "ciclo chiuso" (closed loop), in cui gli strumenti che testano il sistema sono della stessa natura del sistema stesso che viene testato.

Contributi Chiave e Argomentazioni
Il documento articola quattro pericoli primari associati a un ciclo di vita della sicurezza completamente autonomo e guidato dall'IA:

Guasto Correlato e il Problema della Monocultura: In un ciclo tradizionale, l'indipendenza tra le fasi (costruttore, difensore, tester) garantisce che se una fallisce, un'altra rilev la l'errore. In una monocultura di IA, tutte le fasi condividono gli stessi a priori e dati di addestramento. Di conseguenza, una vulnerabilità che il costruttore non riesce a generare è anche una vulnerabilità che il difensore non riesce a rilevare e che il tester non riesce a sondare. Ciò crea un "insieme di punti ciechi" ( $\mathcal{B}$ ) che attraversa l'intero ciclo di vita senza essere visto.
Il Probleamento dell'Oracolo (The Oracle Problem): La verifica richiede un oracolo indipendente. Quando l'IA genera codice e l'IA genera i test per quel codice, la suite di test eredita le stesse assunzioni del codice. Il documento sostiene che questo sia equivalente a "correggere i propri compiti", dove il sistema conferma le proprie aspettative invece di verificare la correttezza rispetto al mondo reale. Inoltre, si dimostra che la supervisione umana è inefficace; gli studi indicano che gli esseri umani che utilizzano assistenti IA producono codice meno sicuro pur riportando una maggiore fiducia in esso.
Sfruttamento Avversariale dell'Uniformità: La sicurezza è intrinsecamente avversariale. Una pipeline di IA omogenea offre un bersaglio uniforme e prevedibile. Gli avversari possono sfruttare ciò progettando attacchi (evasione o avvelenamento) che si trasferiscono attraverso l'intera monocultura perché i modelli condividono gradienti strutturali. Inoltre, la natura dual-use degli strumenti autonomi significa che un sistema capace di trovare e correggere vulnerabilità è intrinsecamente capace di sfruttarle, senza un "interruttore di emergenza" umano per impedire che lo strumento venga reindirizzato contro obiettivi reali.
Il Vuoto di Responsabilità (Accountability Vacuum): L'autonomia completa crea un "gap di responsabilità". Se un ciclo di vita autonomo distribuisce una vulnerabilità o causa un'interruzione di servizio, non c'è un soggetto responsabile da ritenere conto. Il documento nota che i framework di governance come l'EU AI Act richiedono esplicitamente la supervisione umana per i sistemi ad alto rischio, riconoscendo che la responsabilità non può essere delegata a una macchina. Rimuovere l'essere umano rimuove il meccanismo attraverso il quale il ciclo di vita è tenuto a rispettare gli standard.

Risultati e Rivendicazioni
Il documento non sostiene che l'IA non abbia utilità; riconosce che i sistemi autonomi hanno identificato con successo vulnerabilità zero-day e corretto difetti in ambienti competitivi (ad esempio, il 2025 AI Cyber Challenge). Tuttavia, la tesi centrale del documento è che l'autonomia completa è una trappola per il ciclo di vita della sicurezza. I risultati dei tornei autonomi dimostrano capacità, ma rivelano anche fragilità: quando i sistemi autonomi hanno affrontato avversari umani nel torneo DEF CON Capture-the-Flag, hanno performato scarsamente, suggerendo che il ragionamento a velocità di macchina manca dell'adattabilità necessaria per il ragionamento avversariale complesso.

Il documento conclude che il ruolo dell'essere umano nel ciclo di vita della sicurezza non è un'impalcatura temporanea da rimuovere man mano che i modelli migliorano, ma un requisito strutturale permanente. L'essere umano fornisce l'indipendenza necessaria, l'oracolo esterno, la capacità di intervenire alla velocità delle macchine e il locus della responsabilità.

Significatività
La significatività di questo lavoro risiede nella sua sfida alla narrativa della "piena autonomia" nella cybersecurity. Sostiene che la divisione del lavoro tra umani e macchine debba essere preservata non per limitare la velocità, ma per mantenere le proprietà fondamentali della sicurezza: indipendenza, verifica e responsabilità. Il documento propone una divisione del lavoro difendibile in cui:

I percorsi di costruzione e test utilizzano fonti indipendenti (modelli/dati differenti) per prevenire guasti correlati.
Gli umani mantengono l'autorità "on-the-loop" con la capacità di intervenire efficacemente alle velocità delle macchine.
La provenienza e la supervisione indipendente (audit log, red-teaming di terze parti) vengono mantenute.
Le competenze della forza lavoro sono preservate per evitare il "de-skilling" (perdita di competenze), garantendo che gli umani rimangano capaci di esercitare la propria autorità.

In definitiva, il documento afferma che, sebbene le macchine possano indossare i cappelli di Builder, Defender e Breaker, la "testa" che ne risponde deve rimanere umana.