Il mondo dell'intelligenza artificiale si trova a un bivio silenzioso ma critico. Per anni, questi sistemi sono stati celebrati per la loro capacità di generare testo, scrivere codice o riassumere notizie, agendo come potenti assistenti che pensano e parlano. Ma una nuova fase sta iniziando in cui questi sistemi non si limitano più a parlare; essi agiscono. Viene chiesto loro di eseguire compiti complessi, come acquistare forniture, gestire account digitali o coordinare flussi di lavoro attraverso diverse piattaforme software. Questo passaggio dalla generazione di parole all'esecuzione di azioni introduce un problema fondamentale: come possiamo fidarci di una macchina quando inizia a compiere mosse nel mondo reale? Se un dipendente umano commette un errore, possiamo revisionare il suo lavoro e correggerlo. Ma se un agente autonomo prende una decisione errata mentre esegue un flusso di lavoro, potrebbe trasferire istantaneamente denaro, eliminare un file o bloccare un sistema dall'esistenza stessa. La sfida non è solo rendere l'IA più intelligente, ma costruire un sistema di sicurezza che osservi le azioni dell'IA in tempo reale, assicurando che segua le regole senza rallentarla o costare una fortuna in termini operativi.

In questo contesto, un ricercatore di nome DaeJung Byun ha proposto un nuovo framework chiamato Execution Governance AI, o EGA V9. Questo sistema è progettato per agire come un supervisore rigoroso e automatizzato per questi agenti autonomi. Invece di cercare di indovinare se la decisione di un'IA sia buona o cattiva basandosi sulla probabilità, EGA V9 adotta un approccio diverso: tratta l'esecuzione di un compito come un film registrato che può essere riprodotto istantaneamente. L'idea centrale è che, se si sa esattamente cosa l'IA doveva fare e si ha un registro perfetto di ciò che ha effettivamente fatto, si può individuare la differenza immediatamente. Il sistema funziona catturando ogni passo compiuto dall'IA, dal momento in cui inizia un compito al momento in cui lo conclude. Successivamente, esegue una "riproduzione" di quei passi in una frazione di secondo per vedere se l'esito corrisponde al piano. Se l'IA tenta di deviare, ad esempio utilizzando uno strumento che non era autorizzata a toccare o cambiando un numero in una transazione, il sistema rileva la discrepanza e interrompe l'azione prima che causi danni.

I ricercatori hanno testato questo framework rigorosamente per vedere se potesse gestire il caos degli scenari del mondo reale. Hanno creato migliaia di situazioni di test, che spaziavano da compiti semplici come l'acquisto di un articolo a tentativi malevoli complessi in cui un attaccante cercava di ingannare il sistema per effettuare acquisti non autorizzati o aggirare le regole di sicurezza. In questi test, il sistema è stato chiamato a elaborare fino a 10.000 diversi flussi di lavoro. I risultati sono stati sorprendentemente coerenti all'interno degli scenari valutati. Il framework è riuscito a rilevare ogni singola istanza in cui l'IA ha tentato di violare le regole in questi test specifici, intercettando il 100 percento degli errori senza mai segnalare erroneamente un'azione sicura come pericolosa. Ciò è avvenuto con una precisione perfetta, il che significa che non ha generato falsi allarmi né minacce mancate in tutto l'intervallo di test, inclusi i casi più difficili progettati per apparire esattamente come un lavoro legittimo. Tuttavia, i ricercatori chiariscono che questi risultati caratterizzano il rilevamento della divergenza di esecuzione all'interno degli scenari valutati e non devono essere interpretati come garanzie di tutte le proprietà di sicurezza a runtime.

Ciò che rende questo approccio particolarmente degno di nota è la sua efficienza operativa. Di solito, l'aggiunta di uno strato di sicurezza a un sistema informatico lo rallenta o richiede ulteriore potenza di calcolo costosa. Tuttavia, EGA V9 è stato progettato per essere eseguito localmente sulla stessa macchina dell'IA, senza dover chiedere aiuto a un computer separato e potente. I test hanno dimostrato che il sistema non ha aggiunto quasi alcun ritardo al processo. Il tempo impiegato per verificare un singolo passaggio è stato misurato in millesimi di secondo, precisamente circa 0,003 millisecondi per i controlli più veloci. Inoltre, il sistema non ha richiesto alcuna chiamata aggiuntiva ai grandi modelli linguistici che alimentano l'IA, né ha avuto bisogno di inviare richieste extra a servizi esterni. Ciò significa che il controllo di sicurezza avviene istantaneamente e gratuitamente, in termini sia di tempo che di denaro, permettendo all'IA di lavorare alla massima velocità pur rimanendo sotto costante supervisione.

Il framework è costruito su cinque livelli distinti che lavorano insieme per creare un ambiente sicuro. Il primo livello, il Trinity Core, funge da memoria, registrando ogni cambiamento di stato e azione affinché possano essere riprodotti in seguito. Il secondo livello, il Provenance Layer, costruisce una mappa di causa ed effetto, tracciando esattamente quale decisione ha portato a quale azione. Se la mappa mostra un collegamento interrotto o un passaggio mancante, il sistema sa che qualcosa non va. Il terzo livello, il Containment Layer, è la guardia che interviene quando viene riscontrato un problema. Se il sistema rileva che l'IA sta agendo al di fuori delle sue regole, questo livello blocca immediatamente l'azione e isola il flusso di lavoro, impedendo che il danno si diffonda. Il quarto livello fornisce una finestra agli operatori umani per vedere cosa sta accadendo, e il quinto livello permette ai ricercatori di testare il sistema contro nuovi tipi di attacchi in un ambiente sicuro e controllato. Insieme, questi livelli creano un sistema "fail-closed", il che significa che se il sistema non è sicuro o rileva una minaccia, opta per l'arresto dell'azione piuttosto che lasciarla procedere.

Nonostante questi impressionanti risultati, i ricercatori sono cauti nel definire i limiti di ciò che il loro sistema può fare. Lo studio conferma che il framework funziona eccezionalmente bene per i tipi specifici di compiti e attacchi testati, ma non sostiene di essere una soluzione universale per ogni possibile pericolo. Ad esempio, sebbene il sistema sopprima efficacemente l'esecuzione mentre è presente una discrepanza attiva, non ha ancora la capacità di impedire permanentemente a un'IA di tentare nuovamente la stessa azione scorretta una volta che la minaccia immediata è cessata. Non può ancora garantire che una serie complessa di azioni avvenga esattamente una volta senza duplicati, una caratteristica importante per le transazioni finanziarie. Inoltre, sebbene il sistema possa tracciare ciò che l'IA fa internamente, non può verificare appieno l'integrità di ogni pezzo di evidenza se i dati stessi sono mancanti o falsificati prima di raggiungere il sistema. Questi non sono fallimenti dei test attuali, ma piuttosto chiari confini della tecnologia così come esiste oggi.

La significatività di questo lavoro risiede nella dimostrazione che possiamo costruire una rete di sicurezza per l'IA autonoma che sia veloce, economica e affidabile senza dover modificare l'IA stessa. Trattando l'esecuzione come un processo deterministico — uno che può essere riprodotto e verificato con assoluta certezza — i ricercatori hanno dimostrato che non dobbiamo fare affidamento sulle supposizioni per mantenere sicuri questi sistemi. Il sistema ha provato che è possibile avere un supervisore che osserva ogni mossa, intercetta ogni errore nell'ambito valutato e ferma ogni minaccia rilevata durante la richiesta governata attiva, il tutto senza aggiungere praticamente alcun carico alle prestazioni del computer. Ciò offre una via pratica per le organizzazioni che desiderano utilizzare agenti di IA potenti per svolgere compiti reali, sapendo che esiste un meccanismo per garantire che tali compiti siano completati in modo sicuro e corretto. Il lavoro rimane aperto affinché altri possano testarlo, sfidarlo e migliorarlo, invitando la comunità scientifica più ampia a verificare questi risultati e a spingere i confini di ciò che è possibile nell'ambito della sicurezza autonoma.