Nel mondo digitale moderno, le grandi organizzazioni si affidano a programmi software che agiscono per conto loro. Per decenni, questi programmi sono stati prevedibili: un ingegnere umano scriveva il codice, installava il programma e forniva un set specifico di istruzioni. Se il programma doveva inviare un'e-mail o spostare denaro, faceva esattamente ciò che gli veniva ordinato, nient'altro e nient'altro di meno. Per mantenere questi programmi sicuri, le aziende hanno costruito sistemi per controllarne l'identità e registrare le loro azioni, molto simile a una guardia giurata che controlla un distintivo alla porta. Tuttavia, un nuovo tipo di software è arrivato cambiando le regole. Si tratta di agenti autonomi, programmi che non si limitano a seguire uno script fisso, ma usano l'intelligenza artificiale per decidere da soli cosa fare successivamente. Possono apparire e scomparire in pochi secondi, possono scegliere tra una vasta gamma di possibili azioni che nessun essere umano ha scritto in anticipo e chiunque, con una connessione internet, può crearne uno. Poiché questi agenti sono così diversi dai vecchi programmi prevedibili, i sistemi di sicurezza progettati per il passato non riescono a proteggerli.

Un team di ricercatori di Aurite AI ha trascorso del tempo costruendo un nuovo modo per gestire questi agenti imprevedibili mentre sono in esecuzione. Sostengono che cercare di controllare questi agenti fissando il loro codice prima dell'avvio sia impossibile, perché l'agente decide le proprie azioni all'ultimo momento. Invece, propongono un sistema che osservi ogni singola azione che l'agente tenta di compiere e lo fermi se non è autorizzato. Per far sì che questo funzioni, hanno identificato cinque domande essenziali che devono ricevere risposta per ogni azione. Primo, il sistema deve sapere che l'agente esiste. Secondo, deve provare chi è l'agente. Terzo, deve decidere se l'agente è autorizzato a fare ciò che sta chiedendo. Quarto, deve creare un registro permanente e immutabile di ciò che è accaduto che chiunque possa controllare in seguito. Quinto, deve verificare di cosa è fatto l'agente per garantire che non sia stato segretamente alterato. I ricercatori hanno costruito un sistema che risponde alle prime quattro domande in tempo reale e sta attualmente sviluppando la quinta come strumento separato. Hanno scoperto che, sebbene questo approccio sia necessario, comporta un costo: rallenta leggermente il sistema e richiede un piccolo programma ausiliario che giri accanto a ogni agente.

Il problema centrale che i ricercatori hanno affrontato è che la sicurezza tradizionale si basa sul sapere esattamente cosa farà un programma prima che inizi. Se viene assunto un dipendente umano, gli viene dato un distintivo e un elenco di regole. Se viene installato un servizio, gli viene assegnata una specifica descrizione del lavoro. Ma un agente autonomo è diverso. È come un viaggiatore che arriva senza visto, sostiene di essere un cittadino e poi decide sul momento quale paese visitare e cosa farci. I ricercatori hanno scoperto che i vecchi strumenti di sicurezza, costruiti per persone e servizi fissi, non possono gestire questo. Un controllo di sicurezza standard potrebbe verificare che l'agente sia chi dice di essere, ma non può impedire all'agente di scegliere un'azione pericolosa che nessuno aveva previsto. Allo stesso modo, una guardia di sicurezza che controlla solo l'elenco delle azioni approvate non può impedire a un agente di inventare una nuova azione dannosa al volo. I ricercatori hanno concluso che l'unico modo per governare questi agenti è intervenire nel momento esatto in cui tentano di agire, controllando la loro richiesta rispetto a un insieme di regole prima di lasciarli procedere.

Per risolvere questo, il team ha progettato un sistema costruito attorno a cinque parti distinte, o primitivi, che lavorano insieme. La prima parte è la scoperta. Poiché gli agenti possono apparire ovunque e in qualsiasi momento, il sistema deve essere in grado di trovarli. I ricercatori si sono resi conto che elencare semplicemente gli agenti noti non è sufficiente, perché gli agenti più pericolosi sono quelli che non sono ancora stati registrati. Il loro sistema è progettato per notare quando un agente tenta di fare qualcosa che il sistema non riconosce. Invece di limitarsi a bloccarlo, il sistema registra il tentativo e avvisa un operatore umano, che può quindi decidere se questa nuova azione debba essere consentita in futuro. Questo trasforma un potenziale fallimento in un modo per imparare e aggiornare le regole.

La seconda parte è l'identità. In passato, un programma poteva rivendicare di essere un servizio specifico, ma i ricercatori hanno scoperto che gli agenti possono mentire sulla propria identità. Il loro sistema richiede all'agente di provare la propria identità utilizzando una credenziale digitale che viene generata automaticamente in base a dove l'agente sta girando e di cosa è fatto. Questa prova viene controllata nel momento esatto in cui l'agente tenta di connettersi, garantendo che il sistema stia parlando con il vero agente e non con un impostore. Questa prova è a breve durata e cambia costantemente, quindi anche se un hacker rubasse una credenziale, questa scadrebbe rapidamente.

La terza parte è la governance, che è il vero processo decisionale. Prima che un agente possa inviare un'e-mail o trasferire fondi, deve chiedere il permesso. Il sistema controlla la richiesta rispetto a un insieme di regole che sono specifiche per quella organizzazione. Se l'azione è consentita, l'agente procede. Se non lo è, la richiesta viene bloccata immediatamente. Questo avviene prima che l'azione abbia luogo, che è l'unico modo per controllare davvero l'agente. I ricercatori hanno inoltre incluso un "interruttore di emergenza" (kill switch) che può fermare istantaneamente un agente se inizia a comportarsi male, senza attendere che le sue credenziali digitali scadano.

La quarta parte è l'attestazione, che riguarda la creazione di un registro affidabile. In passato, le aziende tenevano registri di ciò che i loro programmi facevano, ma quei registri erano scritti dagli stessi programmi che venivano monitorati. Se un programma diventava fuori controllo, poteva anche modificare i registri per coprire le proprie tracce. I ricercatori hanno costruito un sistema che scrive ogni decisione su una catena speciale di registri immutabili. Questa catena è firmata con una chiave segreta che solo l'organizzazione possiede, ed è progettata in modo che chiunque, anche esterno all'azienda, possa verificare che il record sia reale e non sia stato manomesso. Ciò fornisce un modo per provare quanto accaduto in un tribunale o durante un'indagine.

La quinta parte è la verifica della supply chain, che chiede di cosa sia fatto effettivamente l'agente. Anche se un agente è identificato e le sue azioni sono approvate, potrebbe essere in esecuzione su una versione compromessa del suo software. I ricercatori hanno costruito strumenti per controllare gli ingredienti dell'agente — il suo codice, i suoi dati e le sue dipendenze — ma questi strumenti operano attualmente separatamente dai controlli di sicurezza in tempo reale. Sebbene i ricercatori sostengano che questa verifica sia essenziale perché un agente perfettamente identificato costruito su parti rotte è comunque pericoloso, questo controllo specifico non blocca ancora le azioni nel momento in cui si verificano; rimane un passaggio di sviluppo separato piuttosto che una parte integrata del processo di autorizzazione immediata.

I ricercatori hanno testato il loro sistema in prove private con alcune organizzazioni. Hanno scoperto che quattro delle cinque parti sono completamente costruite e funzionanti, mentre la quinta è ancora in fase di sviluppo come strumento separato. Sono stati onesti riguardo ai costi di questo nuovo approccio. Poiché il sistema controlla ogni richiesta prima che avvenga, aggiunge un piccolo ritardo al processo. Richiede anche un piccolo programma ausiliario, chiamato sidecar, per girare accanto a ogni agente per gestirne l'identità. Soprattutto, se il sistema di sicurezza stesso dovesse andare in crash, gli agenti devono smettere di lavorare per rimanere sicuri. Ciò significa che un guasto nel sistema di sicurezza causa un arresto delle attività commerciali, un compromesso che i ricercatori ritengono necessario per prevenire danni.

Uno dei risultati più sorprendenti è stato che il sistema deve anche governare se stesso. I ricercatori si sono resi conto che gli strumenti che hanno costruito per gestire gli agenti sono essi stessi programmi automatizzati. Hanno deciso di sottoporre i propri strumenti di gestione agli stessi controlli di sicurezza utilizzati per gli agenti dei clienti. Ciò significa che il sistema controlla la propria identità, decide se le proprie azioni sono consentite e registra le proprie decisioni nella stessa catena immutabile. Questo assicura che le persone che hanno costruito il sistema di sicurezza non possano aggirare le regole che hanno creato per gli altri.

I ricercatori sottolineano che il loro lavoro non riguarda il cambiare il modo in cui i modelli di intelligenza artificiale pensano o si comportano. Presuppongono che i modelli funzionino come previsto e si concentrano invece sulle regole che governano ciò che i modelli sono autorizzati a fare. Sostengono che cercare di risolvere il problema solo migliorando i modelli non sia sufficiente, perché anche un modello ben educato ha bisogno di limiti su ciò a cui può accedere e ciò che può cambiare. La loro soluzione è un framework pratico che le organizzazioni possono utilizzare per gestire questi nuovi agenti imprevedibili oggi. Scomponendo il problema in cinque domande chiare, forniscono una tabella di marcia per chiunque cerchi di portare questi potenti strumenti in un ambiente sicuro e controllato. Il lavoro non è finito e la quinta parte del sistema è ancora in fase di integrazione, ma l'idea centrale — ovvero che questi agenti debbano essere monitorati e controllati in tempo reale — è stata proposta come un approccio architettonico necessario, con la razionale del design validata attraverso l'implementazione piuttosto che attraverso risultati misurati su una vasta popolazione di distribuzione.