Nel moderno ambiente di lavoro digitale, è emerso un nuovo tipo di lavoratore: l'agente software. Si tratta di programmi alimentati da grandi modelli linguistici che possono leggere documenti, inviare e-mail, spostare dati tra i sistemi e persino chiamare altri programmi per portare a termine compiti. Agiscono per conto dei dipendenti umani, ricevendo istruzioni e trasformandole in una serie di azioni. La promessa è di un'efficienza immensa, ma il rischio è altrettanto elevato. Se un dipendente umano viene ingannato nell'inviare un file segreto alla persona sbagliata, il danno è limitato al giudizio di quella singola persona. Ma quando un agente software viene ingannato, può eseguire quel errore con una velocità perfetta e attraverso ogni sistema che gli è consentito toccare. La sfida centrale per gli esperti di sicurezza non è solo rendere questi agenti più intelligenti affinché non vengano ingannati, ma costruire un sistema in cui non importi se vengono ingannati, perché il danno sia fisicamente impossibile da compiere.

Questo è il problema centrale affrontato da un nuovo studio del ricercatore indipendente Xabier Muruaga, il quale propone un modo per mettere in sicurezza questi lavoratori digitali non cercando di rendere il cervello dell'agente più robusto, ma stringendo le regole su ciò che l'agente è autorizzato a fare. La ricerca sostiene che il pericolo di manipolazione di un agente software sia principalmente un problema di architettura delle autorizzazioni, non un problema del modello di intelligenza artificiale in sé. Anche se un agente fosse perfettamente sicuro contro l'inganno, potrebbe comunque causare danni se gli venisse data troppa libertà di combinare azioni innocue in un esito pericoloso. Per esempio, un agente potrebbe avere il permesso di leggere un documento riservato e il permesso di inviare un'e-mail. Singolarmente, entrambe le azioni sono sicure. Ma se l'agente viene ingannato nel leggere il documento e poi nell'inviare immediatamente un'e-mail a un indirizzo esterno, la combinazione crea una violazione dei dati che nessuna delle due autorizzazioni intendeva permettere.

Per risolvere questo problema, Muruaga ha sviluppato un sistema chiamato Agentic Principal Chain (Catena del Principale Agente). Immaginate una catena di comando in cui un capo umano delega un compito a un manager, che poi passa una parte di quel compito a un assistente junior. Nei sistemi di sicurezza tradizionali, una volta che il capo concede un permesso, quel permesso scende lungo la catena senza cambiare. L'assistente junior potrebbe finire con gli stessi ampi poteri del capo, creando un enorme rischio se l'assistente viene compromesso. L'Agentic Principal Chain cambia questo aspetto assicurando che, con ogni passaggio verso il basso nella catena, il permesso diventi più piccolo e più specifico. Funziona come un rigoroso guardiano che siede all'esterno del processo di pensiero dell'agente. Prima che l'agente possa compiere qualsiasi azione, questo guardiano controlla non solo se l'agente ha il diritto di compiere quella specifica cosa, ma anche cosa l'agente ha fatto in passato durante la stessa sessione.

Il sistema funziona tracciando uno "stato della sessione" (session state), ovvero un registro continuo di ogni azione compiuta dall'agente. Se un agente è autorizzato a leggere un file ed è autorizzato a inviare un'e-mail, il sistema controlla la cronologia. Se l'agente ha appena letto un file segreto, il sistema bloccherà il tentativo successivo di inviare un'e-mail, anche se l'invio di e-mail è generalmente consentito. Questo impedisce all'agente di combinare due azioni sicure in una pericolosa. I ricercatori chiamano questo "composition closure" (chiusura di composizione). È una regola che stabilisce che certe combinazioni di azioni sono proibite, indipendentemente dal fatto che i singoli passaggi siano consentiti. Il sistema limita anche il "raggio d'azione" (blast radius) di un singolo agente. Se un sub-agente viene compromesso, il danno che può causare è matematicamente limitato dalle autorizzazioni che ha ereditato, che sono strettamente inferiori alle autorizzazioni dell'agente che lo ha creato. Ciò assicura che una violazione in una parte del sistema non possa sfuggire al controllo per distruggere l'intera organizzazione.

Per testare se questo approccio funzioni effettivamente, i ricercatori hanno costruito una versione funzionante del sistema e l'hanno sottoposta a una serie di prove rigorose. Lo hanno testato contro migliaia di attacchi simulati utilizzando benchmark di sicurezza stabiliti. In un set di test che coinvolgeva oltre 1.000 scenari progettati per il furto di dati, il sistema ha bloccato ogni singolo tentativo. In un altro set di test, in cui i ricercatori hanno simulato una situazione in cui il modello di intelligenza artificiale stesso era completamente compromesso e totalmente sotto il controllo di un attaccante, il sistema ha comunque fermato gli attacchi. Quando il modello ha cercato di inviare dati rubati, il guardiano ha negato la richiesta perché la combinazione di azioni violava le regole della sessione. Il sistema ha inoltre impedito con successo all'agente di distruggere file o manipolare dati in modi che non facevano parte del compito originale, riducendo il tasso di successo di tali attacchi da oltre il 90 percento a solo il 12 percento.

Lo studio ha misurato anche quanto questo strato aggiuntivo di sicurezza rallentasse gli agenti. I risultati hanno mostrato che il sistema è incredibilmente veloce, aggiungendo meno di un quarto di millisecondo al tempo necessario per prendere una decisione. Ciò significa che i controlli di sicurezza avvengono quasi istantaneamente, senza ritardi percepibili per l'utente. Tuttavia, i ricercatori hanno scoperto che esiste un compromesso. In alcuni casi, le regole rigide hanno impedito all'agente di completare un compito legittimo perché il sistema era troppo cauto riguardo alla combinazione di azioni. Nei loro test, il tasso di successo dei compiti legittimi è sceso di circa 8,6 punti percentuali quando sono state applicate le regole più severe. Ciò suggerisce che, sebbene il sistema sia altamente efficace nel fermare gli attacchi, richiede una calibrazione attenta per garantire che non diventi così restrittivo da ostacolare il normale lavoro.

I ricercatori sono stati attenti a definire cosa il loro sistema faccia e non faccia. Hanno dimostrato matematicamente che, se le regole sono impostate correttamente, è impossibile per un agente compiere una combinazione di azioni proibita. Hanno anche dimostrato che il potenziale danno derivante da un agente compromesso non può crescere man mano che il compito viene passato lungo la catena di comando. Tuttavia, hanno osservato che il loro sistema non risolve ogni possibile problema. Non può impedire a un agente di compiere qualcosa di dannoso se quella singola azione è già consentita dalle regole, come eliminare un file se l'agente ha il permesso di eliminare i file. Inoltre, non può impedire a un agente di essere ingannato nel compiere una scelta errata all'interno del proprio ambito consentito. Questi problemi richiedono soluzioni diverse, come un migliore addestramento per l'intelligenza artificiale o controlli più dettagliati sui dati specifici gestiti.

In definitiva, il documento presenta un cambiamento nel modo in cui pensiamo alla sicurezza dell'intelligenza artificiale. Invece di cercare di costruire una mente indistruttibile, l'attenzione si sposta sul costruire una gabbia indistruttibile. Imponendo regole rigide su quali azioni possono essere combinate e assicurando che i permessi si restringano man mano che i compiti vengono delegati, il sistema crea una rete di sicurezza che regge anche quando il giudizio dell'agente fallisce. La ricerca dimostra che, con i giusti controlli architettonici, possiamo permettere a questi potenti lavoratori digitali di operare in ambienti complessi senza il timore che un singolo momento di confusione porti a una catastrofe. Le conclusioni suggeriscono che la strada per un'intelligenza artificiale sicura risiede non solo in modelli più intelligenti, ma in sistemi più intelligenti che sappiano dire di no, anche quando il modello dice di sì.