Nel mondo dell'informatica moderna, una regola fondamentale ha mantenuto i sistemi sicuri per molto tempo: le istruzioni che dicono a una macchina cosa fare devono essere tenute separate dai dati che la macchina elabora. Questa separazione assicura che un utente non possa accidentalmente o maliziosamente ingannare un computer affinché esegua comandi che non era destinato a seguire. Tuttavia, l'ascesa degli agenti di intelligenza artificiale autonoma ha sfumato questo confine. Questi agenti, progettati per eseguire compiti complessi come la gestione di database o il controllo di dispositivi intelligenti, spesso leggono istruzioni e dati non attendibili da Internet tutti insieme, in un unico flusso di testo. Poiché il computer tratta i dati e le istruzioni come parte dello stesso miscuglio, un attaccante astuto può nascondere un comando occulto all'interno di un'e-mail o di una pagina web apparentemente innocua. Quando l'agente legge questo contenuto, può obbedire inconsapevolmente al comando nascosto, compiendo azioni come eliminare file o rubare password. Questa vulnerabilità, nota come iniezione di prompt indiretta, trasforma l'agente in un delegato confuso che segue ordini che non intendeva ricevere.

I ricercatori del Mastyf AI Research Laboratories hanno proposto un nuovo modo per proteggere questi agenti, allontanandosi dall'idea che l'intelligenza artificiale stessa possa essere l'ultimo giudice della sicurezza. Invece di fare affidamento sull'IA per riconoscere ogni possibile trucco, il team ha costruito un sistema di sicurezza che agisce come un rigoroso guardiano prima che venga intrapresa qualsiasi azione. Chiamano questo sistema Mastyf Guard. Esso opera su un principio semplice ma potente: l'IA è autorizzata a pensare e ragionare, ma viene privata del potere di agire da sola. Ogni volta che l'IA suggerisce uno strumento da utilizzare, come inviare un'e-mail o accedere a un server, un monitor di sicurezza separato e indipendente controlla la richiesta. Questo monitor non cerca di indovinare l'intento dell'IA; invece, controlla una lista digitale di permessi, proprio come un bouncer che controlla la lista degli ospiti in un club. Se l'azione richiesta non è esplicitamente consentita per quella specifica sessione, la richiesta viene bloccata immediatamente, indipendentemente da quanto possa essere convincente il ragionamento dell'IA.

I ricercatori hanno testato questo approccio contro una vasta collezione di cinquantamila scenari, la metà dei quali erano attacchi realistici progettati per ingannare gli agenti, e l'altra metà erano operazioni normali e sicure eseguite dagli sviluppatori. I risultati hanno mostrato che il loro sistema poteva fermare la stragrande maggioranza degli attacchi quasi istantaneamente. Nei casi più rapidi, il controllo di sicurezza richiedeva solo cinque millesimi di secondo, una velocità così elevata da essere quasi impercettibile per un utente umano. Il sistema ha identificato e bloccato con successo il 99,33 percento degli attacchi, un miglioramento significativo rispetto agli strumenti di sicurezza esistenti che spesso ne perdono più della metà di questi sottili trucchi. Fondamentalmente, il sistema ha fatto ciò senza richiedere chip informatici costosi e potenti, funzionando efficientemente su processori informatici standard con un'impronta di memoria di soli 1,1 gigabyte. Ciò significa che la protezione può essere implementata in ambienti d'ufficio quotidiani senza richiedere hardware specializzato.

Per capire come funziona, immaginate l'agente IA come un dipendente altamente qualificato ma facilmente distraibile che ha ricevuto una chiave maestra di tutto l'edificio. Se uno sconosciuto sussurra un'istruzione falsa nell'orecchio del dipendente, il dipendente potrebbe usare quella chiave maestra per aprire una porta che non dovrebbe aprire. Il sistema Mastyf Guard rimuove completamente la chiave maestra dalla tasca del dipendente. Invece, il dipendente deve chiedere il permesso a una guardia di sicurezza ogni volta che vuole aprire una porta. La guardia non ascolta la storia del dipendente né cerca di interpretare il suo tono; la guardia controlla semplicemente una lista rigorosa di quali porte il dipendente è autorizzato ad aprire in quel momento. Se la richiesta non è in lista, la porta rimane chiusa. Questo approccio risolve il problema del "delegato confuso" assicurando che, anche se l'IA viene ingannata nel chiedere la cosa sbagliata, il sistema semplicemente non può farlo perché manca dell'autorità necessaria.

I ricercatori hanno anche affrontato un problema più sottile: cosa succede quando l'IA è autorizzata a usare uno strumento, ma tenta di cambiare i dettagli della richiesta per causare un danno? Ad esempio, un'IA potrebbe essere autorizzata a inviare un'e-mail, ma un attaccante potrebbe ingannarla per inviare quell'e-mail a un indirizzo diverso o con un oggetto diverso. Per gestire questo, il team ha aggiunto un secondo livello di difesa che agisce come un correttore di bozze attento. Questo livello controlla i dettagli specifici della richiesta rispetto al permesso originale. Se l'IA prova a inviare denaro a un nuovo conto o ad accedere a un file che non avrebbe dovuto toccare, il sistema rileva il cambiamento. In test che coinvolgevano tremila complessi scenari aziendali, questa combinazione di controlli rigorosi dei permessi e correzione dettagliata ha intercettato il 97,5 percento degli attacchi mantenendo un tasso di falsi positivi dello zero percento, con un limite superiore statistico dello 0,19% su 2.000 operazioni aziendali benigne. Il sistema è stato così preciso che, in duemila normali operazioni aziendali, non ha generato un singolo falso allarme.

Uno dei risultati più significativi dello studio è che il sistema non ha bisogno di essere un'IA super-intelligente per essere efficace. I ricercatori hanno scoperto che un piccolo programma informatico specializzato può gestire la stragrande maggioranza dei controlli di sicurezza in microsecondi, chiamando un modello IA più grande e complesso solo quando una richiesta è ambigua o sospetta. Questo approccio ibrido mantiene il sistema veloce ed economico da gestire. Nel traffico aziendale di routine, il modello IA complesso non è mai stato necessario, permettendo al sistema di operare alla velocità dei controlli semplici e veloci. Quando il sistema ha avuto bisogno di chiamare il modello più grande per investigare su una richiesta complicata, ha impiegato circa diciotto millisecondi, che è comunque abbastanza veloce per la maggior parte delle applicazioni in tempo reale. Questo design assicura che la sicurezza non vada a scapito della velocità o della usabilità, permettendo alle aziende di utilizzare potenti agenti IA senza rallentare il proprio lavoro quotidiano.

Lo studio ha anche esplorato come prevenire la fuga di dati dal sistema attraverso una catena di strumenti autorizzati. Anche se un attaccante non può costringere l'IA a usare uno strumento proibito, potrebbe tentare di spostare informazioni sensibili da uno strumento autorizzato all'altro, esportando di fatto i dati. Sotto i normali controlli di capacità, i ricercatori hanno scoperto che gli attaccanti potevano esfiltrare con successo i dati in una parte significativa dei casi di test spostando le informazioni tra strumenti autorizzati. Per fermare questo, i ricercatori hanno implementato un sistema di tracciamento che segue il flusso delle informazioni, simile a come una banca traccia il movimento del contante per garantire che non scompaia. Questo sistema contrassegna i dati sensibili, come password o registri finanziari, e assicura che tali dati possano essere spostati solo verso destinazioni esplicitamente autorizzate a riceverli. In test che coinvolgevano oltre mille tentativi di rubare dati utilizzando questo specifico metodo di tracciamento, il sistema ha bloccato ogni singolo tentativo, garantendo che le informazioni sensibili non potessero spostarsi in una posizione non autorizzata.

Sebbene il sistema abbia mostrato un successo straordinario, i ricercatori sono stati attenti a sottolinearne i limiti. Le garanzie di sicurezza si basano sull'assunto che il monitor di sicurezza stesso sia in esecuzione su un computer fidato e non sia stato hackerato. Se il monitor viene compromesso, l'intero sistema fallisce. Inoltre, sebbene il sistema sia eccellente nel fermare attacchi che tentano di usare gli strumenti in modi non autorizzati, non è perfetto nel catturare ogni possibile variazione di un trucco, in particolare quelli che comportano manovre complesse e multi-fase progettate per confondere il sistema. I ricercatori hanno identificato un piccolo numero di casi in cui il loro sistema è stato aggirato, riguardanti principalmente trucchi finanziari molto specifici o travestimenti di nomi di dominio, e hanno già proposto aggiornamenti per colmare queste lacune. Descrivono il loro lavoro come un'architettura pre-produzione, il che significa che è pronta per essere testata in ambienti reali ma richiede ancora ulteriori validazioni da parte di esperti indipendenti prima di poter essere considerata un prodotto commerciale finale.

Le implicazioni di questo lavoro vanno oltre il semplice rendere l'IA più sicura; esse cambiano il modo in cui pensiamo alla costruzione di sistemi intelligenti. Trattando l'IA come un componente potenzialmente inaffidabile che deve essere costantemente supervisionato, piuttosto che come un partner affidabile che può essere lasciato a controllare se stesso, i ricercatori hanno creato un framework molto più difficile da rompere. Questo cambio di prospettiva permette l'uso di potenti agenti autonomi in ambienti sensibili come ospedali, banche e uffici governativi, dove il costo di un errore è elevato. Il sistema dimostra che l'alta sicurezza non richiede di sacrificare la velocità o di richiedere hardware costoso, rendendolo una soluzione pratica per il futuro dell'intelligenza artificiale. Mentre questi agenti diventano più comuni nella nostra vita quotidiana, la capacità di separare il pensiero dall'azione, e di imporre regole rigorose su quali azioni sono consentite, sarà essenziale per mantenere sicuro il nostro mondo digitale.

I ricercatori hanno reso i loro strumenti e i loro dati disponibili al pubblico, permettendo ad altri scienziati di testare e migliorare il loro lavoro. Hanno rilasciato il codice per il monitor di sicurezza e i modelli IA addestrati, invitando la comunità globale a trovare debolezze e suggerire miglioramenti. Questa apertura è una parte critica del processo scientifico, assicurando che il sistema non sia solo un'idea teorica ma uno strumento pratico che può essere esaminato e perfezionato. Lo studio conclude che, combinando regole deterministiche rigorose con controlli intelligenti e flessibili, è possibile costruire un ambiente sicuro per gli agenti autonomi. Il percorso da seguire consiste nel continuare a testare questi sistemi in scenari reali, affinando le regole per catturare nuovi tipi di trucchi e garantire che la tecnologia rimanga robusta man mano che le minacce si evolvono. Il lavoro rappresenta un passo significativo verso il rendere la promessa dell'IA autonoma una realtà sicura e affidabile per tutti.