Verifiable Delegated Authority for LLM Agents in Banking: A Formal Architecture, Capability Protocol, and Audit Guarantees
Questo articolo propone un'architettura formale per agenti LLM sicuri nel settore bancario che disaccoppia l'autorizzazione dal modello utilizzando token di capacità attenuati e motori di policy deterministici, fornendo garanzie dimostrabili per il contenimento dell'autorità, la limitazione delle perdite finanziarie e l'integrità dell'audit contro attori avversari.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel mondo ad alto rischio del settore bancario, la fiducia è stata tradizionalmente costruita su regole rigide e attori prevedibili. Per decenni, le banche hanno protetto le loro porte digitali assicurandosi che ogni azione provenisse da un essere umano noto o da un servizio informatico affidabile e pre-programmato. Questi sistemi operano su una premessa semplice: se una richiesta è firmata dalla persona giusta e segue i passaggi corretti, è sicura da eseguire. Tuttavia, un nuovo tipo di lavoratore è entrato in scena: l'agente di intelligenza artificiale. A differenza di un essere umano o di un programma informatico standard, questi agenti sono alimentati da modelli linguistici di grandi dimensioni (LLM) in grado di ragionare attraverso informazioni complesse e non strutturate come email o rapporti. Possono decidere autonomamente quali passi compiere successivamente. Questa flessibilità li rende incredibilmente utili per gestire compiti amministrativi disordinati, ma introduce anche una profonda incertezza. Poiché questi agenti non sempre prendono la stessa decisione due volte, anche quando ricevono le stesse informazioni, i vecchi modelli di sicurezza che presuppongono un attore prevedibile non sono più adeguati. Se a un agente IA vengono date le chiavi per spostare denaro, come può una banca essere certa che non trasferirà accidentalmente o maliziosamente fondi che non dovrebbe?
Neeraj Aggarile, un ricercatore di Infosys, affronta esattamente questo problema con un nuovo framework progettato specificamente per il settore bancario. L'idea centrale è di smettere di cercare di rendere l'IA stessa perfettamente sicura e, invece, costruire una gabbia sicura intorno ad essa. In questa nuova architettura, l'IA non è trattata come un decisore affidabile, ma come un proponente non attendibile. Le è permesso suggerire azioni, ma non le è mai permesso di eseguirle direttamente. Invece, ogni suggerimento deve passare attraverso un motore di policy deterministico separato che agisce come un rigoroso guardiano. Questo motore controlla il suggerimento rispetto a un insieme di regole e a un "token di capacità" specifico che limita esattamente cosa l'agente può fare, quanto denaro può spostare e per quanto tempo. Il sistema è progettato in modo che, anche se l'IA viene ingannata da un prompt malevolo o confusa da dati errati, non possa uscere dai confini assegnati. I ricercatori dimostrano matematicamente che, sotto questo design, l'agente non può mai elevare i propri privilegi per fare qualcosa per cui non era autorizzato, e calcolano un limite superiore preciso alla quantità di denaro che potrebbe essere persa se il sistema venisse attaccato senza l'intervento umano.
Per garantire che tutto sia avvenuto correttamente, i ricercatori hanno anche costruito un sistema di prove verificabili. Ogni singolo passaggio compiuto dall'agente, dall'idea iniziale all'esecuzione finale, viene registrato in un registro sicuro e immutabile, che è firmato e collegato tra loro come una catena. Ciò consente a un auditor, o anche a un altro computer, di esaminare il registro mesi dopo e verificare che l'agente sia rimasto all'interno delle sue regole, senza dover vedere il processo di pensiero interno dell'IA o rieseguire l'IA stessa. Il sistema introduce anche un metodo per utilizzare più agenti IA per revisionare il lavoro l'uno dell'altro. I ricercatori hanno scoperto che aggiungere semplicemente più revisori non garantisce la sicurezza; al contrario, la chiave è avere revisori che siano diversi, ovvero costruiti su modelli differenti o addestrati in modo diverso. Se tutti i revisori condividono lo stesso punto cieco, commetteranno tutti lo stesso errore. Quantificando questo rischio, il sistema può decidere quando un secondo parere vale effettivamente la spesa e quando è necessario fermarsi e chiedere aiuto a un essere umano.
Il team ha testato queste idee costruendo un prototipo funzionante e sottoponendolo a migliaia di attacchi simulati. In questi test, un computer avversario — che fungeva da sostituto di un agente malevolo, senza un vero modello linguistico nel loop — ha cercato di ingannare il sistema per eseguire azioni non autorizzate, come falsificare token, riprodurre vecchi comandi o manomettere i log. Su 700.000 tentativi, il sistema ha bloccato con successo ogni esecuzione non autorizzata. Le simulazioni, che si basavano su dati sintetici e utilizzavano HMAC-SHA256 per sostituire le vere firme digitali, hanno confermato che i limiti matematici sulla perdita finanziaria erano accurati; quando gli attaccanti hanno cercato di spingere il sistema al suo limite assolto, le perdite corrispondevano esattamente al massimo previsto, dimostrando che la rete di sicurezza era serrata. I test hanno anche rivelato due debolezze specifiche nel design iniziale: una relativa alla durata di validità dei token e un'altra riguardante la capacità di riportare i log a uno stato precedente. Il design finale ha chiuso queste falle, garantendo che anche se un attaccante fosse riuscito a rubare un token, questo potesse essere utilizzato una sola volta e solo entro una finestra temporale molto breve.
Questo approccio rappresenta un cambiamento nel modo in cui pensiamo alla sicurezza dei sistemi intelligenti nelle infrastrutture critiche. Invece di sperare che l'IA si comporti sempre bene, il sistema assume che possa non farlo e costruisce uno strato di enforcement separato dal ragionamento dell'IA. Il risultato è un flusso di lavoro in cui l'IA può svolgere il proprio compito di analisi di informazioni complesse e proposta di soluzioni, mentre la banca mantiene il controllo assoluto sull'azione finale. I ricercatori hanno dimostrato che è possibile avere agenti potenti e automatizzati in un ambiente bancario senza creare un rischio non verificabile. Trattando l'IA come un proponente e lo strato di esecuzione come un ente esecutore, e mantenendo un registro immutabile di ogni decisione, le banche possono iniziare a utilizzare questi strumenti con un livello di sicurezza e responsabilità che prima era impossibile. Il lavoro rimane un modello formale e una simulazione, ma fornisce un percorso chiaro e dimostrato per spostare gli agenti IA dagli strumenti sperimentali al cuore delle operazioni finanziarie regolate.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.