Agentic AI Systems and Financial Stability, From Model Risk to Systemic Risk

La stabilità finanziaria si basa su un'assunzione confortante: che quando una parte del sistema si rompe, il resto possa assorbire l'urto. Se una banca fallisce, le altre sopravvivono; se un trader commette un errore, il mercato si corregge da solo. Questo funziona perché i fallimenti sono solitamente unici per quella specifica istituzione, sparsi e non correlati. Ma un nuovo tipo di rischio sta emergendo, un rischio che frantuma questa rete di sicurezza. Esso proviene dall'intelligenza artificiale "agente", sistemi che non si limitano a prevedere il futuro, ma compiono azioni nel mondo reale, come spostare denaro, scrivere codice o gestire l'assistenza ai pazienti. Quando molti di questi agenti sono costruiti sulla stessa base software sottostante, un singolo errore o un singolo attacco non rimane locale. Al contrario, colpisce ogni agente contemporaneamente, trasformando un piccolo guasto in un collasso sistemico.

I ricercatori della Federal Reserve hanno trascorso anni studiando come gestire il rischio nella banca tradizionale, dove misurano la probabilità che un prestito vada in default e accantonano denaro per coprire la perdita. Hanno ora applicato questo stesso rigore di pensiero a questi nuovi sistemi di IA, ma hanno scoperto che le vecchie regole non funzionano. Il problema centrale è che questi agenti IA sono diversi dai lavoratori umani o dal software tradizionale. Agiscono con velocità e autonomia e, quando commettono un errore, il danno è spesso irreversibile. Non si può "annullare l'invio" di un bonifico fraudolento o "annullare la cancellazione" di un database critico. Poiché il danno è permanente e avviene istantaneamente, le solite reti di sicurezza — come avere un piano di riserva o aspettare per vedere cosa succede prima di reagire — sono inutili. I ricercatori hanno scoperto che l'unico modo per fermare una catastrofe è impedirne la possibilità fin dall'inizio, rimuovendo le capacità pericolose prima che il sistema venga eseguito.

Lo studio, che si articola in sei distinte investigazioni matematiche, inizia esaminando un singolo agente IA. Nella finanza tradizionale, il rischio viene calcolato moltiplicando la probabilità di un evento per l'entità della perdita. I ricercatori hanno adattato questo approccio all'IA, scomponendo il danno in tre parti: quanto è probabile che l'agente compia un'azione dannosa, quanto sia grave tale azione e quanto sia ampia la sua portata. Hanno scoperto che, quando un agente è sotto attacco, questi tre fattori non agiscono indipendentemente. Un singolo evento malevolo può rendere l'agente più propenso ad agire, rendere il danno peggiore e ampliare l'ambito del danno. Ciò crea un rischio di "verso errato" (wrong-way risk) in cui il pericolo si aggrava rapidamente. Soprattutto, hanno dimostrato che per i danni irreversibili, nessun monitoraggio o capacità di invertire gli errori può risolvere il problema. Se un'azione non può essere annullata, l'unica soluzione è garantire che l'agente non abbia affatto la capacità di compiere quell'azione.

I ricercatori hanno poi ampliato la loro visione da un singolo agente a una flotta di migliaia, tutti basati sullo stesso modello fondamentale. È qui che il rischio diventa veramente sistemico. In un portafoglio normale, se si hanno molti investimenti diversi, il fallimento di uno non danneggia gli altri. Ma se ogni agente in una flotta condivide lo stesso cervello, un difetto in quel cervello li colpisce tutti simultaneamente. I ricercatori hanno dimostrato che, indipendentemente da quanti agenti si aggiungano alla flotta, il rischio non diminuisce. Al contrario, raggiunge un "pavimento" che non può essere eliminato tramite la diversificazione. Anche se gli agenti si trovano in aziende o paesi diversi, se si affidano allo stesso software sottostante, un singolo fallimento può abbattere l'intero gruppo. Questo è ciò che chiamano una "monocoltura": un sistema in cui tutti sono vulnerabili esattamente allo stesso tipo di minaccia.

Lo studio ha anche esaminato come questi agenti interagiscono tra loro. Nel mondo reale, gli agenti spesso comunicano tra loro, condividendo informazioni o coordinando compiti. I ricercatori hanno scoperto che questa interazione crea un nuovo, nascosto pericolo. Anche se gli agenti sono costruiti su software diversi, se sono programmati per ascoltarsi l'un l'altro, possono iniziare a muoversi all'unisono durante una crisi. Se un agente va nel panico e cambia il proprio comportamento, gli altri lo seguono, creando una reazione a catena che diffonde il rischio. Questo accade anche in assenza di un difetto software condiviso. Inoltre, un agente compromesso può usare il linguaggio per persuadere i propri pari a compiere qualcosa di dannoso, creando una contagiosità che si diffonde attraverso la conversazione piuttosto che attraverso il codice. Ciò significa che non basta separare le reti tecniche; anche il modo in cui gli agenti comunicano deve essere controllato.

Per capire come questi rischi si manifestino nel tempo, i ricercatori hanno modellato il sistema come un flusso continuo di eventi, in modo simile a come vengono studiati i terremoti o i crash finanziari. Hanno scoperto che il rischio si comporta come un salto raro e massiccio piuttosto che come un lento deriva. Il sistema può apparire stabile per molto tempo e poi improvvisamente collassare. Hanno anche esaminato come controllare questi sistemi mentre sono in funzione, utilizzando dei "guardrail" (parapetti) per bloccare le azioni scorrette. Hanno dimostrato che, per gli eventi irreversibili, questi controlli in tempo di esecuzione sono fondamentalmente limitati. Se un'azione è già irreversibile, aspettare per rilevarla e fermarla è troppo tardi. La probabilità di un disastro dipende interamente dal design iniziale del sistema, non da quanto bene lo si monitori mentre è in esecuzione. Nessun monitoraggio può riparare un difetto che è stato incorporato fin dall'inizio.

Gli ultimi capitoli dello studio hanno introdotto un avversario — un hacker o un attaccante che utilizza anch'egli un'IA avanzata. I ricercatori hanno trattato questo scenario come un gioco in cui l'attaccante cerca di trovare il punto debole e il difensore cerca di bloccarlo. Hanno scoperto che, quando gli attaccanti usano l'IA, il sistema diventa un bersaglio molto più attraente. Una base software condivisa è come una chiave singola che apre tutte le porte di un edificio; se un ladro trova quella chiave, può entrare ovunque contemporaneamente. Lo studio ha mostrato che in un mercato decentralizzato, dove ogni azienda cerca di proteggersi individualmente, tutti sottoinvestiranno nella misura di sicurezza più importante: la prevenzione strutturale. Spenderanno denaro nella rilevazione e nella reazione perché sono più facili da vedere e misurare, ma ignoreranno il duro lavoro di rimuovere interamente le capacità pericolose. Ciò lascia l'intero sistema vulnerabile.

I ricercatori hanno concluso che l'unico modo efficace per gestire questo rischio è attraverso la "prevenzione strutturale". Ciò significa progettare il sistema in modo che le azioni catastrofiche siano fisicamente impossibili da compiere, invece di sperare di coglierle dopo che sono accadute. Comporta la rimozione di strumenti pericolosi, la limitazione dei permessi e la garanzia che gli agenti non possano accedere alle parti del sistema che potrebbero causare danni irreversibili. Lo studio ha dimostrato che questo approccio è l'unico che funziona contro un avversario intelligente e in crescita. Man mano che la tecnologia dell'IA migliora e gli attaccanti diventano più capaci, il costo del tentativo di rilevare e reagire a ogni nuova minaccia diventa infinito. Al contrario, il costo di rimuovere una capacità pericolosa è un investimento una tantum che protegge il sistema per sempre, indipendentemente da quanto diventi intelligente l'attaccante.

Il documento si conclude con un messaggio chiaro per i regolatori e i progettisti di sistemi. La stabilità finanziaria nell'era dell'IA non può essere raggiunta osservando più da vicino ogni singola istituzione o sperando che un singolo fallimento non si propaghi. Il rischio è troppo profondo e troppo interconnesso. L'unico modo per mettere in sicurezza il sistema è fare scelte strutturali prima che il sistema inizi mai a girare. Ciò significa limitare quanto una singola base software possa essere utilizzata, garantire che gli agenti non possano compiere azioni irreversibili e progettare il sistema in modo che un singolo punto di fallimento non possa abbattere l'intera rete. La matematica è chiara: non si può diversificare un difetto condiviso, non si può uscire da un errore irreversibile tramite il rilevamento e non si può reagire abbastanza velocemente per fermare un attacco coordinato. L'unica soluzione è costruire il sistema in modo che il disastro non abbia mai la possibilità di accadere.