💻 computer science

Governing What You Cannot Observe: Adaptive Runtime Governance for Autonomous AI Agents

Questo articolo propone il Principio di Fattibilità Informativa e il framework RiskGate, fondati sulla teoria della fattibilità di Aubin, per abilitare una governance adattiva in runtime per agenti AI autonomi stimando i limiti del rischio non osservato e imponendo restrizioni monotone per garantire la sicurezza nonostante la deriva comportamentale e l'adattamento avversario.

Autori originali: German Marin, Jatin Chaudhary

Pubblicato 2026-04-28

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: German Marin, Jatin Chaudhary

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di aver assunto un assistente robotico molto intelligente e autonomo per gestire il tuo conto bancario, pianificare i tuoi appuntamenti e ordinare la spesa. Gli hai dato il pieno permesso di agire. Ma ecco il problema: anche se non modifichi mai il codice, il robot può lentamente iniziare a prendere decisioni sbagliate. Potrebbe confondersi di fronte a nuovi tipi di richieste, iniziare a favorire certi gruppi di persone rispetto ad altri, o accidentalmente concatenare una serie di azioni minuscole e innocue che si accumulano fino a diventare una frode massiccia.

Questo articolo, intitolato "Governare ciò che non puoi osservare", propone un nuovo modo per mantenere questi agenti AI al sicuro. Invece di controllare semplicemente se una singola azione è consentita, suggerisce di monitorare i "segni vitali" dell'agente per prevedere se sta per ammalarsi prima che si verifichi effettivamente un guasto.

Ecco la spiegazione delle loro idee utilizzando analogie semplici:

1. Il Problema Centrale: La "Deriva Silenziosa"

Pensa a un agente AI come a un'auto che guida su un'autostrada.

Vecchio Metodo: Controlli l'auto prima di ogni svolta. "Questa svolta è legale?" Se sì, le permetti di procedere.
Il Problema: Gli pneumatici dell'auto potrebbero consumarsi lentamente, la miscela di carburante potrebbe diventare leggermente sbilanciata, o il conducente potrebbe stancarsi. Anche se ogni singola svolta è legale, l'auto potrebbe finire per schiantarsi a causa di questi cambiamenti lenti e invisibili.
L'Intuizione dell'Articolo: Non puoi guardare solo la svolta attuale; devi stimare il "Rischio Non Osservato". Questo è il pericolo che non vedi in questo momento ma che sarà lì tra pochi minuti.

2. La Nuova Regola: Il "Margine di Sicurezza"

Gli autori propongono una regola semplice chiamata Principio di Fattibilità Informativa. Immagina che l'AI abbia un "Budget di Sicurezza".

Capacità (S): Quanto bene sta performando l'AI in questo momento (ad esempio, sta rispondendo correttamente alle domande).
Limite di Rischio (B): Il pericolo stimato di cose che non puoi vedere ancora (ad esempio, l'AI sta lentamente iniziando ad allucinare o a mostrare pregiudizi).
La Regola: L'AI è autorizzata ad agire solo se la sua Capacità è maggiore del suo Rischio di un margine di sicurezza.
- Analogia: Guidi l'auto solo se il serbatoio di carburante (Capacità) è significativamente più pieno della distanza fino alla prossima stazione di servizio (Rischio). Se il divario diventa troppo piccolo, smetti di guidare, anche se l'auto sembra perfetta in questo preciso secondo.

3. I Tre Pericoli Nascosti (Il "Limite di Rischio")

L'articolo scompone questo rischio invisibile in tre tipi specifici di "malattia" che l'AI potrebbe contrarre:

U(x) - La "Confusione" (Incertezza): L'AI sta lentamente dimenticando ciò che sapeva prima. Forse il mondo è cambiato, o l'AI ha ricevuto un aggiornamento software che l'ha fatta comportare diversamente.
- Analogia: Uno chef che una volta preparava zuppe perfette ma sta lentamente iniziando a dimenticare la ricetta, aggiungendo un pizzico di sale in più ogni giorno.
SB(x) - La "Ingiustizia" (Pregiudizio Strutturale): L'AI sta trattando diversi gruppi di persone in modo diverso, anche se non sembra farlo intenzionalmente.
- Analogia: Un buttafuori in un club che inizia a far entrare il 90% delle persone da un quartiere ma solo il 10% da un altro, anche se nessuno glielo ha detto.
RG(x) - L'"Inganno" (Divario di Realtà): L'AI sta facendo cose che sembrano sicure singolarmente, ma pericolose quando messe insieme.
- Analogia: Un ladro che preleva 4.900 dollari da un bancomat cinque volte di fila. Ogni prelievo è sotto il limite di 5.000 dollari che attiva un allarme, ma il totale di 24.500 dollari è chiaramente un furto. L'AI deve vedere l'intera storia, non solo il singolo prelievo.

4. La Soluzione: L'"Autopilota" e l'"Indice di Fattibilità"

Gli autori hanno costruito un sistema chiamato RiskGate per gestire questo. Agisce come un monitor della salute per l'AI.

L'Indice di Fattibilità (VI): Questo è un singolo numero (da -1 a +1) che ti dice quanto è sana l'AI.
- +1: L'AI è super sicura.
- 0: L'AI è sull'orlo del precipizio.
- -1: L'AI è nei guai.
Prevedere il Futuro (Anticipazione): Il sistema non aspetta semplicemente che l'AI si rompa. Disegna una linea attraverso la storia recente dell'"Indice di Salute". Se la linea sta scendendo, prevede quando l'AI toccherà zero.
- Analogia: Un medico che osserva la tendenza della temperatura di un paziente. Anche se il paziente sta bene ora, se la temperatura sale di 1 grado ogni ora, il medico sa che il paziente avrà la febbre tra due ore e agisce prima che la febbre si manifesti.
La Regola "Solo Stringere" (Restrizione Monotona): Questa è una caratteristica di sicurezza cruciale. Se l'AI inizia ad ammalarsi, il sistema può solo stringere le regole (renderla più cauta). Non può mai allentare le regole automaticamente.
- Analogia: Se una nave inizia ad imbarcare acqua, il capitano può solo chiudere altri boccaporti. Non può aprirne di più per "aggiustare" il problema. Se la nave sta affondando troppo velocemente, l'unica opzione è premere il "Kill Switch" (fermare completamente l'AI) e chiedere aiuto umano.

5. Come Funziona nella Realtà (Gli Esempi)

L'articolo testa questo con due scenari:

La Truffa della "Strutturazione": Un attore malintenzionato cerca di rubare denaro effettuando molti piccoli trasferimenti.
- Risultato: I rilevatori di "Confusione" e "Ingiustizia" non hanno visto nulla di sbagliato perché ogni trasferimento sembrava normale. Ma il rilevatore di "Inganno" (guardando l'intera sequenza) ha visto il pattern e fermato il furto.
La Truffa del "Pregiudizio Silenzioso": Un'AI inizia a rifiutare le richieste di prestito da un gruppo minoritario specifico leggermente più spesso, lentamente nel tempo.
- Risultato: Il sistema ha notato che l'"Indice di Salute" stava lentamente scendendo. Ha previsto che l'AI sarebbe diventata ingiusta dopo circa 100 transazioni. Ha automaticamente stretto le regole prima che l'ingiustizia diventasse una violazione legale.

Riassunto

Questo articolo sostiene che governare l'AI non riguarda il controllare un elenco di "cose da fare e da non fare" per ogni singola azione. Si tratta di stimare il rischio invisibile che si accumula nel tempo. Separando ciò che possiamo vedere (le azioni attuali dell'AI) da ciò che non possiamo vedere (la lenta deriva verso il pericolo), e utilizzando un sistema che può solo diventare più severo (mai più lasco) quando le cose sembrano rischiose, possiamo mantenere gli agenti autonomi al sicuro prima che causino danni reali.

Cosa l'articolo NON afferma:

Non afferma di averlo testato su milioni di agenti AI reali (questo è pianificato per lavori futuri).
Non afferma di risolvere ogni possibile problema dell'AI (come il "disallineamento degli obiettivi" o la "decezione"), ma fornisce un quadro per catturare i tipi più comuni di deriva e pregiudizio.
Non dice che l'AI può ripararsi da sola; se l'"Indice di Salute" diventa troppo basso, il sistema si ferma e attende un umano.

1. Enunciato del Problema

Il documento affronta una lacuna critica nella governance degli agenti AI autonomi (in particolare gli agenti basati su Large Language Model). Sebbene le piattaforme esistenti (ad es. AWS, Microsoft, Google) forniscano autorizzazioni statiche incentrate sull'identità (ad es. "È consentita questa azione?"), non riescono a rilevare la deriva comportamentale e i rischi emergenti che evolvono nel tempo senza modifiche al codice.

Gli autori identificano tre modalità di fallimento specifiche che le politiche statiche non colgono:

Non stazionarietà comportamentale: Gli agenti modificano le distribuzioni in modo silenzioso a causa di aggiornamenti del modello o deriva dei prompt.
Rischio compositivo: Azioni individualmente benigne (ad es. piccoli trasferimenti) si combinano per formare frodi (ad es. strutturazione).
Discriminazione emergente: L'apprendimento adattivo amplifica gli squilibri iniziali nei dati in bias sistemici.

Le soluzioni attuali (guardrail basati su regole, valutatori LLM, motori di politiche statiche) sono o evitabili, introducono latenza o mancano di memoria del comportamento precedente. Il problema fondamentale è che gli agenti possono rimanere pienamente autorizzati ma diventare insicuri man mano che i rischi non osservati si accumulano.

2. Metodologia Principale: Il Principio di Vitalità Informativa

Il documento propone un ripensamento teorico della governance basato sulla Teoria della Vitalità di Aubin. L'idea centrale è il Principio di Vitalità Informativa:

Governare un agente autonomo si riduce alla stima continua di un limite sul rischio non osservato ( $\hat{B}(x)$ ) e al permesso di un'azione solo quando la capacità osservata dell'agente ( $S(x)$ ) supera questo limite con un margine di sicurezza ( $\epsilon$ ).

Regola Decisionale:
$\text{Consenti } x \iff S(x) \ge \hat{B}(x) + \epsilon$

Decomposizione del Rischio Non Osservato ( $\hat{B}(x)$ )

Il documento scompone $\hat{B}(x)$ in tre termini statisticamente distinti, ciascuno dei quali richiede stimatori specifici:

$U(x)$ (Incertezza/Deriva Distribuzionale): Rischio derivante dallo spostamento del comportamento dell'agente rispetto alla sua distribuzione di riferimento. Stimato tramite Divergenza KL su finestre scorrevoli di esiti delle transazioni e chiamate agli strumenti.
$SB(x)$ (Bias Strutturale): Rischio derivante da disparità sistemiche nel trattamento di diversi segmenti della popolazione. Stimato tramite test Z Segmento-vs-Resto (test di due proporzioni).
$RG(x)$ (Divario Realtà/Contesto Sequenziale): Rischio derivante da pattern che emergono solo in sequenze (ad es. frode da strutturazione). Stimato tramite PlanGovernor (corrispondenza di pattern su cronologie di azioni).

Il Framework di Vitalità dell'Agente (AVF)

Per operationalizzare questo principio, gli autori definiscono tre proprietà necessarie e sufficienti per un sistema di governance:

P1 (Monitoraggio): Stima continua di $\hat{B}(x)$ su tutti i vincoli (richiede una cronologia con stato).
P2 (Anticipazione): Previsione del tempo al superamento del confine ( $t^*$ ) monitorando il tasso di variazione ( $d\hat{B}/dt$ ) prima che si verifichi una violazione.
P3 (Restrizione Monotona): Gli interventi possono solo restringere le restrizioni, mai allentarle. Ciò preserva l'integrità delle stime del rischio contro manipolazioni avversarie.

3. Implementazione del Sistema: RiskGate

Gli autori presentano RiskGate, un'implementazione di riferimento dell'AVF.

Architettura: Un grafo aciclico diretto (DAG) a tre livelli composto da un Livello di Governance (stimatori statistici), un Livello di Dominio (regole aziendali) e un Livello di Astrazione (API delle politiche).
Stimatori Statistici:
- Divergenza KL a Doppio Canale: Monitora separatamente gli esiti delle transazioni e le chiamate agli strumenti con correzione di Bonferroni per il controllo congiunto del Tasso di Falsi Positivi (FPR).
- Soglie Adattive (D-UCB1): Utilizza un algoritmo Discounted Upper Confidence Bound per ottimizzare dinamicamente le soglie di rilevamento, bilanciando i falsi positivi rispetto alle anomalie mancate.
- Rilevamento del Bias: Implementa un test Z segmento-vs-resto con correzione del bias di auto-inclusione.
L'Autopilota (Mappa di Regolazione):
- Formalizzato come un'istanza della Mappa di Regolazione di Aubin ( $R_A$ ).
- Opera su base "solo restringimento". Se il sistema si avvicina a un confine di vitalità, restringe automaticamente le soglie.
- Include un Kill Switch come controllo ammissibile "ultima risorsa" per garantire che il sistema non rimanga mai bloccato senza un'azione valida.
Governance Predittiva:
- Calcola un Indice di Vitalità (VI) $VI(t) \in [-1, +1]$ .
- Utilizza la regressione OLS sui valori recenti di $VI$ per prevedere $t^*$ (tempo al superamento del confine), trasformando la governance da reattiva a predittiva.

4. Contributi Chiave

Quadro Teorico: Il Principio di Vitalità Informativa unifica stimatori statistici e proprietà di governance sotto un'unica struttura matematica, spiegando perché monitoraggio, anticipazione e monotonia sono necessari.
Framework di Vitalità dell'Agente (AVF): Una definizione formale del degrado dell'agente (senescenza) e delle tre proprietà (P1-P3) richieste per prevenirlo.
Implementazione RiskGate: Una libreria Python completa che presenta:
- Rilevamento della deriva multicanale con calibrazione Monte Carlo.
- Ottimizzazione adattiva delle soglie tramite Multi-Armed Bandits.
- Una pipeline monotona in cui le decisioni sono strettamente cumulative ( $D_{final} = \bigwedge D_i$ ).
- Un Autopilota in ciclo chiuso con garanzia formale di kernel di vitalità non vuoti.
Validazione Analitica:
- Mappatura della Copertura: Il framework è mappato contro la tassonomia di fallimento "Agents of Chaos" (11 studi di caso), mostrando come i tre termini di $\hat{B}(x)$ coprano varie modalità di fallimento.
- Dimostrazioni Svolte:
  - Attacco di Strutturazione: Mostra come $RG(x)$ (PlanGovernor) blocchi frodi che $U(x)$ e le regole statiche non colgono.
  - Bias Emergente: Mostra come P2 (Anticipazione) rilevi la deriva del bias 108 operazioni prima che un test Z reattivo si attivi.

5. Risultati e Valutazione

Nota: Il documento afferma esplicitamente che la valutazione empirica quantitativa (tassi di rilevamento misurati, latenza, ROI) è delimitata come lavoro futuro. I risultati attuali sono analitici e teorici.
Copertura Analitica: Il framework mappa con successo 11 casi di fallimento documentati da Shapira et al. [23], dimostrando che nessun singolo estimatore copre tutti i rischi; è necessaria la composizione di $U(x)$ , $SB(x) $e$ RG(x)$.
Convergenza: Le strategie di riduzione della deriva in RiskGate si allineano ai risultati di Rath [21], suggerendo che strategie combinate (memoria, instradamento, ancoraggio) possono ridurre la deriva fino all'81,5%.
Capacità Predittiva: Il meccanismo di previsione di $t^*$ è dimostrato fornire un "tempo di anticipo" per l'intervento, consentendo al sistema di agire prima che un vincolo venga violato.

6. Significato e Impatto

Cambiamento di Paradigma: Sposta la governance AI dall'autorizzazione statica e senza stato (verificare se un'azione è consentita ora) alla vitalità dinamica e con stato (verificare se la traiettoria dell'agente è sicura).
Allineamento Normativo: Il framework affronta direttamente i requisiti del Regolamento UE sull'IA (Gestione del Rischio, Accuratezza, Supervisione Umana) fornendo stime di rischio continue e quantificabili e tracce di audit.
Rigor Formalità: Fondando il sistema sulla Teoria della Vitalità, il documento fornisce una garanzia matematica che il sistema non rimarrà "bloccato" (Teorema 3.1) e che gli interventi sono strutturalmente sicuri (P3).
Resilienza Adversariale: La proprietà di Restrizione Monotona (P3) è evidenziata come difesa critica contro l'"erosione avversaria", dove gli attaccanti cercano di ingannare il sistema inducendolo ad allentare le proprie difese.

In sintesi, questo documento fornisce una solida base teorica e un'implementazione di riferimento concreta per governare agenti autonomi in grado di adattarsi alla deriva comportamentale, ai rischi compositivi e al bias emergente, garantendo la sicurezza anche quando il comportamento dell'agente non è esplicitamente osservabile in tempo reale.