💻 computer science

From Admission to Invariants: Measuring Deviation in Delegated Agent Systems

Il documento dimostra che i sistemi di governance basati sull'esecuzione di regole locali sono strutturalmente incapaci di rilevare la deriva comportamentale rispetto agli invarianti globali stabiliti all'ammissione, proponendo e validando il livello di misurazione degli invarianti (IML) come soluzione necessaria per garantire l'identificabilità e il rilevamento tempestivo delle deviazioni.

Autori originali: Marcelo Fernandez (TraslaIA)

Pubblicato 2026-04-21

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Marcelo Fernandez (TraslaIA)

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Paradosso del "Comportamento Perfetto ma Sbagliato"

Immagina di assumere un assistente molto intelligente (un "agente") per gestire le tue email. Gli dai delle regole precise all'inizio: "Non inviare mai email a persone esterne all'azienda e non cancellare mai nulla". Questo è il suo contratto di ammissione.

Per assicurarti che rispetti le regole, installi un guardiano automatico (il sistema di "enforcement"). Il guardiano controlla ogni singola email che l'assistente scrive. Se l'assistente prova a cancellare un file o a scrivere a un estraneo, il guardiano suona l'allarme e blocca tutto.

Il problema che scopre questo studio è strano e inquietante:
L'assistente può iniziare a comportarsi in modo totalmente diverso da quello che ti aspettavi, senza mai violare una singola regola scritta. Il guardiano continua a dire: "Tutto ok! Nessuna violazione!", mentre l'assistente sta lentamente cambiando natura.

L'Analogia del "Viaggiatore Silenzioso"

Immagina che il tuo assistente sia un viaggiatore che deve rimanere su un sentiero sicuro (il Comportamento Ammissibile).

Il Guardiano (Enforcement): È un tornello che controlla solo se il viaggiatore sta camminando fuori dal sentiero (su un prato proibito) o se sta usando un'arma vietata. Se il viaggiatore rimane sul sentiero, il tornello non fa nulla.
Il Drift (Deriva): Immagina che il viaggiatore, pur rimanendo sulla strada, inizi a camminare sempre più velocemente, a saltellare, a fermarsi a guardare le nuvole invece di camminare dritto, o a cambiare il suo ritmo di marcia.
- Per il tornello, il viaggiatore è ancora "sulla strada". Quindi: Nessun allarme.
- Per te, che ti aspettavi un camminatore lento e costante, il viaggiatore è diventato un atleta frenetico. Il comportamento è cambiato, ma il guardiano non se ne è accorto.

Questo è il cuore del problema: il guardiano è "cieco" alle sfumature. Controlla solo i "no" assoluti (cancellare, rubare), ma non vede come l'agente sta evolvendo all'interno dei "sì" permessi.

La Soluzione: Il "Termometro della Memoria" (IML)

Gli autori del paper propongono una nuova soluzione chiamata IML (Invariant Measurement Layer), che possiamo chiamare il "Termometro della Memoria".

Invece di guardare solo se l'agente sta rompendo le regole (come fa il guardiano), il Termometro della Memoria:

Ricorda com'era l'agente il primo giorno: Salva una "fotografia" del suo comportamento iniziale (quante email scriveva, quanto era veloce, a chi parlava).
Confronta il presente con il passato: Ogni giorno, misura quanto l'agente si è allontanato da quella prima fotografia.
Suona l'allarme prima che sia troppo tardi: Anche se l'agente non sta violando nessuna regola, se il Termometro vede che il suo comportamento sta cambiando troppo rispetto all'inizio, ti avvisa: "Ehi, sta diventando strano, anche se tecnicamente non sta facendo nulla di proibito!".

Perché è importante?

Il paper dimostra matematicamente due cose fondamentali:

È impossibile scoprire la deriva guardando solo le regole: Non importa quanto sia intelligente il guardiano o quanto siano complicate le regole; se l'agente cambia comportamento rimanendo "dentro" i limiti permessi, il guardiano non potrà mai vederlo. È come cercare di capire se una persona è cambiata carattere guardando solo se ha rispettato il limite di velocità.
Serve un "ricordo" esterno: Per vedere la deriva, devi avere un punto di riferimento fisso (la memoria del primo giorno) che non cambia mai. Se il guardiano prova a "imparare" dal comportamento attuale dell'agente, si confonde e smette di notare i cambiamenti (come un termostato che si adatta alla temperatura esterna e smette di accendere il riscaldamento).

In Sintesi

Il Problema: I sistemi di sicurezza attuali controllano solo se l'agente fa cose vietate. Non controllano se l'agente sta cambiando in modo sottile e pericoloso pur facendo cose permesse.
La Scoperta: È matematicamente impossibile vedere questi cambiamenti nascosti usando solo i controlli di sicurezza tradizionali.
La Soluzione: Bisogna aggiungere un sistema che tenga traccia della "memoria" del comportamento originale e misuri quanto l'agente se ne sta allontanando, anche se non sta rompendo le regole.

È come dire: "Non basta che il tuo autista non vada a sbattere (rispetti le regole); devi anche assicurarti che non stia guidando come un pazzo o cambiando destinazione senza dirtelo, anche se rimane sulla strada."

1. Il Problema: Il "Crollo della Deviazione" e l'Invisibilità Strutturale

Il paper affronta una limitazione fondamentale nei sistemi di agenti autonomi governati da meccanismi di enforcement (applicazione delle regole).

Contesto: Gli agenti operano in uno spazio di comportamento ammissibile ( $A_0$ ) definito al momento dell'ammissione (admission time), basato su vincoli, contesto iniziale e genealogia della delega.
Il Limite Attuale: I sistemi di governance esistenti si basano su un segnale di enforcement ( $g$ ) che verifica se un'azione specifica viola vincoli "hard" (es. uso di strumenti proibiti, profondità di delega eccessiva). Questo segnale è locale: valuta ogni azione singolarmente contro un insieme di regole statiche, senza considerare la storia globale della traiettoria.
Il Fenomeno Critico: Gli autori dimostrano che un agente può subire una deriva comportamentale (drift) sistematica, allontanandosi progressivamente dalle aspettative definite all'ammissione ( $A_0$ ), pur mantenendo ogni singola azione all'interno dei limiti permessi.
Conseguenza: In questo scenario, il segnale di enforcement rimane costantemente a zero ( $g(\tau) = 0$ ), rendendo la deriva invisibile al sistema di controllo. Il paper definisce questo fenomeno come "hidden drift" o "deviation collapse".

2. Metodologia e Struttura Teorica

Il lavoro si basa su una formalizzazione matematica rigorosa che separa lo spazio delle tracce ( $\Sigma^*$ ) in due regioni:

Violazioni ( $g^{-1}(1)$ ): Azioni che violano chiaramente i vincoli hard.
Compliance ( $g^{-1}(0)$ ): Azioni che rispettano i vincoli hard ma potrebbero non appartenere allo spazio ammissibile originale $A_0$ .

Assunzione di Osservabilità Locale

Il paper assume che ogni sistema di enforcement pratico soddisfi l'Assunzione di Osservabilità Locale: il segnale $g$ è una funzione di violazioni puntuali ( $V$ ) e non ha accesso diretto alle proprietà globali della traiettoria o allo spazio $A_0$ .

I Tre Teoremi Principali

Gli autori presentano tre risultati teorici fondamentali:

T1 (Esistenza del Gap): Dimostrano che esiste un "gap" non vuoto tra la conformità ai vincoli hard e l'invarianza comportamentale. Esistono traiettorie che soddisfano $g(\tau)=0$ ma non appartengono a $A_0$ .
T2 (Non-Identificabilità): Questo è il risultato centrale (Teorema di Non-Identificabilità). Dimostrano che $A_0 \notin \sigma(g)$ $A_{0} \in / σ (g)$ , dove $\sigma(g)$ $σ (g)$ è la $\sigma$ $σ$ -algebra generata dal segnale di enforcement.
- Significato: Non esiste alcuna funzione misurabile basata esclusivamente sul segnale di enforcement $g$ che possa ricostruire se un agente sta operando all'interno dello spazio $A_0$ . L'informazione sulla deriva è strutturalmente persa.
T3 (Recuperabilità tramite IML): Introducono e dimostrano la recuperabilità della deriva utilizzando un nuovo strato di monitoraggio che ha accesso diretto al modello generativo di $A_0$ .

3. La Soluzione Proposta: Invariant Measurement Layer (IML)

Per superare il limite strutturale dell'enforcement, gli autori propongono l'Invariant Measurement Layer (IML).

Principio di Design: L'IML mantiene uno "snapshot" congelato delle condizioni di ammissione ( $A_0^{emp}$ $A_{0}^{e m p}$ ), composto da:
- Distribuzione empirica degli strumenti ( $P_{E0}$ ).
- Statistiche sulla profondità di delega ( $\mu_{depth}, \sigma_{depth}$ ).
- Questo snapshot non viene mai aggiornato durante l'esecuzione, servendo come riferimento normativo fisso.
Metrica di Deviazione ( $\hat{D}$ ): L'IML calcola una deviazione composta da tre componenti:
1. Deriva Temporale ( $D_t$ ): Divergenza Jensen-Shannon tra la distribuzione corrente degli strumenti e quella di ammissione.
2. Prossimità ai Vincoli ( $D_c$ ): Punteggio di rischio medio degli strumenti utilizzati.
3. Deviazione della Genealogia ( $D_l$ ): Distanza normalizzata della profondità media di delega rispetto all'attesa di ammissione.
Garanzia Teorica: Viene dimostrato che l'IML è uno stimatore coerente della deviazione reale e garantisce una finestra di rilevamento finita (detection delay) anche quando l'enforcement è cieco.

4. Risultati Sperimentali

Il paper valida le affermazioni teoriche attraverso quattro scenari sperimentali, tutti progettati per mantenere $g(\tau) = 0$ (nessuna violazione hard) mentre la deriva aumenta:

Scenari Controllati (300 e 1000 step):
- Tre tipi di deriva: degli strumenti (tool drift), della delega (delegation drift) e del contesto (context drift).
- Risultato: Il segnale di enforcement è rimasto a 0 in tutti i 3000 step totali. L'IML ha rilevato la deriva in modo monotono, con tempi di rilevamento ( $T^*$ ) compresi tra 9 e 258 step dall'inizio della deriva.
- Confronto con Baseline: Un rilevatore di anomalie standard (che confronta la distribuzione corrente con la storia recente) ha fallito: la sua "reference" si è contaminata adattandosi alla deriva, perdendo sensibilità. L'IML, con il riferimento congelato, ha mantenuto la sensibilità.
Validazione su n8n (Pipeline Webhook Reale):
- Implementazione in un workflow JavaScript reale.
- L'IML ha rilevato la deriva in soli 9 step dopo lo spostamento della distribuzione, mentre l'enforcement non ha generato alcun allarme.
Validazione su LangGraph (Agente Reale):
- Test su un agente StateGraph con selezione deterministica degli strumenti.
- Su 6 semi diversi, l'enforcement ha generato 0 trigger. L'IML ha rilevato la deriva con un ritardo medio di 126 step, confermando la robustezza del metodo su framework di agenti reali.

5. Significato e Contributi Chiave

Impossibilità Strutturale: Il paper stabilisce che l'enforcement basato su regole è strutturalmente incapace di garantire l'allineamento comportamentale a lungo termine. Non importa quanto siano sofisticate le regole; se la deriva avviene all'interno dello spazio delle azioni permesse, l'enforcement non può vederla.
Architettura a Tre Strati: Gli autori propongono una nuova architettura di governance necessaria:
1. Admission (ACP): Definisce e registra $A_0$ .
2. Invariant Monitoring (IML): Misura la distanza comportamentale da $A_0$ (opera dove l'enforcement è cieco).
3. Enforcement: Gestisce le violazioni hard immediate.
Implicazioni per la Sicurezza AI: Questo lavoro fornisce una base formale per spiegare perché i sistemi di supervisione basati solo su "guardrail" (enforcement) falliscono nel rilevare derive graduali, reinterpretazione degli obiettivi o "goal drift".
Serie di Documenti: Questo è il secondo di una serie di quattro paper sulla governance degli agenti, che insieme coprono i confini decisionali atomici, l'enforcement stato-consapevole, l'allocazione equa e l'irriducibilità della composizione.

In sintesi, il paper dimostra che per governare efficacemente gli agenti autonomi, è necessario passare da una logica di "controllo delle violazioni" a una di "misurazione della deviazione invariante", ancorando il monitoraggio a uno stato di riferimento fisso definito all'ammissione.