💻 computer science

Runtime Compliance Verification for AI Agents

Questo articolo introduce C-Trace, un framework di verifica a runtime che garantisce la conformità al GDPR per gli agenti AI esprimendo i requisiti normativi come predicati formali, monitorando le tracce di esecuzione per bloccare azioni non conformi e dimostrando un'elevata efficacia nel mitigare le violazioni indotte da attacchi attraverso molteplici casi studio.

Autori originali: Nafiseh Kahani, Masoud Barati, Diana Addae

Pubblicato 2026-06-19

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Nafiseh Kahani, Masoud Barati, Diana Addae

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di assumere un assistente personale estremamente intelligente e chiacchierone per aiutarti a gestire la tua vita. Questo assistente può fare telefonate, inviare email, consultare i dettagli del tuo conto bancario e persino eliminare i tuoi dati. Tuttavia, poiché questo assistente è alimentato da un'IA, non sempre "conosce" le regole della privacy. Potrebbe accidentalmente rivelare il tuo indirizzo a uno sconosciuto o inviarti email di marketing anche se non hai mai detto "sì".

Questo articolo presenta un sistema chiamato C-Trace (Compliance Trace-based Runtime Agent Conformance Enforcement). Pensa a C-Trace non come a un nuovo assistente, ma come a un guardia giurata severo e super vigile che sta proprio accanto all'assistente IA, osservando ogni singola parola che dice e ogni azione che compie.

Ecco come funziona il sistema, suddiviso in concetti semplici:

1. Il Problema: L'assistente "dimenticone"

I modi attuali per testare questi assistenti IA sono come sottoporli a un interrogatorio prima che inizino a lavorare. Chiedi loro: "Seguirai le regole?" e loro rispondono "Sì". Ma una volta che sono effettivamente al lavoro, parlando con persone reali, potrebbero dimenticare quelle regole.

Il Problema: Un'IA potrebbe essere conforme in una conversazione, ma infrangere le regole nella successiva, a seconda di ciò che l'utente chiede.
Il Vuoto: Gli strumenti di sicurezza esistenti sono come i bouncer che controllano solo il tuo documento all'ingresso (controlli statici). Non sanno se avevi già promesso di lasciare la festa prima in quella stessa serata. Perdono il contesto dell'intera conversazione.

2. La Soluzione: Il "Guardia Giurata" (C-Trace)

C-Trace si posiziona tra l'IA e il mondo esterno. Osserva l'intera conversazione mentre avviene (la "trace" o traccia). Non guarda solo una singola frase; ricorda l'intera storia.

Impose quattro "Leggi sulla Privacy" principali (basate sul GDPR) agendo come un filtro:

Il controllo del "Consenso" (P1): Prima che l'IA possa fare qualcosa come inviare un'email di marketing, la guardia controlla: "L'utente ha esplicitamente detto 'Sì' a questo in precedenza?". Se l'utente ha solo detto "Immagino che non mi dispiaccia", ma non ha mai cliccato su un formale "Sì", la guardia blocca l'azione.
Il controllo dello "Scopo" (P2): L'IA è stata assunta per un lavoro specifico, come riparare un ordine guasto. Se l'utente chiede all'IA di usare quei dati dell'ordine per creare un profilo per un'altra azienda, la guardia dice: "No, questo è un lavoro diverso. Non sei stato assunto per questo".
Il controllo dei "Dati Minimi" (P3): Se l'IA deve controllare un ordine, ha solo bisogno del numero d'ordine e dell'email. Se l'IA tenta di prendere la data di nascita o il documento d'identità dell'utente solo per controllare un ordine, la guardia dice: "Queste sono troppe informazioni. Ti servono solo le basi".
Il controllo della "Cancellazione" (P4): Se un utente dice: "Elimina i miei dati", la guardia segna quell'utente come "eliminato". Se l'IA tenta di parlare di quell'utente in seguito, la guardia sbatte la porta: "Questa persona non esiste più nel nostro sistema. Non puoi menzionarla".

3. Come lo hanno testato: Il gioco del "Gatto e del Topo"

Per vedere se questo guardia giurato funziona davvero, i ricercatori hanno giocato a un gioco di "Gatto e Topo".

Gli Attaccanti: Hanno utilizzato un programma speciale (DSPy) per generare centinaia di conversazioni trucchiose, confuse o aggressive progettate per indurre l'IA a infrangere le regole. Hanno anche utilizzato veri "jailbreak prompt" provenienti da altri test di sicurezza.
Il Test: Hanno lasciato che l'IA cercasse di gestire queste conversazioni difficili con e senza la guardia giurata.
Il Risultato: Senza la guardia, l'IA infrangeva le regole costantemente (a volte il 100% delle volte). Con la guardia C-Trace, l'IA veniva fermata quasi ogni volta. Anche quando la guardia doveva "indovinare" quali dati fossero presenti in una frase (perché è difficile leggere perfettamente il linguaggio umano), riusciva comunque a intercettare la stragrande maggioranza delle violazioni.

4. La Verifica a "Tre Teste"

Per assicurarsi che la guardia non stesse semplicemente inventando le cose, i ricercatori hanno costruito lo stesso regolamento in tre linguaggi diversi (codice Python, un linguaggio di policy chiamato Rego e un linguaggio logico chiamato MFOTL).

L'Analogia: Immagina tre giudici diversi che leggono lo stesso copione. Se concordano tutti su chi è colpevole, sai che il verdetto è solido. In questo articolo, tutti e tre i "giudici" concordavano perfettamente su ogni singolo caso di test.

5. Il Punto Fondamentale

L'articolo sostiene che C-Trace funziona.

Impedisce all'IA di infrangere le regole della privacy in tempo reale.
Non rallenta significativamente l'IA (aggiunge solo una frazione infinitesimale di secondo al processo).
Crea un "registro di audit" permanente (un registro scritto) di ogni decisione presa dalla guardia, in modo che gli umani possano rivederlo in seguito.

In breve: Se hai un assistente IA che gestisce dati sensibili, C-Trace è il sistema che garantisce che non riveli accidentalmente i tuoi segreti, non venda i tuoi dati alle persone sbagliate o non ignori la tua richiesta di essere dimenticato, osservando ogni sua mossa e fermandola nel momento stesso in cui tenta di infrangere le regole.

Sintesi Tecnica: Verifica della Conformità a Runtime per Agenti AI

Problema

Gli agenti AI gestiscono sempre più dati personali attraverso l'uso di strumenti (tool), chiamate di funzioni e dialoghi multi-turno. A differenza delle API tradizionali, gli agenti decidono dinamicamente quali strumenti chiamare, quali argomenti passare e cosa divulgare nel linguaggio naturale. Queste decisioni a runtime possono innescare obblighi ai sensi del Regolamento Generale sulla Protezione dei Dati (GDPR), come il trattamento di dati personali senza consenso o la divulgazione di dati dopo una richiesta di cancellazione.

Le attuali pratiche di testing non affrontano questo rischio dinamico:

Red-Teaming Offline: Testa i modelli con prompt curati, ma non impone regole a runtime né osserva lo stato della sessione degli agenti implementati.
Librerie di Guardrail: Corrispondono pattern in singoli input/output, ma mancano della cronologia della sessione, fallendo nel tracciare se il consenso è stato concesso precedentemente in un dialogo o se uno scopo è stato dichiarato.

Di conseguenza, il deployment di un agente può essere conforme in un dialogo e non conforme in un altro senza alcuna modifica al codice o ai pesi del modello. Ciò crea la necessità di una verifica a runtime sulla traccia degli eventi dell'agente, accoppiata a un driver di attacco in-process per testare il monitor con input ostili.

Metodologia: Framework C-Trace

Gli autori propongono C-Trace (Compliance Trace-based Runtime Agent Conformance Enforcement), un framework che tratta la conformità al GDPR come una proprietà di runtime di un flusso di eventi piuttosto che come una proprietà di un singolo messaggio.

1. Modello di Evento ed Estrazione

Il framework strumenta il loop dell'agente per convertire le esecuzioni in linguaggio naturale in una traccia di eventi tipizzata ( $\tau = e_1 \dots e_n$ ). Gli eventi includono UserMsg, AsstMsg, ToolCall, ToolRet, Consent ed Erasure.

Annotazione: Un estrattore annota ogni evento con categorie di dati ( $C(e)$ ) e scopi ( $\Pi(e)$ ).
Policy: Una policy di sessione definisce gli scopi dichiarati, i legami tool-scopo e le whitelist di dati per ogni scopo (categorie di dati necessarie).

2. Predicati Formali

Quattro principi del GDPR sono codificati come predicati del primo ordine sulla traccia in crescita. Questi predicati sono monotoni: una volta che si verifica una violazione, questa non può essere "corretta" da eventi successivi.

P1 (Consenso): Il trattamento dei dati richiede un evento di Consent precedente per quello specifico scopo (a meno che non si applichi una base di Legittimo Interesse).
P2 (Limitazione della Finalità): Ogni scopo associato a un evento deve essere dichiarato nella policy.
P3 (Minimizzazione dei Dati): Le categorie di dati in una chiamata a uno strumento devono essere necessarie per almeno uno degli scopi dichiarati della chiamata.
P4 (Diritto alla Cancellazione): Dopo un evento di Erasure per un soggetto, nessun evento successivo può divulgare l'identificatore di quel soggetto.

3. Monitor a Runtime e Attack Driver

Intercettore: Posizionato tra il loop dell'agente e le API degli strumenti, valuta i predicati incrementalmente. Le decisioni includono forward (avanti), redact (rimozione di dati non necessari) o block (rifiuto dell'evento).
Attack Driver: Genera dialoghi avversari mirati a ciascun predicato utilizzando:
- Prompt generati da DSPy: Varianti di richieste seed usando role-play, urgenza e framing di jailbreak.
- Prompt da corpus reali: Prompt veritieri da corpora di red-teaming (HarmBench, AdvBench, DAN).
Oracolo: Un oracolo separato e osservabile determina il successo dell'attacco controllando la traccia accettata rispetto alla policy, indipendentemente dai predicati interni del monitor.

4. Cross-Validazione

Per garantire che il monitor operativo corrisponda alla specifica formale, la stessa logica di policy è implementata in tre runtime:

Python: Enforcement operativo.
Rego/OPA: Policy rivolta all'auditor.
MFOTL (MonPoly): Specifiche di logica temporale formale.
Gli autori verificano che tutti e tre concordino evento per evento su ogni traccia.

Valutazione e Risultati

Il framework è stato valutato su quattro casi studio riformulati secondo il GDPR: Shopper (retail), Airline (viaggi), MedAgent (sanità) e FinAssist (banking/KYC).

Metriche Chiave

Attack Success Rate (ASR): La percentuale di attacchi che riescono a bypassare il monitor.
False Positive Rate (FPR): La percentuale di richieste benigne erroneamente bloccate.
Realization Rate: Quanto spesso il modello tenta la violazione in assenza di un monitor.

Risultati

Vulnerabilità degli Agenti Non Monitorati: Senza un monitor, gli agenti commettono violazioni in tutte e quattro le famiglie. Il bypass del consenso (A1) e la sovra-raccolta (A3) sono frequentemente innescati (fino al 100% di ASR in alcuni casi).
Limitazioni dei Baseline:
- Regex/Presidio (Stateless): Questi baseline falliscono nel rilevare violazioni dipendenti dalla cronologia della sessione (Consenso, Limitazione della Finalità, Cancellazione). Sebbene Presidio riduca la sovra-raccolta, non può fermare il bypass del consenso o il richiamo post-cancellazione.
- Baseline Casuale: Alti falsi positivi (72–88%) senza protezione mirata.
Performance di C-Trace:
- Estrazione Perfetta: Raggiunge lo 0% di ASR e lo 0% di FPR in tutti i casi studio e registri di attacco (generati e real-corpus).
- Estrazione Rumorosa: Con un rumore del 10% per categoria dell'estrattore (simulando drop-out e over-typing):
  - L'ASR rimane $\le$ 12% (significativamente inferiore ai baseline).
  - L'FPR rimane $\le$ 16%.
- Ablazione: Rimuovendo i singoli predicati vengono ripristinate specifiche famiglie di attacchi (ad esempio, rimuovendo P1 viene ripristinato il bypass del consenso), confermando che ogni predicato è necessario.
Overhead: Il monitor aggiunge una latenza mediana trascurabile di 1,8 $\mu$ s per evento.

Significato e Claim

Il paper sostiene di essere il primo lavoro ad applicare la verifica a runtime degli obblighi GDPR alle tracce di esecuzione in linguaggio naturale degli agenti AI.

Novità: A differenza dei guardrail stateless, C-Trace ragiona sulla traccia della sessione, consentendo di catturare violazioni che dipendono da eventi precedenti (es. consenso precedente o cancellazione).
Praticità: Il framework opera come un intercettore in-process senza richiedere modifiche al modello sottostante o alle implementazioni degli strumenti. Produce log di audit in formato JSONL append-only adatti alla revisione della conformità.
Affidabilità: I risultati indicano che l'affidabilità del monitor dipende fortemente dall'accuratezza dell'estrattore di categorie. Sebbene la logica di policy sia robusta, le categorie mancate a causa di errori di estrazione sono il principale modo di fallimento.
Ambito: L'approccio si concentra su quattro principi core del GDPR (Consenso, Limitazione della Finalità, Minimizzazione dei Dati, Diritto alla Cancellazione) applicabili in molteplici domini (retail, sanità, finanza) e basi giuridiche (consenso, obbligo legale).

Gli autori concludono che il monitoraggio basato su traccia è un livello di enforcement pratico per gli agenti AI, a condizione che l'estrazione degli eventi sottostante sia di alta qualità e vengano considerati meccanismi fail-closed per le categorie di dati ambigue.