Position: A Three-Layer Probabilistic Assume-Guarantee Architecture Is Structurally Required for Safe LLM Agent Deployment

Sintesi Tecnica: Un'Architettura Probabilistica Assume–Guarantee a Tre Strati per il Deploy Sicuro di Agenti LLM

1. Enunciato del Problema

Il deploy di agenti basati su Modelli Linguistici di Grande Dimensione (LLM) in contesti safety-critical presenta una sfida strutturale per l'assicurazione runtime che non può essere risolta da meccanismi di enforcement a singolo strato. A differenza della generazione di testo statico, gli agenti LLM operano in un'esecuzione in anello chiuso dove i piani generati influenzano il mondo fisico e le osservazioni future. Il documento sostiene che un'operazione sicura richiede la soddisfazione simultanea di tre dimensioni distinte:

1. Intenzione Semantica e Conformità alle Policy: Allineamento con le istruzioni dell'utente, vincoli etici e regole di dominio.
2. Validità Ambientale: Verifica che lo stato attuale del mondo rientri nel Dominio di Progetto Operativo (ODD).
3. Fattibilità Dinamica: Assicurazione che la traiettoria di esecuzione soddisfi i vincoli di sicurezza fisica (es. evitamento collisioni, limiti di forza).

Il problema centrale è che queste tre dimensioni dipendono da insiemi di informazioni rigorosamente distinti che diventano disponibili in fasi diverse dell'esecuzione. L'intenzione semantica è nota a priori; la validità ambientale richiede dati dei sensori al momento dell'esecuzione; e la fattibilità dinamica dipende dalla traiettoria dell'anello di controllo durante l'esecuzione. Il documento ipotizza che qualsiasi architettura che collassi queste dimensioni in un singolo strato di astrazione lasci necessariamente almeno una dimensione non certificata, poiché nessun singolo guardrail può accedere simultaneamente alle informazioni necessarie per tutte e tre. Evidenze empiriche da benchmark (es. AgentSafetyBench) supportano questa tesi, mostrando che i fallimenti di sicurezza si concentrano nelle dimensioni ambientale e fisica, oltre la portata di controlli puramente semantici.

2. Metodologia: L'Architettura a Contratti Probabilistici a Tre Strati

Per colmare questa insufficienza strutturale, il documento propone un'Architettura Probabilistica Assume–Guarantee (A/G) a Tre Strati. Questo framework tratta la sicurezza non come una prova deterministica, ma come una composizione di contratti probabilistici, dove ogni strato impone una specifica dimensione di sicurezza basata sulle informazioni disponibili in quella fase.

L'architettura è composta da tre strati composti sequenzialmente, ciascuno definito da un contratto $\Sigma_i = (A_i, \Gamma_i)$, dove $A_i$ è un'assunzione sugli input e $\Gamma_i$ è una garanzia probabilistica sugli output:

• Strato 1: Strato di Assicurazione Utente ($\Sigma_U$)

  • Insieme di Informazioni ($I_U$): Intenzione dell'utente, policy, metadati del ruolo e regole etiche. Nessuna osservazione del mondo è disponibile.
  • Funzione: Convalida il piano generato $p$ rispetto all'allineamento semantico (cognitivo, normativo, etico) e all'autorizzazione dell'utente.
  • Contratto: Se la richiesta è autorizzata ($A_U$), lo strato garantisce che il piano miri solo a location autorizzate e non contenga violazioni delle policy ($\Gamma_U$). Questa garanzia funge da assunzione per lo strato successivo.
  • Meccanismo: Utilizza metodi neuro-simbolici per formalizzare intenzioni informali e vincoli di policy.

• Strato 2: Strato di Assicurazione Operativa ($\Sigma_O$)

  • Insieme di Informazioni ($I_O$): Stato del mondo stimato $\hat{w}$, dati dei sensori $\xi$ e specifiche ODD.
  • Funzione: Determina se l'agente è certificato per agire nello stato del mondo corrente e definisce l'involucro di autonomia (es. limiti di velocità, azioni consentite).
  • Contratto: Assumendo che il piano abbia superato lo Strato Utente ($A_O \equiv \Gamma_U$), lo strato garantisce che l'esecuzione rimanga entro l'ODD ($W_{ODD}$) e che i sottopiani che violano i vincoli ODD vengano bloccati ($\Gamma_O$).
  • Meccanismo: Impiega controlli di validità deterministici sulle stime dello stato del mondo per garantire l'auditabilità, gestendo l'incertezza probabilistica a monte.

• Strato 3: Strato di Assicurazione Funzionale ($\Sigma_F$)

  • Insieme di Informazioni ($I_F$): Traiettorie di stato complete $x(t)$, input di controllo $u(t)$ e dinamiche di sistema.
  • Funzione: Impone la sicurezza alla frequenza dell'anello di controllo durante l'attuazione.
  • Contratto: Assumendo la validità dello Strato Operativo ($A_F \equiv \Gamma_O$), lo strato garantisce l'assenza di collisioni e l'aderenza ai vincoli fisici (es. limiti di forza) ($\Gamma_F$).
  • Meccanismo: Combina il monitoraggio runtime basato su specifiche (Logica Temporale dei Segnali), Funzioni di Barriera di Controllo (CBF) per un intervento minimo e sintesi basata sulla simulazione.

Limiti di Sicurezza Compositi:
La probabilità di sicurezza a livello di sistema è derivata tramite la regola della catena della probabilità. Poiché $\Gamma_U \implies A_O$ e $\Gamma_O \implies A_F$, la probabilità di sicurezza del sistema è:
$$Pr(\text{safe}) = p_U \cdot p_{O|U} \cdot p_{F|OU}$$
dove $p_{O|U}$ e $p_{F|OU}$ sono probabilità condizionate che riflettono l'efficacia del filtraggio a monte. Il documento fornisce quattro caratterizzazioni di questo limite (B1–B4), che vanno da limiti inferiori conservativi Fréchet–Bonferroni (utilizzando solo le marginali) alla scomposizione esatta della regola della catena (B4), che permette una certificazione modulare strato per strato.

3. Contributi Chiave

• Argomento Strutturale per Tre Strati: Il documento fornisce una prova formale (Appendice B) che tre stadi indipendentemente certificati sono strutturalmente necessari. Dimostra che qualsiasi architettura con meno di tre strati deve o violare la timeline causale della disponibilità delle informazioni (es. certificare la sicurezza operativa prima che esistano dati dei sensori) o ricostruire implicitamente la struttura a tre stadi all'interno di un singolo componente, perdendo così la verificabilità composita.
• Decomposizione Guidata dalle Informazioni: A differenza di tassonomie precedenti basate su artefatti della pipeline (es. obiettivi, piani, strumenti), questa architettura è guidata dall'ordinamento temporale della disponibilità delle informazioni ($I_U \subset I_O \subset I_F$). Questa distinzione garantisce che le certificazioni si basino sul dominio informativo corretto in ogni fase.
• Framework Probabilistico Assume–Guarantee: Il documento adatta i contratti A/G alla natura non stazionaria e non i.i.d. degli agenti LLM. Supera le garanzie binarie per passare a limiti probabilistici, riconoscendo che gli output degli LLM sono intrinsecamente stocastici e che gli ambienti sono incerti.
• Loop di Assicurazione Bidirezionale: L'architettura è progettata come un loop attivo in cui i segnali di sicurezza ($s_F, s_O$) si propagano dal basso verso l'alto. Se uno strato inferiore rileva una violazione (es. rischio di collisione), attiva un ricalcolo del piano allo Strato Utente, anziché limitarsi a fermare l'esecuzione.

4. Risultati e Analisi

In quanto documento di posizione, il lavoro non presenta nuovi benchmark empirici, ma sintetizza la letteratura esistente per supportare le sue affermazioni strutturali:

• Coerenza con i Benchmark: Il documento nota che gli agenti attuali (es. su AgentSafetyBench) falliscono significativamente nella sicurezza comportamentale e ambientale (30,4%) rispetto alla sicurezza dei contenuti (68,4%), allineandosi all'argomento secondo cui i guardrail semantici a singolo strato sono insufficienti.
• Limiti Teorici: Il documento deriva i limiti matematici (B1–B4) per la sicurezza del sistema. Illustra, tramite un esempio in corso (un robot badante), che il limite della regola della catena (B4) può produrre probabilità di sicurezza significativamente più elevate (es. 0,857) rispetto a un prodotto ingenuo di marginali (0,787) se il filtraggio a monte è efficace.
• Analisi di Sensibilità: L'analisi mostra che il sistema è sensibile allo strato più debole; un degrado nella probabilità di uno strato degrada l'intero limite del sistema in modo moltiplicativo, e nessun rafforzamento degli altri strati può compensare una lacuna in uno solo.

5. Significato e Problemi Aperti

Il documento afferma che l'architettura a tre strati proposta è la struttura di certificazione minima vitale per il deploy sicuro di agenti LLM. Sostiene che il campo sta attualmente producendo meccanismi di sicurezza più velocemente dell'infrastruttura teorica necessaria per comporli e certificarli.

Il documento identifica esplicitamente tre problemi aperti che devono essere risolti per passare da questo framework teorico a uno standard deployabile:

1. Stima del Limite da Tracce Non I.I.D.: I metodi statistici standard (come i limiti PAC) falliscono perché le tracce degli LLM sono non stazionarie e dipendenti. Sono necessari nuovi metodi (es. limiti di martingala, previsione conforme per dati non scambiabili) per stimare le probabilità condizionate $p_{O|U}$ e $p_{F|OU}$.
2. Degrado Elegante in caso di Deriva del Deploy: I contratti attuali sono fragili; se le assunzioni vengono violate, le garanzie diventano vacue. Il documento propone "contratti robusti" che permettono un degrado proporzionale delle garanzie quando le assunzioni sono leggermente violate, abilitando un'operazione controllata durante gli shift distribuzionali.
3. Estensione a Contesti Multi-Agente: Il framework attuale affronta agenti singoli. I sistemi multi-agente introducono nuovi modi di fallimento (es. manipolazione delle credenze tra agenti) che richiedono un quarto dominio di informazioni (provenienza dei messaggi inter-agente) e una struttura di certificazione rivista.

In conclusione, il documento afferma che il deploy sicuro di agenti LLM non è meramente una sfida ingegneristica di costruzione di guardrail più forti, ma un requisito strutturale per un'architettura a stadi basata su contratti che rispetti l'ordinamento causale delle informazioni. Il framework proposto fornisce la fondazione teorica necessaria per una certificazione di sicurezza modulare e composita in ambienti dinamici e incerti.