🤖 AI

SENTINEL: A Multi-Level Formal Framework for Safety Evaluation of Foundation Model-based Embodied Agents

SENTINEL è un nuovo framework formale multi-livello che garantisce la sicurezza fisica degli agenti incarnati basati su modelli di fondazione verificando sistematicamente la comprensione semantica, la pianificazione e l'esecuzione rispetto a specifiche di logica temporale formale attraverso i livelli semantico, di piano e di traiettoria.

Autori originali: Simon Sinong Zhan, Philip Wang, Yao Liu, Yiyan Peng, Zinan Wang, Qineng Wang, Zhian Ruan, Xiangyu Shi, Xinyu Cao, Frank Yang, Zhenyang Ni, Kangrui Wang, Ruohan Zhang, Huajie Shao, Manling Li, Qi Zhu

Pubblicato 2026-07-22

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Simon Sinong Zhan, Philip Wang, Yao Liu, Yiyan Peng, Zinan Wang, Qineng Wang, Zhian Ruan, Xiangyu Shi, Xinyu Cao, Frank Yang, Zhenyang Ni, Kangrui Wang, Ruohan Zhang, Huajie Shao, Manling Li, Qi Zhu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di stare insegnando a un robot appena nato come dare una mano in casa. Vorresti che ti preparasse un sandwich, sistemasse la tua stanza o magari ti porgesse semplicemente un bicchiere d'acqua. Questo è l'eccitante mondo degli "agenti incarnati" (embodied agents): robot che possono vedere, pensare e muoversi nel mondo reale (o virtuale). Per rendere questi robot abbastanza intelligenti da comprendere le tue istruzioni disordinate, gli scienziati stanno fornendo loro dei "modelli di base" (foundation models), che sono come cervelli giganti e super intelligenti addestrati su quasi tutto ciò che l'umanità ha mai scritto. Ma ecco il problema: il fatto che un robot sia intelligente non significa che sia sicuro. Un robot super intelligente potrebbe capire il modo più veloce per portarti da bere, ma se non si rende conto che versare l'acqua accanto a un laptop è una cattiva idea, potrebbe causare un cortocircuito. La grande domanda che gli scienziati si pongono è: come facciamo a garantire che questi robot geniali non finiscano accidentalmente per dare fuoco alla casa o rompere le nostre cose mentre cercano di essere utili?

È qui che entra in gioco un nuovo framework chiamato SENTINEL. Pensa a SENTINEL come a un ispettore della sicurezza molto severo e super logico per i cervelli dei robot. Invece di chiedere semplicemente al robot: "Pensi che questo sia sicuro?" (il che è come chiedere a un bambino se pensa che sia okay saltare giù da un tetto — potrebbe dire di sì perché non capisce la gravità), SENTINL usa un particolare "linguaggio matematico" chiamato logica temporale. Questo linguaggio è come un insieme di regole infrangibili che descrivono esattamente cosa deve accadere, cosa non deve accadere e in quale ordine. Per esempio, invece di dire "fai attenzione al fuoco", SENTINEL scrive una regola che dice: "Se il fornello è acceso, allora la carta non deve mai trovarsi entro un metro da esso".

I ricercatori hanno costruito un sistema di test che controlla la sicurezza del robot in tre fasi diverse, un po' come un checkpoint di sicurezza a tre livelli in un aeroporto. Per prima cosa, al Livello Semantico, controllano se il robot ha effettivamente compreso le regole di sicurezza che gli hai dato. Ha tradotto le tue parole ("Non mescolare candeggina e ammoniaca") nelle corrette regole matematiche? In secondo luogo, al Livello di Pianificazione, esaminano la lista delle cose da fare del robot prima che inizi a muoversi. Se il piano dice "Accendi il microonde, poi metti un cucchiaio di metallo all'interno", SENTINEL intercetta immediatamente questo errore, come un insegnante che nota una risposta sbagliata su un compito prima che lo studente lo consegni. Infine, al Livello di Traiettoria, osservano il robot mentre svolge effettivamente il compito in una simulazione. Anche se il piano sembrava corretto, forse il braccio del robot ha oscillato troppo ampiamente e ha urtato un vaso. SENTINEL guarda l'intero "film" delle azioni del robot per assicurarsi che nulla vada storto in tempo reale.

Nei loro esperimenti, il team ha testato questo sistema su robot virtuali in cucine e soggiorni digitali. Hanno scoperto che, sebbene i modelli di IA grandi e potenti siano bravissimi a capire come svolgere un compito, spesso trascurano i dettagli di sicurezza a meno che non vengano controllati con queste rigide regole matematiche. Quando SENTINEL ha fornito ai robot feedback specifici sul perché un piano fosse insicuro (come indicare il momento esatto in cui un cucchiaio di metallo stava per essere inserito in un microonde), i robot hanno imparato a correggere i propri errori molto meglio rispetto a quando venivano semplicemente istruiti che "quello è insicuro" da un'altra IA. Lo studio suggerisce che, per rendere i robot veri aiutanti sicuri, dobbiamo allontanarci dalle supposizioni e iniziare a usare questi controlli di sicurezza matematici precisi ad ogni fase del processo di pensiero del robot. Non si tratta solo di essere intelligenti, ma di essere prudenti, e SENTINEL è lo strumento che ci aiuta a insegnare ai robot come esserlo in entrambi i modi.

Riepilogo Tecnico: SENTINEL

Definizione del Problema

L'integrazione di Modelli di Fondazione (FM) in agenti incarnati (embodied agents) ha ampliato le capacità di pianificazione e di interazione uomo-robot, ma ha simultaneamente amplificato i rischi per la sicurezza. Gli attuali benchmark di valutazione per gli agenti basati su FM si concentrano principalmente sulle metriche di completamento del compito (ad es. tassi di successo) e spesso trattano i pericoli fisici semplicemente come fallimenti del compito piuttosto che come distinti violazioni della sicurezza. I metodi attuali di valutazione della sicurezza si affidano pesantemente a regole euristiche o a giudici basati su FM soggettivi (LLM-as-Judge), che mancano di definizioni rigorose e non riescono a distinguere tra i fallimenti che avvengono nelle diverse fasi della pipeline dell'agente: malinteso semantico, generazione di un piano non sicuro o esecuzione fisica non sicura. Inoltre, tali metodi spesso non sono in grado di localizzare il livello specifico in cui ha origine una violazione della sicurezza.

Metodologia

Gli autori propongono SENTINEL (Safety EvaluatioN framework with Temporal logics for INterpretable Embodied foundation modeL-based agents), un framework formale multi-livello che fonda la sicurezza fisica in specifiche di logica temporale. Il framework opera all'interno di ambienti di simulazione (VirtualHome e AI2-THOR) e valuta gli agenti attraverso tre livelli progressivi:

1. Specifica Formale della Sicurezza

SENTINEL codifica i vincoli di sicurezza in linguaggio naturale in formule di Logica Temporale, specificamente Linear Temporal Logic (LTL) e Computation Tree Logic (CTL).

Invarianti di Stato: Vincoli che proibiscono stati non sicuri in ogni momento (ad es. $G(\neg p)$ per l'evitamento delle collisioni).
Vincoli di Ordinamento: Vincoli che impongono una corretta sequenza di azioni (ad es. $G(p \to F q)$ per "eventualmente spegnere").
Classificazione: Le regole di sicurezza sono categorizzate in invarianti di stato e vincoli di ordinamento, mappate su proposizioni atomiche derivate dalle proprietà degli oggetti nella simulazione.

2. Pipeline di Valutazione Multi-Livello

Il framework impiega una pipeline a tre stadi per filtrare progressivamente i fallimenti e localizzare le violazioni:

Valutazione del Livello Semantico:
- Obiettivo: Valutare la capacità del FM di tradurre i requisiti di sicurezza in linguaggio naturale in formule LTL formali.
- Metodo: L'agente riceve come prompt i vincoli di sicurezza e genera formule LTL candidate. Queste vengono confrontate con le specifiche LTL di riferimento (ground-truth) tramite controlli sintattici e verifica dell'equivalenza semantica (tramite automi di Büchi e contenimento del linguaggio).
- Output: Metriche su errori sintattici, non equivalenza semantica e interpretazione riuscita.
Valutazione del Livello di Pianificazione (Plan-Level):
- Obiettivo: Verificare i piani d'azione ad alto livello e i sotto-obiettivi rispetto ai vincoli LTL prima dell'esecuzione.
- Metodo: L'agente genera un piano ad alto livello (milestone subgoals). Questo piano viene controllato rispetto alle formule LTL per rilevare ordinamenti simbolici non sicuri o precondizioni mancanti. Viene utilizzata una ricerca in ampiezza (BFS) per validare l'eseguibilità del piano all'interno dello spazio delle azioni.
- Output: Identificazione di piani non sicuri che soddisfano gli obiettivi del compito ma violano i vincoli di sicurezza.
Valutazione del Livello di Traiettoria:
- Obiettivo: Valutare l'esecuzione fisica dei piani, tenendo conto dei risultati ramificati e della dinamica dell'ambiente.
- Metodo: Molteplici traiettorie di esecuzione vengono campionate dal simulatore sulla base del piano ad alto livello. Queste traiettorie vengono unite in un Albero di Computazione ( $T$ ). I requisiti di sicurezza vengono elevati da LTL a CTL per valutare le proprietà di tempo di branching (branching-time).
- Verifica: Un model checker CTL verifica le proprietà (ad es. $AG \phi$ per "tutti i percorsi soddisfano sempre $\phi$ ") rispetto all'albero.
- Output: Rilevamento di violazioni dipendenti dall'esecuzione e generazione di percorsi controesempio (stati o sequenze specifiche che causano il fallimento).

3. Raffinamento Basato sul Feedback

SENTINEL utilizza i controesempi generati durante la verifica a livello di traiettoria per fornire un feedback verificabile all'agente. Questo ciclo di feedback permette all'agente di raffinare i propri piani iterativamente, con l'obiettivo di migliorare la sicurezza senza modificare l'architettura sottostante dell'agente.

Contributi Chiave

Specifiche di Sicurezza Formali e Interpretabili: Il lavoro fonda gli intuitivi requisiti di sicurezza in LTL e CTL, consentendo l'esplicita categorizzazione (invarianti di stato, dipendenze temporali) e la verifica formale anziché il giudizio euristico.
Valutazione della Sicurezza Multi-Livello Unificata: SENTINEL è il primo framework che valuta formalmente la sicurezza in modo progressivo attraverso l'interpretazione semantica, la generazione del piano e l'esecuzione fisica. Questo design consente di localizzare i fallimenti a specifici stadi (comprensione vs ragionamento vs esecuzione).
Analisi Empirica Cross-Level: Gli autori applicano SENTINEL a VirtualHome e AI2-THOR, estendendo i compiti con requisiti focalizzati sulla sicurezza. Dimostrano che le violazioni della sicurezza spesso derivano da diversi livelli (ad es. malinteso semantico vs errori del controller a basso livello) e che la valutazione formale espone modalità di fallimento invisibili ai benchmark basati solo sul successo del compito.

Risultati Sperimentali

Gli autori hanno valutato molteplici LLM Closed-Source (GPT-5, Claude-Opus, Gemini) e Open-Source (DeepSeek, Qwen, Mistral, Llama), nonché modelli Vision-Language (VLM).

Livello Semantico: I modelli più grandi hanno dimostrato prestazioni significativamente superiori nella traduzione dal linguaggio naturale a LTL rispetto ai modelli open-source più piccoli. Tuttavia, anche i modelli forti hanno faticato con le proibizioni condizionali rispetto alle proibizioni globali.
Livello di Pianificazione: I modelli con tassi di equivalenza semantica più elevati hanno generalmente mantenuto tassi di sicurezza più alti al livello di pianificazione. Tuttavia, l'aggiunta di una guida esplicita alla sicurezza (prompt LTL) ha migliorato le metriche di sicurezza ma non ha eliminato tutte le violazioni.
Livello di Traiettoria:
- LLM vs VLM: Gli agenti basati su VLM hanno generalmente raggiunto tassi di sicurezza più elevati rispetto agli LLM basati solo su testo, probabilmente grazie al grounding visivo che aiuta a rilevare i pericoli fisici. Tuttavia, i VLM hanno spesso mostrato tassi di successo del compito inferiori, indicando un compromesso tra sicurezza e capacità.
- Fallimenti di Esecuzione: Si è osservato un calo significativo nel rapporto "Success & Safety" dai risultati del livello di pianificazione a quelli del livello di traiettoria, suggerendo che molti fallimenti originano dagli argomenti delle azioni a basso livello e dalla mancanza di meccanismi di sicurezza nei controller.
Miglioramento della Sicurezza: In un esperimento di ciclo di raffinamento, il feedback dei controesempi verificabili di SENTINEL ha portato a miglioramenti significativamente maggiori nelle metriche di sicurezza (circa il doppio del miglioramento rispetto al baseline LLM-as-Judge) mantenendo guadagni comparabili nel successo del compito. L'analisi ha mostato che i baseline LLM-as-Judge spesso perdevano traiettorie realmente insicure (tasso di errore del 83% in uno studio), mentre i controlli formali di SENTINEL erano più affidabili.
Efficienza: La verifica basata su CTL su un albero di computazione unito si è rivelata più efficiente del controllo LTL indipendente, con accelerazioni che aumentano all'aumentare del numero di traiettorie.

Significato e Rivendicazioni

Il paper sostiene che SENTINEL fornisca una base rigorosa per valutare sistematicamente la sicurezza degli agenti incarnati basati su FM. Muovendosi oltre i giudizi euristici o soggettivi, il framework offre:

Localizzazione: La capacità di individuare se un fallimento della sicurezza deriva da un malinteso delle istruzioni, dalla generazione di piani non sicuri o dall'esecuzione insicura delle azioni.
Feedback Azionabile: La generazione di controesempi verificabili che possono guidare miglioramenti significativi della sicurezza attraverso cicli di raffinamento.
Scalabilità: L'uso di CTL su alberi di computazione campionati offre un compromesso pratico, fornendo un rilevamento empirico scalabile delle violazioni senza l'inattuabilità del model checking a stato completo in ambienti fisici complessi.

Gli autori sottolineano che SENTINEL offre un rilevamento empirico piuttosto che una verifica certificata, poiché opera su un albero di computazione finito assemblato da traiettorie campionate. Riconoscono che le violazioni mancate rimangono possibili se il numero di campioni è insufficiente, ma sostengono che questo approccio sia più vicino al model checking statistico ed è necessario data la natura black-box degli FM e la complessità degli ambienti fisici. Il framework è presentato come un passo verso benchmark di sicurezza verificabili e ricompense per l'apprendimento per rinforzo consapevole della sicurezza.