Pre-Execution Safety Gate & Task Safety Contracts for LLM-Controlled Robot Systems

1. Il Problema

I modelli linguistici su larga scala (LLM) stanno diventando sempre più utilizzati per convertire comandi in linguaggio naturale in codice eseguibile per i robot. Tuttavia, l'attuale pipeline di controllo presenta due lacune critiche di sicurezza:

1. Mancanza di validazione pre-esecuzione: Non esistono "gate" di sicurezza robusti per rilevare comandi non sicuri o difettosi prima che vengano tradotti in codice robotico. I sistemi attuali tendono a generare piani per qualsiasi comando, senza discriminare tra istruzioni sicure e pericolose.
2. Assenza di monitoraggio continuo: Anche comandi che appaiono sicuri all'inizio possono generare transizioni di stato pericolose durante l'esecuzione se non vengono monitorati continuamente rispetto a vincoli di sicurezza.

Le soluzioni esistenti basate sulla verifica vincolata (constraint-based) sono limitate perché sono "cieche" a tutto ciò che il ricercatore non ha esplicitamente programmato per controllare e non riescono a gestire comandi ambigui o privi di informazioni critiche.

2. Metodologia: SafeGate

Gli autori introducono SafeGate, un'architettura di sicurezza neuro-simbolica progettata per intercettare e analizzare i comandi in linguaggio naturale prima che raggiungano l'esecuzione del robot. Il sistema si basa sugli standard di sicurezza ISO 13482 e ISO 12100 e opera attraverso una pipeline a sei stadi:

• Stadio 1: Matrice di Analisi dei Pericoli (Hazard Analysis Matrix)
  L'LLM analizza il comando incrociando tre livelli (Task, Ambiente, Utente) con quattro categorie di pericolo (Fisico, Psicologico, Operativo, Conseguenziale). L'output è un rapporto che identifica potenziali pericoli, la loro gravità e, crucialmente, le informazioni mancanti (es. "il contenuto della bottiglia è sconosciuto").
• Stadio 2: Strato di Legame dei Pericoli (Hazard Binding Layer)
  Traduce il rapporto dei pericoli in un formato strutturato utilizzando una Libreria di Template di Pericoli (HTL). Se un pericolo non corrisponde a un template esistente, viene contrassegnato come "non legato" (unbound), innescando un meccanismo di adattamento.
• Stadio 3: Gate Decisionale Deterministico
  Un modulo deterministico prende una decisione a tre vie basata su regole di priorità:
  • REJECT (Rifiuta): Se il pericolo è inevitabile e grave (es. "lancia un coltello a una persona").
  • DEFER (Rinvia): Se mancano informazioni critiche, se un pericolo grave non può essere prevenuto con certezza, o se il pericolo non è mappato nella libreria. Il sistema chiede chiarimenti all'utente.
  • AUTHORIZE (Autorizza): Se tutti i pericoli sono prevenibili e le informazioni sono complete.
• Stadio 4: Compilazione dei Contratti di Sicurezza
  Per i task autorizzati, vengono generati Task Safety Contracts (Contratti di Sicurezza del Task). Questi contratti sono triple formali composte da:
  • Invarianti: Condizioni che devono essere vere in ogni stato.
  • Guardie: Pre-condizioni necessarie prima di un'azione specifica.
  • Condizioni di Abort: Condizioni che, se soddisfatte, fermano immediatamente l'esecuzione.
• Stadio 5: Verifica Statica del Piano
  Utilizzando il risolutore SMT Z3, il sistema verifica simbolicamente che il piano d'azione generato soddisfi tutti i contratti di sicurezza prima di qualsiasi esecuzione fisica. Se la verifica fallisce, il piano viene rigenerato o rifiutato.
• Stadio 6: Monitoraggio in Esecuzione (Runtime)
  Durante l'esecuzione reale, il sistema monitora continuamente lo stato del robot rispetto al contratto. Qualsiasi violazione di un'invariante o di una guardia porta a un arresto immediato e assorbente (il sistema non può riprendere).

3. Contributi Chiave

1. Gate Pre-Esecuzione Neuro-Simbolico: Un sistema che combina la flessibilità degli LLM con la rigore della logica simbolica per filtrare i comandi prima della generazione del piano, offrendo tre esiti (Autorizza, Rinvia, Rifiuta).
2. Task Safety Contracts: Una specifica formale che decompone i comandi in vincoli eseguibili (invarianti, guardie, abort) per garantire la sicurezza sia in fase di pianificazione che di esecuzione.
3. Benchmark Completo: Creazione di un dataset di 230 task robotici annotati da esperti, coprendo tre domini (manipolazione, navigazione, assistenza) e tre livelli di complessità, utilizzato per valutare il sistema contro framework esistenti.

4. Risultati Sperimentali

Il sistema è stato valutato su 230 task benchmark, 30 scenari di simulazione AI2-THOR e esperimenti con robot reali, confrontato con framework come SELP, RoboGuard e LLM base (GPT-4o, Gemini).

• Riduzione dei Pericoli: SafeGate ha raggiunto un AR-U% (Acceptance Rate for Unsafe Tasks) dello 0%, rifiutando o rinviando tutti i task pericolosi. Nessun altro metodo ha raggiunto questo risultato senza compromettere la sicurezza.
• Accettazione dei Task Sicuri: SafeGate ha mantenuto un AR-S% (Acceptance Rate for Safe Tasks) del 92,8%, dimostrando di non essere eccessivamente conservativo.
• Confronto con Baseline:
  • I framework basati su vincoli (SELP, RoboGuard) hanno autorizzato dal 26% al 39% dei task pericolosi.
  • Gli LLM puri (GPT-4o, Gemini) hanno raggiunto lo 0% di autorizzazione di task pericolosi, ma hanno mostrato un tasso di rinvio eccessivo (DR-S%) su task sicuri (fino al 79,5%), rendendoli impraticabili per l'uso reale.
• Simulazione AI2-THOR: SafeGate ha ottenuto un CR% (Crash Rate) dello 0% su tutti i 30 scenari pericolosi, inclusi quelli basati su informazioni incomplete e conseguenze future, dove gli altri sistemi hanno fallito completamente.
• Metriche di Precisione: SafeGate ha ottenuto un F1-score del 97,1%, combinando una recall perfetta (100%) con una precisione molto alta (94,3%).

5. Significato e Impatto

SafeGate rappresenta un passo fondamentale verso robotica assistiva sicura e affidabile. Dimostra che è possibile integrare la flessibilità dei modelli linguistici con garanzie di sicurezza rigorose senza sacrificare l'usabilità.

• Gestione dell'Ambiguità: A differenza dei sistemi binari (sicuro/non sicuro), SafeGate gestisce intelligentemente l'incertezza chiedendo chiarimenti all'utente invece di assumere rischi o bloccare inutilmente il sistema.
• Adattabilità: Il meccanismo di estensione della libreria dei template permette al sistema di imparare nuovi pericoli non previsti inizialmente.
• Sicurezza Profonda: L'approccio a più livelli (pre-esecuzione, verifica statica, monitoraggio runtime) crea una difesa stratificata che previene sia errori di pianificazione che deviazioni durante l'esecuzione.

In sintesi, SafeGate fornisce un quadro metodologico per rendere i sistemi robotici controllati da LLM sicuri per l'interazione con gli esseri umani in ambienti domestici e assistivi, colmando il divario tra capacità generative e requisiti di sicurezza operativa.