Sintesi Tecnica: Safe Stochastic Explorer (S.S. Explorer)

Definizione del Problema

I robot autonomi che operano in ambienti non strutturati e critici per la sicurezza (ad esempio, esplorazione planetaria, magazzini, abitazioni) devono navigare e interagire con l'ambiente in cui la dinamica del sistema e le caratteristiche di sicurezza non sono completamente note. I metodi di controllo sicuro esistenti, come l'HJR (Hamilton-Jacobi Reachability) e le CBF (Control Barrier Functions), tipicamente assumono dinamiche di sistema note. Al contrario, le tecniche di esplorazione sicura esistenti spesso non tengono conto della stocasticità inevitabile inerente alle interazioni del mondo reale, come un rover che scivola su un terreno sconosciuto o un robot che spinge oggetti non mappati.

Il problema centrale affrontato è l'esplorazione sicura e guidata dall'obiettivo in ambienti sconosciuti sotto dinamiche stocastiche. Il robot deve bilanciare due obiettivi contrastanti:

1. Esplorazione: Raccogliere informazioni per ridurre l'incertezza sulle proprietà di sicurezza dell'ambiente.
2. Sicurezza: Garantire con alta confidenza che il robot rimanga all'interno di un insieme sicuro durante tutta la sua operazione, nonostante le transizioni di stato stocastiche.

Il documento definisce la funzione di sicurezza $q(x)$ come ignota, dove uno stato è insicuro se $q(x) > q_T$. L'agente opera sotto un modello di transizione stocastica $x_{t+1} \sim p(x_{t+1}|x_t, a_t)$ e mira a raggiungere un obiettivo massimizzando una funzione di performance $f(x)$ senza violare i vincoli di sicurezza.

Metodologia

Gli autori propongono il Safe Stochastic Explorer (S.S. Explorer), un framework che utilizza i Processi Gaussiani (GP) per apprendere la funzione di sicurezza ignota online. Il metodo sfrutta l'incertezza predittiva dei GP per guidare le azioni di raccolta informazioni, fornendo al contempo limiti probabilistici sulle violazioni della sicurezza. Il framework è presentato in tre varianti:

1. Formulazione in Spazio di Stato Discreto

Per spazi di stato finiti e discreti, il metodo modella il movimento dell'agente come una catena di Markov. Definisce gli stati "completamente sicuri" attraverso tre criteri iterativi:

• Sicurezza Immediata: Il costo di sicurezza dello stato è al di sotto della soglia con alta probabilità.
• Ritorno Stocastico Sicuro: Esiste una traiettoria garantita per tornare all'insieme sicuro iniziale senza uscire dall'insieme degli stati immediatamente sicuri, garantendo la fattibilità ricorsiva.
• Arrivo Stocastico Sicuro: L'agente può transitare verso lo stato dal set sicuro corrente assicurando che l'intera distribuzione di arrivo stocastica rimanga entro i limiti di sicurezza.

L'algoritmo impiega operatori di espansione e raffinamento dell'insieme:

• Espansione della Sicurezza Immediata ($\bar{I}$): Utilizza i limiti superiore/inferiore (upper/lower confidence bounds) dei GP ($u_t(x), l_t(x)$) e assunzioni di continuità Lipschitz per espandere l'insieme degli stati ritenuti sicuri.
• Raffinamento del Ritorno Stocastico Sicuro ($\bar{R}$): Restringe iterativamente l'insieme sicuro agli stati dai quali l'agente può tornare al nucleo sicuro nonostante le deviazioni stocastiche.
• Raffinamento dell'Arrivo Stocastico Sicuro ($\bar{m}$): Garantisce che la distribuzione degli stati raggiungibili in un passo dal set sicuro rimanga sicura.

L'agente seleziona le azioni identificando "espansori candidati"—stati incerti ma pessimisticamente sicuri vicino alla frontiera del set sicuro che forniscono informazioni su regioni target.

2. Formulazione in Spazio di Stato Continuo

Per affrontare la scalabilità nei domini continui, gli autori introducono una rilassazione. Invece di tracciare insiemi complessi, utilizzano funzioni indicatrici derivate dalle distribuzioni posteriori dei GP.

• Rilassazione: La rigorosa garanzia di "Ritorno Stocastico Sicuro" viene rilassata per garantire solo l' "Arrivo Stocastico Sicuro" e la sicurezza immediata. Questo rimuove la garanzia di completamento del compito (evitando di rimanere bloccati), ma garantisce la sicurezza istantanea.
• Computazione Analitica: Per gestire l'arrivo stocastico di una distribuzione di transizione Gaussiana $T(x, a) \sim \mathcal{N}(\mu, \Sigma)$, il metodo utilizza il "moment matching" per calcolare analiticamente la distribuzione del valore di sicurezza dello stato di arrivo. Ciò consente la valutazione diretta degli indicatori di sicurezza senza campionamento.
• Sicurezza del Percorso: La continuità Lipschitz viene utilizzata per regolare la soglia di sicurezza ($q_T' = q_T - L \cdot d_{max}/2$) per garantire la sicurezza lungo la traiettoria continua tra i passi di pianificazione discreti.

3. Formulazione Centrica sull'Oggetto

Il framework viene esteso a scenari che coinvolgono l'interazione fisica con molteplici oggetti sconosciuti (ad esempio, spingere oggetti su uno scaffale).

• Rappresentazione Centrica sull'Oggetto: Per gestire oggetti in movimento, la sicurezza è modellata nello spazio di stato relativo del robot rispetto a ciascun oggetto. Ciò consente al GP di riutilizzare i dati di interazione passati anche quando le posizioni degli oggetti cambiano.
• Sicurezza Multi-Oggetto: La funzione di sicurezza globale è definita come il massimo costo di sicurezza tra tutti gli oggetti. L'insieme sicuro complessivo è calcolato come l'intersezione dei singoli insiemi sicuri per ogni oggetto.
• Implementazione: Nel caso continuo, questo è implementato addestrando GP separati per ogni oggetto e aggregando i loro limiti probabilistici worst-case durante la predizione, evitando il costo computazionale di intersecare esplicitamente insiemi ad alta dimensionalità.

Contributi Chiave

1. Esplorazione Sicura Discreta: Un nuovo metodo per l'esplorazione sicura in spazi di stato discreti con transizioni stocastiche, utilizzando l'incertezza basata su GP per limitare le violazioni di sicurezza e garantire il ritorno stocastico sicuro.
2. Rilassazione Continua: Una rilassazione scalabile per spazi di stato continui che mantiene le garanzie di sicurezza (sicurezza immediata e arrivo sicuro) migliorando l'efficienza computazionale per domini reali, sebbene con una garanzia rilassata sul completamento del compito.
3. Interazione Sicura con Oggetti: Un'estensione applicativa che dimostra come il framework garantisca l'interazione fisica sicura con molteplici oggetti sconosciuti, modellando la sicurezza in coordinate relative e intersecando gli insiemi sicuri.

Risultati Sperimentali

Gli autori hanno validato S.S. Explorer attraverso estese simulazioni ed esperimenti hardware:

• Robot Terrestre (Discreto): In 80 prove su 8 ambienti con alta stocasticità ($p=0.35$ per i movimenti previsti), S.S. Explorer ha raggiunto un tasso di successo del 100% con lo 0% di violazioni di sicurezza. Al contrario, un metodo baseline (che ignorava la stocasticità) ha ottenuto solo il 35% di successo e il 65% di violazioni.
• Robot Terrestre (Continuo): Su 425 traiettorie, S.S. Explorer ha raggiunto un tasso di successo del 70,35% con un tasso di violazione del 6,82%, superando significativamente la baseline (41,8% successo, 49,8% violazione). Una variante con $\beta$-scaling dinamico (che regola la conservatività in base al progresso) ha ottenuto un tasso di successo dell'88,47% con un tasso di violazione del 9,88%.
• Oggetto Sicuro (Simulazione): In 55 prove che coinvolgevano un braccio robotico che spingeva oggetti sconosciuti, la formulazione stocastica ha raggiunto fino all'81,8% di successo con lo 0% di violazioni (con impostazioni specifiche della varianza), mentre la baseline è fallita nel 50,9% dei casi.
• Hardware: Esperimenti nel mondo reale utilizzando un braccio Franka Emika Panda hanno navigato con successo un tavolo con lattine di Pringles di masse variabili. Il metodo ha raggiunto l'obiettivo senza rovesciare gli oggetti, mentre una baseline ingenua ha rovesciato gli oggetti, violando la sicurezza.

Significato e Rivendicazioni

Il documento afferma che S.S. Explorer rappresenta un passo avanti verso l'abilitazione di un'autonomia robotica affidabile e diffusa in ambienti complessi e incerti. La sua importanza risiede nel:

• Colmare il Divario: Considerare esplicitamente le dinamiche stocastiche nell'esplorazione sicura, un vuoto critico lasciato dai metodi precedenti che assumono dinamiche note o trascurano l'incertezza della transizione.
• Gestire Interazioni Sconosciute: Fornire un framework rigoroso per l'interazione fisica sicura con oggetti sconosciuti, andando oltre il semplice evitamento delle collisioni per gestire le dinamiche di interazione (ad esempio, ribaltamento, attrito).
• Bilanciare Sicurezza e Performance: Dimostrare che sfruttando l'incertezza (tramite i GP) e la modellazione stocastica, i robot possono esplorare più efficacementamente e raggiungere gli obiettivi più spesso rispetto alle baseline deterministiche, che tendono a fallire o a violare la sicurezza quando affrontano il rumore del mondo reale.

Gli autori riconoscono i limiti, tra cui la scalabilità computazionale dei GP ($O(N^3)$), la dipendenza dalla conoscenza a priori dei limiti del sistema (ad esempio, costanti Lipschitz) e il compromesso tra sicurezza e performance. Notano che le varianti continua e centrica sull'oggetto rilassano la garanzia di "ritorno stocastico sicuro", il che significa che il robot potrebbe teoricamente rimanere bloccato, pur rimanendo istantaneamente sicuro. Il lavoro futuro mira a reintrodurre le garanzie di ritorno e a gestire interazioni complesse tra più oggetti.