Inferring World Belief States in Dynamic Real-World Environments

Titolo: Inferenza degli Stati di Credenza del Mondo in Ambienti Reali Dinamici

1. Problema e Contesto

Il lavoro affronta la sfida di stimare lo stato di credenza (belief state) di un essere umano in un ambiente dinamico, tridimensionale e parzialmente osservabile, utilizzando le osservazioni di un robot.

• Definizione: Lo stato di credenza è definito come la "consapevolezza della situazione di livello 1", ovvero la comprensione che una persona ha degli oggetti nell'ambiente, delle loro posizioni e delle loro proprietà semantiche.
• Contesto Teorico: Il metodo si basa sulla teoria dei modelli mentali, che postula che il processo decisionale umano e la pianificazione del comportamento derivino da una simulazione interna del mondo. In un team, questo include un modello del compagno (team model), permettendo una collaborazione fluida senza comunicazione esplicita costante.
• Sfide Principali:
  1. Parziale Osservabilità: Il robot ha un campo visivo limitato (camera montata), non una visione globale (es. smart home).
  2. Ambienti Dinamici: Gli oggetti possono essere spostati e le persone possono oscurarli.
  3. Permanenza degli Oggetti: Il sistema deve ricordare e risolvere la posizione degli oggetti anche quando non sono visibili.
  4. Portabilità: Lo stato di credenza deve essere una struttura dati esplicita utilizzabile per compiti a valle (es. ragionamento sulla teoria della mente).

L'obiettivo è rispondere alla domanda di ricerca: Un robot può inferire accuratamente lo stato di credenza di una persona senza informazioni privilegiate?

2. Metodologia

L'approccio proposto utilizza una Teoria della Mente Ricorsiva e si articola in due sottosistemi principali: un algoritmo di stato di credenza e una pila di percezione.

A. Architettura del Sistema

1. Stato di Credenza del Robot ($\beta_{robot}$): Il robot mantiene una mappa semantica del mondo aggiornata tramite le sue osservazioni.
2. Inferenza dello Stato di Credenza Umano ($\hat{\beta}_{human}$): Il robot stima quali oggetti del proprio stato di credenza l'umano avrebbe potuto vedere, basandosi sulla traiettoria e sulla direzione dello sguardo dell'umano.

B. Componenti Chiave

• Algoritmo di Aggiornamento (Algorithm 1):
  • Rappresenta lo stato di credenza come una mappa semantica (insieme di oggetti, posizioni medie e classi).
  • Utilizza un algoritmo di assegnazione per mappare gli oggetti osservati alle istanze esistenti nella mappa, minimizzando la distanza L2 (norma euclidea).
  • Assumono che una mappa semantica iniziale sia fornita a priori e che il robot venga notificato di aggiunte/rimozioni massicce per mantenere una mappatura 1:1.
• Pila di Percezione (Perception Stack):
  • Utilizza OWLv2 per il rilevamento di oggetti a vocabolario aperto (open-vocabulary) e SAM2 per la segmentazione delle immagini.
  • Stima la posizione 3D degli oggetti combinando la profondità e la segmentazione.
  • Rilevamento Umano: Utilizza RTMPose e MMPose per ottenere i punti chiave dello scheletro 3D. La direzione dello sguardo è approssimata dal vettore normale tra le articolazioni dell'anca e delle spalle (più robusto della direzione della testa a distanza).
  • Filtraggio: Per ridurre i falsi negativi, si usa una soglia di confidenza bassa; i falsi positivi sono rimossi incrociando le rilevazioni RGB e Depth.
• Inferenza Ricorsiva:
  • Quando l'umano è visibile, il sistema calcola la sua traiettoria (usando l'algoritmo A* tra le osservazioni sparse) e proietta il suo campo visivo.
  • Gli oggetti che cadono nel campo visivo e non sono occlusi vengono aggiunti allo stato di credenza inferito dell'umano.

C. Metriche di Valutazione
Viene introdotta una nuova metrica chiamata SMCC (Summed Minimum Cost by Class).

• Considera gli oggetti della stessa classe come intercambiabili (es. un cucchiaio è equivalente a un altro cucchiaio).
• Calcola la distanza minima per mappare gli oggetti tra due insiemi (stato inferito vs stato vero).
• Un valore più basso indica una migliore accuratezza.

3. Sperimentazione e Risultati

Ambiente di Simulazione (VirtualHome)

• Scenario: "Parents are Out!" (I genitori sono fuori). Gli oggetti della casa vengono spostati mentre gli abitanti sono assenti. Al loro ritorno, la casa è disordinata e l'umano deve valutare la situazione mentre un robot lo segue.
• Risultati di Percezione: La pila di percezione basata su modelli off-the-shelf (OWLv2, SAM2) ha ottenuto errori quasi identici alla percezione "ground truth" (perfetta) della simulazione, dimostrando l'efficacia dei modelli zero-shot.
• Errore di Inferenza: L'errore di inferenza dello stato di credenza ($\hat{\beta}_{human}$ vs $\beta_{human}$) è stato significativamente inferiore all'errore dello stato di credenza dell'umano rispetto alla realtà ($\beta_{human}$ vs $\beta_{true}$). Questo indica che il robot riesce a prevedere meglio la conoscenza dell'umano di quanto l'umano stesso riesca a ricostruire la realtà complessa in poco tempo.
• Studio di Ablazione: L'analisi ha mostrato che le fonti principali di errore non sono i modelli di percezione, ma le limitazioni del simulatore (pose della camera approssimata) e la natura parzialmente osservabile del dominio.

Applicazione a Valle: Assistenza Attiva

• Scenario: Il robot deve identificare gli oggetti rilevanti per un compito (es. cucinare, pulire) di cui l'umano ha una credenza errata (non sa che sono stati spostati).
• Metodo: Il robot confronta il proprio stato di credenza con quello inferito dell'umano per trovare oggetti "sconosciuti" all'umano. Questi vengono passati a un LLM (Qwen2.5-32B) o a un classificatore (deBERTa) per selezionare quelli rilevanti per il compito.
• Risultati:
  • Tutti i metodi hanno superato il caso casuale.
  • L'approccio LLM con Chain-of-Thought (CoT) singolo ha ottenuto la precisione più alta (0.77), riducendo i falsi positivi, che è cruciale per l'esperienza utente.
  • Il modello deBERTa ha mostrato prestazioni simili con costi computazionali inferiori.

Validazione nel Mondo Reale

• Il sistema è stato implementato su un robot Stretch RE2.
• Sebbene con limitazioni hardware, il robot è riuscito a mantenere la propria mappa semantica, rilevare l'umano e inferire lo stato di credenza, confermando la portabilità del codice tra simulazione e realtà.

4. Contributi Chiave

1. Primo approccio completo: È il primo lavoro ad affrontare simultaneamente le quattro sfide chiave (parziale osservabilità, dinamicità, permanenza degli oggetti, portabilità) senza informazioni privilegiate.
2. Nuova Metrica (SMCC): Introduzione di una metrica di valutazione robusta per stati di credenza basati su classi di oggetti.
3. Architettura Portabile: Sviluppo di un sistema che combina percezione zero-shot e ragionamento logico esplicito, trasferibile ad altri domini.
4. Dimostrazione Pratica: Validazione dell'utilità dello stato di credenza inferito in un compito di assistenza attiva, mostrando come un robot possa correggere proattivamente le percezioni errate di un umano.

5. Significato e Futuro

Questo lavoro dimostra che i robot possono costruire modelli mentali di ciò che gli umani sanno e non sanno, abilitando forme avanzate di teamwork uomo-robot.

• Impatto: Abilita la comunicazione selettiva, la previsione del comportamento e l'assistenza proattiva.
• Limitazioni e Futuro:
  • Necessità di simulatori più realistici con API migliori per la navigazione e la manipolazione semantica.
  • Sostituire l'assunzione di "percezione perfetta" dell'umano con modelli probabilistici basati su dati reali di attenzione (gaze).
  • Creazione di dataset reali sulla consapevolezza della situazione umana per allineare meglio i modelli.

In conclusione, il paper stabilisce una base solida per l'integrazione di modelli mentali nei sistemi robotici, trasformando la percezione passiva in una comprensione attiva delle intenzioni e della conoscenza del compagno umano.