Model Reconciliation through Explainability and Collaborative Recovery in Assistive Robotics

Sintesi Tecnica: Riconciliazione del Modello attraverso la Spiegabilità e il Recupero Collaborativo nella Robotica Assistiva

Definizione del Problema
Nella robotica assistiva e negli scenari di controllo condiviso, i comportamenti imprevisti del robot spesso derivano da una divergenza tra il modello mentale del mondo dell'utente umano e il modello interno del robot. Quando un robot non riesce a eseguire un compito (ad esempio, afferrare un oggetto), l'utente potrebbe non comprendere il ragionamento del robot, portando a una rottura della fiducia e della collaborazione. Gli approcci esistenti alla riconciliazione del modello presuppongono spesso che il robot possieda un modello formale completo dello stato mentale dell'uomo, il che è irrealistico in ambienti assistivi dinamici. Inoltre, sebbene le spiegazioni possano chiarire perché si sia verificato un fallimento, esse non forniscono intrinsecamente un meccanismo affinché l'umano possa correggere le credenze errate del robot per recuperare dal fallimento.

Metodologia
Gli autori propongono un framework di riconciliazione del modello che sfrutta i Modelli di Fondazione (specificamente, Large Language Models [LLM] e Vision-Language Models [VLM]) per colmare il divario tra i modelli mentali dell'uomo e del robot senza richiedere un modello formale predefinito dell'utente. Il framework opera in tre fasi:

1. Avvio e Generazione della Spiegazione:

   • Il processo è avviato da una query in linguaggio naturale dell'utente (ad esempio, "Perché non puoi afferrare la tazza verdastra?").
   • Un workflow LLM estrae entità semantiche (oggetti, azioni, aggettivi) dalla query.
   • Il sistema esegue una ricerca in quattro fasi contro i modelli interni del robot:
     • Controllo del Database degli Oggetti: Verifica se l'oggetto esiste nella base di conoscenza statica del robot.
     • Controllo del Modello d'Azione (Passaggio 1): Determina se l'azione è teoricamente possibile dato l'attuale stato del mondo.
     • Controllo del Modello del Mondo: Verifica se l'istanza specifica dell'oggetto è attualmente percepita e localizzata dal robot.
     • Controllo del Modello d'Azione (Passaggio l): Identifica se l'azione è bloccata da precondizioni non soddisfatte (ad esempio, una pinza non libera) o se l'azione non è semplicemente addestrata.
   • Sulla base di questa ricerca, il sistema predice il tipo specifico di divergenza del modello (ad esempio, il robot non sa che l'oggetto esiste rispetto al fatto che il robot vede l'oggetto ma non può agire) e genera una spiegazione in linguaggio naturale.

2. Recupero Collaborativo:

   • Se la spiegazione rivela una discrepanza che l'utente può correggere (ad esempio, il robot ha mancato un oggetto o ha una credenza errata sullo stato), l'utente fornisce una confutazione (ad esempio, "Ma il cassetto è chiuso!").
   • Arbitrato VLM: Un Vision-Language Model agisce come un "oracolo" per validare l'affermazione dell'utente rispetto al feed della telecamera del robot.
     • Per Errori di Percezione (DSO): Se l'utente afferma che un oggetto è presente, il VLM tenta di abbinarlo nell'immagine. In caso di successo, suggerisce movimenti al robot (ad esempio, muovere la carrozzina) per migliorare la visuale per la rilevazione. Se il VLM non può confermarlo ma l'utente insiste, il sistema può sovrascrivere il modello del mondo per includere l'oggetto.
     • Per Errori di Stato (DSA): Se l'utente corregge uno stato (ad esempio, "Il microonde è aperto"), il sistema mappa questa correzione in linguaggio naturale al modello del mondo simbolico (PDDL) e aggiorna l'albero delle azioni di conseguenza.

3. Implementazione:

   • Il framework è stato implementato su un manipolatore mobile basato su carrozzina progettato per persone con disabilità motorie.
   • Il sistema utilizza un VLM locale a pesi aperti (Mistral-Small-3.2-24B-Instruct) con tecniche di Chain of Thought e Few-Shot Prompting per gestire l'ancoraggio semantico e il ragionamento.

Contributi Chiave
Il documento presenta contributi su tre livelli:

1. Teorico: Un framework di riconciliazione del modello per il controllo condiviso nella robotica assistiva che comprende l'aggiornamento bidirezionale: il robot aggiorna l'uomo tramite la spiegazione, e l'uomo aggiorna il robot tramite la correzione.
2. Metodologico: L'integrazione di workflow di fondazione aumentati con dati recuperati dai moduli del robot (database degli oggetti, modelli del mondo, grafi d'azione). Questo approccio elimina la necessità per il robot di modellare esplicitamente l'intero stato mentale dell'utente pur riuscendo a predire le differenze nelle basi di conoscenza.
3. Sperimentale: Una piena implementazione e valutazione che coinvolge un vero robot assistivo e il suo gemello digitale, dimostrando la capacità del sistema di gestire scenari di vita quotidiana.

Risultati
Gli autori hanno condotto uno studio pilota su un robot reale e due esperimenti (B1 e B2) su un gemello digitale utilizzando un dataset di 40 episodi (120 conversazioni totali in uscita).

• Accuratezza: Il framework ha raggiunto un'accuratezza compresa tra il 78% e il 100% attraverso diversi test unitari. Nello specifico, ha raggiunto il 100% di accuratezza nel spiegare i fallimenti di localizzazione degli oggetti, il 78,79% nel comunicare errori di stato simbolico e il 78,12% nella generazione di suggerimenti per il recupero.
• Confronto: Nell'Esperimento B1, il metodo proposto ha superato significativamente un baseline VLM "naïve" privo di accesso ai modelli interni del robot, dimostrando che la capacità dell'LLM di recuperare e sintetizzare dati specifici dei moduli del robot è cruciale per spiegazioni accurate.
• Ancoraggio Semantico: L'Esperimento B2 ha mostrato che fornire un dizionario di traduzione per termini specifici del robot meno comuni (ad esempio, mappare "ikea bagganas" in "armadio") ha aumentato l'accuratezza nella riconciliazione delle azioni dal 78,8% al 92,4%.
• Limitazioni: Gli autori notano che i suggerimenti di movimento per il recupero (ragionamento spaziale) hanno mostrato un'accuratezza inferiore, probabilmente a causa dei limiti del VLM specifico utilizzato. Inoltre, gli aggettivi nelle query hanno talvolta causato confusione e lo studio era limitato a un set specifico di scenari di vita quotidiana.

Significatività
Il documento sostiene che questo lavoro fornisce un workflow pratico per spiegare il comportamento imprevisto del robot e consentire il recupero collaborativo nella robotica assistiva. Utilizzando i modelli di fondazione per predire e spiegare le divergenze del modello, il sistema permette all'uomo di comprendere le credenze del robot e di correggerle attivamente, ripristinando così la comprensione condivisa senza richiedere una modellazione dell'utente complessa e predefinita. Gli autori sottolineano che, sebbene l'attuale implementazione sia modesta e limitata a scenari specifici, essa stabilisce una pipeline valida per la trasparenza e la fiducia nei team uomo-robot, aprendo la strada a futuri lavori sulla l'ottimalità del piano, il disallineamento degli obiettivi e istanze di oggetti più diverse.