Mixed-Initiative Dialog for Human-Robot Collaborative Manipulation

Each language version is independently generated for its own context, not a direct translation.

Immagina di dover preparare una cena di gala con un amico. Tu sei un maestro in cucina, ma non sai mescolare i cocktail. Il tuo amico, invece, è un mixologist eccezionale, ma non sa cucinare. Se lavorate insieme, potete creare qualcosa di straordinario. Ma cosa succede se il tuo "amico" è un robot?

Finora, i robot erano come assistenti un po' rigidi: aspettavano che gli dicessi cosa fare, e se non potevano farlo, si bloccavano o facevano errori. Il nuovo sistema presentato in questo articolo, chiamato MICoBot, cambia completamente le regole del gioco.

Ecco una spiegazione semplice di come funziona, usando delle metafore quotidiane.

1. Il Robot non è più un "Sottoposto", ma un "Partner"

Immagina di lavorare su un progetto con un collega. Invece di aspettare che tu gli passi gli strumenti uno per uno, il collega ti dice: "Ehi, io sono bravo a scrivere il codice, ma tu sei meglio a disegnare i grafici. Facciamo così: io scrivo, tu disegni, e poi ci scambiamo le idee".

MICoBot fa esattamente questo. È il primo robot capace di prendere l'iniziativa.

Se il robot vede che deve tagliare un pacco ma non ha le mani abbastanza precise, ti chiede: "Puoi tagliarlo tu?".
Se tu sei occupato a fare altro, il robot può dire: "Ok, intanto io porto le forbici sul tavolo, così quando sei libero puoi usarle".
Se tu dici: "No, voglio che tu lo faccia", il robot può rispondere: "Non posso farlo con le forbici, è troppo rischioso, ma posso portartele".

È una danza conversazionale: entrambi possono proporre, accettare o rifiutare compiti, proprio come due amici che organizzano una festa.

2. Il "Cervello" in Tre Strati (Come un Capitano di Nave)

Per gestire questa danza complessa, MICoBot ha tre "cervelli" che lavorano insieme:

Il Stratega (Meta-Planner): È come il capitano della nave che guarda la mappa. Analizza cosa sta succedendo, cosa ti piace fare e cosa il robot sa fare. Decide la strategia generale: "Oggi il robot fa il lavoro pesante, l'umano fa quello preciso". Scrive anche il "copione" per la conversazione.
Il Pianificatore (Planner): È il primo ufficiale che controlla i dettagli. Chiede: "Il robot può sollevare questo oggetto? Quanto è probabile che l'umano voglia aiutare in questo momento?". Usa un "sesto senso" (imparato simulando milioni di volte in un mondo virtuale) per capire se il robot rischia di rompere qualcosa o se l'umano è di cattivo umore e non vuole aiutare.
L'Esecutore (Action Executor): È l'equipaggio che mette in pratica i comandi. Se il piano dice "muovi il braccio", lo fa. Se dice "parla", genera una frase naturale e gentile per chiedere aiuto.

3. La "Bussola" dell'Umore (Capire se l'umano vuole aiutare)

Questa è la parte più magica. Il robot non è sordo ai tuoi sentimenti.
Immagina di essere stanco e di dire al robot: "Non ho voglia di fare nulla". Un robot normale continuerebbe a chiederti di fare cose, facendoti arrabbiare. MICoBot, invece, ascolta il tono e le parole. Se nota che sei riluttante, il suo "piano" cambia: "Ok, forse è meglio se io faccio tutto quello che posso, e chiedo aiuto solo per le cose impossibili".

Se invece sei entusiasta e dici "Facciamolo insieme!", il robot si attiva e ti chiede di prendere il comando su certi compiti. Questo si chiama stima della disponibilità umana: il robot calcola in tempo reale quanto è probabile che tu accetti di aiutare.

4. Perché è meglio dei robot di prima?

Gli esperimenti hanno mostrato che MICoBot è molto più efficace di un robot che usa solo l'Intelligenza Artificiale generica (come i chatbot classici).

Risultato: Il compito viene completato con successo nel 78% dei casi (contro il 28% dei robot vecchi).
Soddisfazione: Le persone si sono divertite di più e si sono sentite meno frustrate.
Adattabilità: Il robot non si blocca se non sa fare qualcosa; negozia. Se non può aprire una scatola, non insiste, ma trova un modo per coinvolgerti o trovare un altro strumento.

In Sintesi

MICoBot è come avere un collega di lavoro ideale che:

Sa esattamente cosa sa fare e cosa no (non promette l'impossibile).
Capisce se sei di buon umore o se sei stanco.
Propone soluzioni invece di aspettare ordini.
Parla con te in modo naturale per decidere chi fa cosa, rendendo il lavoro di squadra fluido e piacevole.

Non è più un semplice esecutore di comandi, ma un vero partner collaborativo che ti aiuta a completare i compiti di casa (o di lavoro) in modo intelligente, risparmiando energie a entrambi.

Each language version is independently generated for its own context, not a direct translation.

Titolo

MICoBot: Dialogo a Iniziativa Mista per la Manipolazione Collaborativa Uomo-Robot

1. Il Problema

I sistemi robotici esistenti per la collaborazione a lungo termine con gli esseri umani spesso falliscono nell'adattarsi alla variabilità dei partner umani (comportamento fisico, disponibilità e comprensione delle capacità del robot). La maggior parte dei sistemi attuali si basa su:

Interazioni unidirezionali: L'umano dà ordini e il robot esegue (o viceversa), senza possibilità di negoziazione attiva.
Piani di collaborazione fissi: Assumono che l'umano sia sempre disponibile e compliant, ignorando preferenze, stanchezza o cambiamenti di contesto.
Mancanza di adattamento: I sistemi non riescono a ricalcolare dinamicamente chi dovrebbe eseguire quale passo di un compito complesso per massimizzare il successo minimizzando lo sforzo umano.

L'obiettivo è creare un sistema che permetta sia all'uomo che al robot di prendere l'iniziativa, proporre, accettare o rifiutare richieste in linguaggio naturale, adattandosi in tempo reale alle capacità e alla disponibilità del partner.

2. Metodologia: MICoBot

Il paper introduce MICoBot (Mixed-Initiative Collaborative roBot), un sistema gerarchico che integra il dialogo a iniziativa mista con la manipolazione fisica. Il sistema opera su tre livelli decisionali:

A. Formulazione del Problema (MDP)

Il problema è modellato come un Processo Decisionale di Markov (MDP) in cui sia l'uomo che il robot possono osservare lo stato del mondo ( $s$ ) ed eseguire azioni fisiche ( $A_p$ ) o verbali ( $A_v$ ).

Obiettivo: Trovare un'allocazione ottimale dei passi del compito ( $G^*$ ) che massimizzi la probabilità di successo del compito e minimizzi lo sforzo umano, rispettando i vincoli espressi nel dialogo.
Funzione di Ottimizzazione: Viene definita una funzione di costo unificata basata su valori Q ( $Q$ $Q$ -values).
- $Q_R$ : Stima del robot per completare un passo (basata su simulazione).
- $Q_H$ : Stima per l'uomo (basata su competenza perfetta + tempo di viaggio).
- Fattori di Adattamento:
  1. Fattore di sforzo umano ( $\alpha$ ): Pesa lo sforzo umano più di quello del robot.
  2. Probabilità di aiuto ( $p_{H,t}$ ): Stima dinamica della probabilità che l'umano accetti una richiesta, derivata dall'analisi del sentiment del dialogo precedente.
  3. Vincoli ( $C$ ): Richieste esplicite dell'umano (es. "Fallo tu" o "Fallo io").

L'obiettivo è massimizzare:
$\max \sum_{t} \left( \mathbb{1}_{g_t=H} \cdot \frac{\alpha}{p_{H,t}} + \mathbb{1}_{g_t=R} \right) Q_{g_t}(s_t, a_t)$
soggetto ai vincoli del dialogo.

B. Architettura a Tre Livelli

Meta-Planner (Livello 1):
- Implementato tramite un LLM (GPT-4o).
- Analizza il dialogo storico e lo stato simbolico del mondo.
- Genera codice adattivo che definisce la strategia di collaborazione, mappando le richieste umane in vincoli per l'ottimizzazione e decidendo quando negoziare.
Iterative Planner (Livello 2):
- Esegue il codice generato dal Meta-Planner.
- Esegue un'ottimizzazione vincolata per assegnare ogni passo del compito a Robot (R) o Umano (H).
- Utilizza un modello di affordanza pre-addestrato in simulazione (OmniGibson) per stimare le capacità del robot.
- Stima $p_{H,t}$ (disponibilità umana) analizzando il tono e il contenuto del dialogo precedente.
- Se un vincolo rende l'allocazione impossibile (es. l'uomo chiede al robot di fare qualcosa di impossibile), il planner rilassa il vincolo e genera una spiegazione verbale.
Action Executor (Livello 3):
- Esegue l'azione selezionata.
- Azioni Fisiche: Genera traiettorie di navigazione e manipolazione (usando ROS, Grounding DINO per la segmentazione, e cinematica inversa).
- Azioni Verbali: Genera frasi in linguaggio naturale libere (open-vocabulary) per negoziare, chiedere aiuto o rispondere, utilizzando un LLM con esempi in contesto (ICL).

C. Gerarchia del Piano

Per ridurre la complessità del dialogo, il sistema raggruppa i passi a basso livello in azioni astratte semanticamente significative. Il dialogo scende al livello dei singoli passi solo durante la negoziazione specifica, rendendo la comunicazione più efficiente.

3. Contributi Chiave

Nuovo Setting di Problema: Integrazione del dialogo a iniziativa mista (entrambi gli agenti possono iniziare l'interazione) con l'interazione uomo-robot (HRI) nel mondo fisico.
Framework di Ottimizzazione: Un metodo unificato che bilancia successo del compito, sforzo umano e preferenze espresse nel dialogo attraverso una metrica basata sui valori Q.
Ambiente di Simulazione Collaborativo: Un ambiente basato su MiniBehavior con umani virtuali controllati da LLM, che permette di testare scenari con diversi livelli di disponibilità e umore.
Sistema Robotico Reale: Implementazione e validazione su un robot mobile manipolatore (TIAGo) in compiti domestici reali.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sia in simulazione che nel mondo reale con 18 partecipanti umani su tre compiti domestici (versare un pacchetto in una ciotola, assemblare un'auto giocattolo, impacchettare un regalo).

Successo del Compito: MICoBot ha raggiunto un tasso di successo del 77.8%, contro il 27.8% della baseline basata su LLM puro. La differenza è statisticamente significativa ( $p < 0.01$ ).
Completamento dei Passi: MICoBot ha completato il 93.8% dei passi del piano, contro il 58.2% della baseline.
Soddisfazione dell'Utente: Oltre il 77.8% dei partecipanti ha preferito MICoBot rispetto alla baseline LLM.
Qualità del Dialogo:
- MICoBot ha mostrato una maggiore capacità di chiedere aiuto in modo appropriato e di rifiutare richieste impossibili (evitando promesse eccessive).
- La baseline LLM tendeva ad assegnare al robot passi che non poteva eseguire, portando a fallimenti, o a non chiedere aiuto quando necessario.
- MICoBot ha aumentato l'accettazione delle richieste di aiuto dagli umani dal 55% all'86% grazie alla negoziazione attiva.
Ablazioni: L'analisi ha dimostrato che la rimozione del dialogo a iniziativa mista (limitando l'iniziativa solo al robot o solo all'uomo) degrada drasticamente le prestazioni, confermando che la bidirezionalità è cruciale.

5. Significato e Impatto

Questo lavoro rappresenta un passo fondamentale verso robot domestici collaborativi reali.

Superamento dei limiti attuali: Dimostra che i robot non devono essere solo esecutori passivi, ma partner attivi capaci di negoziare il lavoro in base alle proprie limitazioni e alla disponibilità umana.
Adattabilità: Il sistema si adatta dinamicamente non solo alle capacità fisiche, ma anche allo stato emotivo e alla volontà dell'umano, un aspetto spesso trascurato nell'HRI.
Efficienza: Ottimizza il compromesso tra completare il compito e non sovraccaricare l'utente umano, rendendo la collaborazione più naturale e meno frustrante.
Futuro: Apre la strada a sistemi che possono gestire feedback spaziali e temporali complessi, condividere informazioni in scenari a informazione imperfetta e ridefinire i compiti in tempo reale attraverso il dialogo.

In sintesi, MICoBot dimostra che l'integrazione di un dialogo naturale a iniziativa mista con una pianificazione gerarchica e ottimizzata è essenziale per creare robot collaborativi efficaci, sicuri e graditi agli utenti in scenari domestici reali.