💻 computer science

HABIT: Human-Aware Behavior and Interaction Training Dataset for Robot Manipulation

Il documento introduce HABIT, un dataset su larga scala di oltre 10.000 episodi di manipolazione robotica con presenza umana organizzati nei ruoli di Collaboratore, Co-lavoratore e Supervisore, che consente alle policy di apprendere comportamenti essenziali sensibili alla presenza umana come la sincronizzazione, il cedere il passo e l'ancoraggio ai gesti, che sono assenti nei tradizionali dataset privi di esseri umani.

Autori originali: Jaehwi Song, Suchae Jeong, Byeongguk Jeon, Sungdong Kim, Minjoon Seo, Hyungmok Son, Kimin Lee

Pubblicato 2026-07-01

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Jaehwi Song, Suchae Jeong, Byeongguk Jeon, Sungdong Kim, Minjoon Seo, Hyungmok Son, Kimin Lee

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a un robot come svolgere le faccende domestiche. La maggior parte dei robot oggi viene addestrata in uno scenario di "città fantasma": praticano il movimento di scatole, la pulizia di tavoli e la smistazione della spazzatura in una stanza vuota dove non ci sono esseri umani nelle vicinanze. Diventano molto bravi nei movimenti fisici, ma non hanno idea di come comportarsi quando una persona reale si trova proprio accanto a loro. Potrebbero urtarti, ignorare i tuoi gesti o cercare di afferrare uno strumento mentre lo stai ancora impugnando.

Il paper introduce HABIT (Human-Aware Behavior and Interaction Training), un nuovo dataset progettato per risolvere questo problema. Pensa a HABIT non solo come a una libreria di movimenti robotici, ma come a una libreria di passi di danza dove il robot e un partner umano stanno imparando a muoversi insieme.

I tre "Stili di Danza"

I ricercatori hanno organizzato i compiti in tre ruoli distinti, come diversi generi di danza, per insegnare al robot come gestire diverse situazioni sociali:

Il Collaboratore (Il Tango):
- Lo Scenario: L'essere umano e il robot devono lavorare insieme sullo stesso oggetto nello stesso momento.
- L'Analogia: Immagina due persone che cercano di trasportare un divano pesante su una scala. Se una persona si muove troppo velocemente o troppo lentamente, inciampano. In questo ruolo, il robot impara ad aspettare che l'umano sollevi un angolo prima di muoversi, o a consegnare uno strumento esattamente quando l'umano lo protende. Si tratta tutto di sincronizzazione.
- Esempio: Un essere umano posiziona un tovagliolo su un vassoio, e il robot solleva il vassoio per aiutare.
Il Collega (La Danza della Conga):
- Lo Scenario: L'essere umano e il robot si trovano nella stessa stanza svolgendo compiti diversi, ma condividono lo stesso spazio.
- L'Analogia: Immagina due persone che cucinano in una piccola cucina. Una sta tagliando le verdure e l'altra sta mescolando una pentola. Non si toccano, ma devono schivarsi a vicenda per non scontrarsi. Il robot impara a cedere il passo (mettersi da parte) se l'umano entra nel suo percorso, invece di procedere dritto come un treno.
- Esempio: Un essere umano smista la spazzatura su un lato di un tavolo mentre il robot confeziona scatole dall'altro lato, spostandosi costantemente l'uno dalla strada dell'altro.
Il Supervisore (Il Direttore d'Orchestra):
- Lo Scenario: L'essere umano dà indicazioni e il robot le segue.
- L'Analogia: Immagina un direttore d'orchestra che agita una bacchetta per dire all'orchestra quando suonare. Il robot impara a osservare le mani e gli occhi dell'umano. Se l'umano indica una ciambella specifica, il robot non afferra semplicemente la prima che vede; guarda il dito e afferra quella ciambella specifica. Impara il grounding dei gesti.
- Esempio: Un essere umano indica un contenitore specifico, e il robot mette il pane all'interno.

Come hanno raccolto i dati

Per assicurarsi che il robot imparasse davvero queste abilità sociali, i ricercatori non hanno lasciato che l'umano e il robot giocassero in modo casuale. Hanno utilizzato uno "script" rigoroso (chiamato workflow) che costringeva l'umano e il robot a reagire l'uno all'altro in tempo reale.

Niente "Trucchi": L'operatore umano non poteva semplicemente indovinare cosa avrebbe fatto il robot dopo. Doveva aspettare che il robot si muovesse prima di reagire, e viceversa. Ciò ha garantito che il robot imparasse a rispondere a effettivi segnali umani, non solo a schemi memorizzati.
La Sicurezza Prima di Tutto: Se il robot sembrava sul punto di urtare l'umano, l'operatore umano lo faceva immediatamente indietreggiare. Questo ha insegnato al robot che "fermarsi" è una mossa valida e importante.

Cosa è successo quando lo hanno testato?

I ricercatori hanno preso due cervelli robotici esistenti (modelli AI) e li hanno addestrati su questo nuovo dataset HABIT. Hanno confrontato i robot addestrati con HABIT rispetto ai robot addestrati solo sui vecchi dati della "città fantasma".

I Risultati: I robot addestrati con HABIT sono stati significativamente migliori.
- Nel ruolo di Collega, hanno smesso di scontrarsi con gli umani.
- Nel ruolo di Supervisore, guardavano effettivamente dove l'umano indicava invece di tirare a indovinare.
- Nel ruolo di Collaboratore, hanno sincronizzato i loro movimenti perfettamente con l'umano.
Il "Superpotere": Il risultato più interessante è stato l'efficienza campionaria. Quando hanno cercato di insegnare ai robot addestrati con HABIT un nuovo compito che non avevano mai visto prima, hanno imparato molto più velocemente (usando meno esempi) rispetto ai robot addestrati con i vecchi dati. È come se HABIT avesse insegnato al robot il concetto di "essere educato e consapevole", rendendo l'apprendimento di nuovi compiti specifici molto più facile.

In sintesi

Il paper sostiene che, affinché i robot siano utili nelle nostre case e nei nostri uffici, non possono essere solo forti e precisi; devono essere socialmente consapevoli. Addestrando i robot su dati in cui gli esseri umani sono effettivamente presenti e interagiscono, otteniamo robot che non lavorano solo intorno a noi, ma lavorano con noi.

Limitazioni: Gli autori ammettono che questo è stato fatto in un laboratorio controllato con un tipo specifico di robot e un numero limitato di operatori umani. Sebbene abbiano variato l'abbigliamento e la corporatura degli umani per testare l'adattabilità, gli ambienti del mondo reale sono più disordinati rispetto alla loro configurazione. Tuttavia, il messaggio centrale resta: i robot hanno bisogno di vedere gli esseri umani per imparare come essere buoni partner.

Riepilogo Tecnico: HABIT – Human-Aware Behavior and Interaction Training Dataset

1. Definizione del Problema

I recenti progressi nella manipolazione robotica general-purpose sono stati guidati da dataset di dimostrazioni su larga scala. Tuttavia, esiste una lacuna critica: i dataset esistenti sono prevalentemente raccolti in ambienti privi di esseri umani, dove il robot agisce come unico agente. Di conseguenza, le policy addestrate su tali dati, pur essendo competenti in isolamento, non riescono a esibire comportamenti consapevoli della presenza umana (human-aware) necessari in ambienti condivisi (ad es., case, fabbriche).

Nello specifico, i robot non riescono a imparare a:

Cedere il passo per evitare collisioni quando un essere umano entra nel proprio percorso.
Sincronizzarsi temporalmente e spazialmente durante la manipolazione congiunta di oggetti.
Ancorare i gesti (grounding) per interpretare l'intento umano senza istruzioni linguistiche esplicite.

Questi comportamenti mancano non perché siano difficili da apprendere, ma perché non possono essere dimostrati senza la presenza di un essere umano nella scena. Questo articolo affronta la necessità di un dataset che catturi esplicitamente le dinamiche di interazione uomo-robot (HRI).

2. Metodologia: Il Dataset HABIT

2.1 Progettazione dei Task e Ruoli

Il dataset organizza 60 task distinti in tre ruoli di interazione, definiti dalla dipendenza tra l'essere umano e il robot:

Collaboratore: L'essere umano e il robot portano a termine congiuntamente un obiettivo comune attraverso un'interazione fisica diretta (ad es., passaggio di strumenti, tenuta congiunta di oggetti). Ciò richiede una stretta sincronizzazione spazio-temporale.
Collaboratore di Lavoro (Coworker): L'essere umano e il robot perseguono compiti separati all'interno di uno spazio di lavoro condiviso senza contatto fisico diretto. La sfida principale è l'evitamento delle collisioni e la capacità di cedere il passo.
Supervisore: L'essere umano dirige il robot tramite segnali espliciti (ad es., gesti, indicare con il dito) mentre il robot inferisce l'intento solo tramite input visivi.

2.2 Protocollo di Raccolta Dati

Per garantire che i dati catturino comportamenti consapevoli dell'uomo apprendibili, gli autori hanno implementato specifici protocolli di raccolta:

Interazione Reattiva: Gli operatori (sia umano che robot) hanno il divieto di pre-eseguire sottotask basandosi sulla memoria. Devono agire solo dopo aver osservato direttamente il comportamento del proprio partner. Ciò assicura che i segnali che innescano le azioni del robot siano visibili nelle osservazioni registrate.
Elicitazione del Comportamento:
- Cedere il passo per la sicurezza: Agenti robotici sono istruiti a ritrarre decisamente le braccia se una collisione è imminente, registrando il "cedere il passo" come risposta predefinita.
- Adattamento Temporale: Le velocità di movimento umano vengono variate per evitare che il robot apprenda un ritmo fisso.
- Ancoraggio dei Gesti (Gesture Grounding): Gli operatori umani campionano tempi di attesa prima di indicare, costringendo la policy ad attendere il gesto piuttosto che agire prematuramente sulle istruzioni linguistiche.
Diversificazione: Le condizioni sono variate tra gli episodi (colori dei vestiti, ordine degli oggetti) e tra gli operatori (diversi tipi di corporatura) per supportare la generalizzazione fuori distribuzione (OOD).

2.3 Hardware e Configurazione

Robot: Due bracci Franka Research 3 con gripper Robotiq, teleoperati tramite controller Meta Quest 3.
Sensori: Cinque telecamere RGB sincronizzate:
- Tre lato robot (viste dal polso e una vista egocentrica che cattura l'umano e lo spazio di lavoro).
- Due lato umano (vista egocentrica dell'umano e una vista esocentrica dell'intero spazio di lavoro).
Scala: Il dataset comprende 10.563 episodi per un totale di 164,19 ore di manipolazione bimanuale.

3. Framework di Valutazione

Gli autori valutano le policy utilizzando un sottoinsieme di 6 task rappresentativi (2 per ruolo). Il successo è definito da tre criteri binari per ogni sottotask del robot:

Manipolazione: Corretta esecuzione fisica e stato dell'oggetto.
Conformità al Workflow: Adesione al flusso di lavoro del task, inclusi ordine, sincronizzazione e rispetto dei segnali.
Sicurezza Umana: Nessuna collisione o contatto con oggetti tenuti dall'umano.

La metrica principale è il Tasso di Successo su prove indipendenti.

4. Risultati Chiave

4.1 Tassi di Successo dei Task

Gli autori hanno perfezionato (fine-tuning) due modelli Vision-Language-Action (VLA) open-source, $\pi_0.5$ e GR00T N1.6, su HABIT e li hanno confrontati con una baseline Solo-Robot (raccolta senza un essere umano presente).

Task del Collaboratore: Le baseline Solo-Robot non sono applicabili (N/A) poiché questi task richiedono intrinsecamente un partner umano.
Task del Coworker: I modelli addestrati con HABIT hanno mostrato i maggiori guadagni (ad es., $\pi_0.5$ è passato dal 40% al 95% su Waste Sorting). Ciò evidenzia la necessità di apprendere il cedere il passo reattivo per risolvere i conflitti di percorso.
Task del Supervisore: HABIT ha fornito guadagni significativi su compiti complessi che richiedono l'ancoramento dei gesti (ad es., Food Storage), dove il linguaggio da solo era insufficiente per disambiguare i target. Su compiti più semplici (Donut Serving), le prestazioni sono comparabili al modello Solo-Robot.

4.2 Comportamenti Emergenti Consapevoli dell'Uomo

L'addestramento su HABIT ha elicitato specifici comportamenti assenti nei modelli Solo-Robot:

Sincronizzazione Spazio-Temporale: Nei task del Collaboratore, i modelli hanno imparato ad attendere i segnali umani prima di agire.
Cedere il Passo Proattivo: Nei task del Coworker, i modelli hanno evitato con successo le collisioni ritraendosi quando gli umani si avvicinavano.
Ancoraggio dei Gesti: Nei task del Supervisore, i modelli hanno imparato a interpretare i gesti di indicazione per identificare i target.

4.3 Analisi dei Fallimenti

Lo studio ha identificato modalità di fallimento specifiche per ruolo nei modelli Solo-Robot:

Collaboratore: Violazioni delle precondizioni (agire prima che l'umano sia pronto).
Coworker: Collisioni dovute alla mancanza di cedimento del passo.
Supervisore: Mancata esecuzione dei gesti.
I modelli addestrati con HABIT hanno ridotto sostanzialmente questi specifici tassi di fallimento in entrambe le architetture.

4.4 Adattamento Efficiente dei Campioni

Gli autori hanno dimostato che l'addestramento intermedio (mid-training) di un VLA su HABIT consente una rapida adattabilità a nuovi task HRI.

Quando sottoposti a fine-tuning su task a valle con dati limitati (50–200 dimostrazioni), i modelli pre-addestrati su HABIT hanno superato i modelli addestrati direttamente sui dati del task a valle.
Ad esempio, su Waste Sorting, il mid-training con HABIT con 50 dimostrazioni ha eguagliato le prestazioni del fine-tuning diretto con 200 dimostrazioni.

5. Significato e Rivendicazioni

L'articolo posiziona HABIT come un passo avanti verso modelli di fondazione per la robotica che non siano solo capaci, ma genuinamente sicuri e socialmente compatibili in ambienti abitati da esseri umani.

Nuovo Asse di Diversità: Gli autori sostengono che introdurre la "presenza umana" come dimensione della diversità del dataset sia fondamentale. Affermano che le pipeline standard di apprendimento robotico, che si affidano a dati in assenza di umani, perdono il segnale necessario per una coesistenza sicura.
Generalizzazione: I risultati suggeriscono che i comportamenti consapevoli dell'uomo (cedere il passo, sincronizzazione, ancoraggio dei gesti) sono apprendibili dai dati e trasferibili tra diverse architetture VLA.
Modestia: Gli autori riconoscono i limiti, notando che il dataset è raccolto in un singolo ambiente con una configurazione uomo-robot uno-a-uno. Non pretendono che HABIT risolva tutte le dinamiche sociali complesse o multi-agente, ma affermano che fornisce una base necessaria per l'apprendimento dei comportamenti basilari di co-presenza.

In conclusione, HABIT dimostra che l'addestramento su dati con presenza umana produce policy che non sono solo più efficaci in spazi condivisi, ma esibiscono anche comportamenti sociali emergenti che non possono essere derivati da dimostrazioni esclusivamente robotiche.