Riepilogo Tecnico: Politica di Behavior Prompting (BPP)

Definizione del Problema

Insegnare nuove abilità ai robot richiede tradizionalmente un addestramento esaustivo o un fine-tuning per ogni specifico compito, il che è inefficiente e limita la rapida implementazione. Sebbene i grandi modelli linguistici abbiano dimostrato successo nell'apprendimento in-context (adattarsi a nuovi compiti tramite pochi esempi few-shot al tempo di test), la robotica è rimasta indietro nel raggiungere capacità simili per la manipolazione. Gli approcci esistenti spesso si affidano a descrizioni linguistiche o immagini di obiettivo, che possono fornire informazioni incomplete riguardo l'esecuzione spaziale e temporale specifica richiesta per un compito. Inoltre, molti metodi di apprendimento few-shot nella robotica si basano sul meta-learning con aggiornamenti del gradiente o trasformazioni spaziali esplicite, che potrebbero non scalare bene verso distribuzioni di compiti ad alta diversità.

Gli autori propongono il Behavior Prompting, un paradigma in cui un robot esegue un nuovo compito al tempo di inferenza ricevendo un singolo esempio umano (il "behavior prompt"). Questo prompt consiste in osservazioni, propriocezione e azioni nello spazio sensomotorio del robot, definendo simultaneamente il compito e fornendo un esempio concreto di come eseguirlo.

Metodologia

1. Behavior Prompting Policy (BPP)

Il contributo algoritmico principale è la Behavior Prompting Policy (BPP), un'architettura visuomotoria in-context progettata per tradurre un behavior prompt e l'osservazione corrente in azioni del robot. L'architettura comprende tre componenti principali:

• Chunking e Embedding del Prompt: Il behavior prompt (una sequenza di osservazioni, propriocezione e azioni) viene temporaneamente sottocampionato (tipicamente a 1Hz) per efficienza. La sequenza è divisa in "chunk", dove ogni chunk contiene un istante temporale di osservazione ($o$) e propriocezione ($q$), insieme alla sequenza di azioni ($a$) che conduce al chunk successivo. Un meccanismo di Attention Pooling fonde $\{o, q, a\}$ in un singolo embedding di chunk ($p_i$).
• Prompt Encoder: Questo è un decoder transformer che estrae informazioni rilevanti dalla sequenza del prompt ($P = [p_0, \dots, p_n]$ condizionato dall'osservazione corrente. L'osservazione corrente viene tokenizzata ed elaborata tramite cross-attention con gli embedding dei chunk del prompt. Ciò consente al modello di identificare corrispondenze temporali e differenze spaziali tra la dimostrazione del prompt e l'ambiente corrente.
• Action Decoder: L'informazione estratta dal prompt, concatenata con l'osservazione corrente e un timestep di diffusione, viene inviata a un Modello di Diffusione (specificamente un'architettura basata su CNN con condizionamento FiLM). Il decoder esegue iterativamente il denoising per generare azioni a ciclo chiuso.

Strategia di Addestramento: BPP è addestrato utilizzando il classico behavior cloning su dataset di apprendimento imitativo multi-task. Per ogni step di addestramento, viene campionato un singolo esempio come prompt, e un batch di osservazioni a orizzonte recedente e azioni future viene campionato da altre dimostrazioni dello stesso compito. Fondamentalmente, non viene imposta alcuna corrispondenza spaziale o temporale esplicita tra il prompt e il batch di addestramento; il modello impara end-to-end come sfruttare il prompt.

2. Interfaccia iPhUMI

Per affrontare i requisiti di dati per il behavior prompting, gli autori introducono iPhUMI, un'interfaccia di manipolazione portatile. Adattata dal gripper UMI, sostituisce la GoPro con un iPhone 15 Pro. Caratteristiche chiave includono:

• Localizzazione Istantanea: Utilizza ARKit on-device per lo SLAM in tempo reale, eliminando la necessità di una mappatura laboriosa dell'ambiente.
• Prompting Wireless: Permette a un operatore umano di trasmettere wireless i behavior prompt a una workstation, consentendo il condizionamento immediato della policy al tempo di test per nuovi compiti.

Valutazione e Benchmark

Gli autori introducono due nuovi benchmark per valutare l'adattamento al tempo di test, concentrandosi sulla diversità del compito piuttosto che sulla complessità del singolo compito:

1. DrawAnything: Un ambiente di disegno (simulato e reale) che richiede un adattamento delle azioni continuo e fine-grained.
   • Sim: Addestrato su 2.000 compiti generati proceduralmente; testato su 50 disegni umani mai visti.
   • Real: Utilizza un braccio robotico ARX con una telecamera sul polso (iPhone). Addestrato su 1.000 compiti; testato su 10 compiti mai visti.
2. LIBERO-Gen: Un'estensione del benchmark di manipolazione LIBERO con significativamente più compiti.
   • Combination: Estende 10 compiti a 174, testando la capacità di scegliere uno tra due ciotole identiche e posizionarlo in uno tra nove posizioni.
   • Chain: Estende 10 compiti a 321, testando interazioni sequenziali in due fasi (es. aprire un cassetto, poi posizionare un oggetto).

Risultati Chiave

• Adattamento Superiore: Sui compiti di disegno non visti (DrawAnything-Sim), BPP ha ottenuto una riduzione dell'errore dell'80,7% rispetto a un baseline di tipo Goal-Image e una riduzione del 33,3% rispetto a ICRT (un precedente modello di behavior prompt).
• Robustezza alla Complessità: Nei benchmark LIBERO-Gen, BPP ha superato i baseline (Goal-Image, Language e ICRT) e ha pareggiato $\pi_0.5$ (un modello VLA foundation con 100K passi di fine-tuning LoRA), nonostante BPP non abbia pre-addestramento foundation.
• Meccanismo di Attenzione: La visualizzazione dell'attenzione del prompt encoder (Fig. 5) rivela che BPP traccia efficacemente la progressione del compito. Per compiti continui (disegno), l'attenzione segue da vicino il prompt; per compiti discreti (LIBERO), l'attenzione traccia i "milestone" (es. il prossimo oggetto con cui interagire).
• Requisiti di Dati: Le ablazioni sistematiche hanno mostrato che la diversità del compito è il principale motore della capacità di prompting. Raccogliere meno dimostrazioni per compito attraverso un numero maggiore di compiti distinti produce un migliore adattamento al tempo di test rispetto a molte dimostrazioni per pochi compiti.

Significato e Rivendicazioni

Il paper sostiene che il behavior prompting fornisce un modo flessibile e scalabile per insegnare nuovi compiti ai robot senza costoso fine-tuning. Sfruttando un singolo esempio umano come prompt, gli utenti possono specificare compiti o definire nuove capacità del robot "al volo".

Gli autori sottolineano che:

1. I prompt sensomotori sono più espressivi del linguaggio o delle immagini di obiettivo per compiti che richiedono specifiche strategie spaziali-temporali o comportamenti di basso livello.
2. La diversità del compito nei dati di addestramento è critica per abilitare l'adattamento zero-shot a compiti non visti.
3. iPhUMI funge da interfaccia pratica sia per la raccolta di dati di addestramento diversificati, sia per specificare i behavior prompt al tempo di test, colmando il divario tra l'intento umano e l'esecuzione del robot.

Il lavoro posiziona il behavior prompting come un passo verso la possibilità per i robot di adattare la conoscenza di pre-addestramento a nuovi ambienti (es. una casa specifica) attraverso un singolo esempio, semplificando il problema dell'adattamento fornendo informazioni ricche sull'ambiente target e sulla strategia di manipolazione desiderata.