Compositional Motion Generation from Demonstration with Object-Centric Neural Fields

Sintesi Tecnica: Generazione di Movimento Composizionale da Dimostrazione con Campi Neurali Centrati sugli Oggetti

Definizione del Problema
L'Apprendimento da Dimostrazione (LfD) affronta una sfida centrale nel rappresentare comportamenti diversificati e a lungo termine partendo da un numero limitato di dimostrazioni. Trattare il movimento come una sequenza monolitica spesso trascura la struttura composizionale dei compiti, che tipicamente si sviluppano attraverso interazioni sequenziali a livello di oggetto (ad esempio, raggiungere, afferrare, posizionare). Sebbene le Primitive di Movimento (MP) offrano una rappresentazione compatta delle traiettorie, la loro composizionalità è spesso imposta manualmente e si basa su caratteristiche artigianali a bassa dimensionalità che sono difficili da stimare in modo coerente. Al contrario, l'apprendimento di caratteristiche direttamente dalle immagini richiede solitamente dataset di grandi dimensioni, sacrificando l'efficienza dei dati inerente alle MP. Inoltre, gli approoli esistenti basati su campi neurali operano spesso a livello di scena, scalando scarsamente con il numero di oggetti, o non riescono a supportare il condizionamento visivo per la generazione dell'intera traiettoria.

Metodologia
Gli autori propongono un framework generativo di LfD che connette la percezione e il movimento attraverso rappresentazioni condivise a livello di oggetto. L'approccio consiste in due fasi primarie:

1. Modellazione Composizionale della Scena (Spatial MoE):
   Il framework modella le scene utilizzando un Mixture-of-Experts (MoE) spaziale basato su campi neurali centrici sugli oggetti. Ogni immagine è renderizzata come una composizione di uno sfondo fisso e $N$ campi specifici per oggetto.

• Rappresentazione: Ogni oggetto $i$ è rappresentato da un vettore latente $z_i$ e da un MLP basato sulle coordinate ($F_i$) che predice l'aspetto. Una rete di deformazione ($\Delta_i$), condizionata da $z_i$, mappa le coordinate canoniche in coordinate deformate per catturare variazioni posizionali e geometriche.
• Addestramento: Il modello impiega una strategia di campionamento per importanza basata su maschere morbide (soft mask). Ciò assicura che ogni esperto apprenda indipendentemente senza collassare sullo stesso oggetto, anche se le maschere di input sono grossolane. L'addestramento procede in fasi: stima dello sfondo, pre-addestramento centrico sull'oggetto con un curriculum di zoom consapevole della posizione, e raffinamento composizionale congiunto.
• Rilabeling Latente: Per garantire la coerenza, gli autori definiscono un "set di angoli" $C_i$ per ogni oggetto, che rappresenta i confini delle variazioni osservate. Durante l'addestramento e l'inferenza, i vettori latenti vengono recuperati cercando le combinazioni convesse di questi angoli che meglio ricostruiscono l'immagine di input. Questo canonicalizza lo spazio latente, vincolando la generalizzazione al supporto dimostrato.

2. Generazione di Movimento Composizionale (Temporal MoE):
   Il movimento viene generato utilizzando un MoE temporale che condiziona la generazione della traiettoria sui vettori latenti degli oggetti.

• Meccanismo di Gating: Un meccanismo di gating dipendente dal tempo calcola i pesi $w_i(t)$ per ogni esperto di oggetto. Ciò consente a diversi segmenti di traiettoria di essere influenzati da sottoinsiemi differenti di oggetti (ad esempio, una fase di "presa" dipende dalla posizione dell'oggetto, mentre una fase di "posizionamento" dipende dal bersaglio).
• Condizionamento: Il framework utilizza la Modulazione Lineare per Caratteristiche (FiLM) per iniettare informazioni specifiche dell'oggetto nel generatore di traiettoria. Il segnale di condizionamento aggregato modula i parametri della rete, consentendo al modello di apprendere primitive di movimento fluide e condizionate dall'oggetto direttamente dall'input visivo.
• Ottimizzazione: Il modello minimizza la log-likelihood negativa delle traiettorie dimostrate, impiegando il dropout latente durante le prime fasi dell'addestramento per prevenire dipendenze spurie.

Contributi Chiave

• Modello di Scena Generativo Centrico sull'Oggetto: Un metodo per apprendere rappresentazioni centriche sull'oggetto fluide e interpretabili da immagini utilizzando un MoE spaziale con deformazioni condizionate dal latente.
• Gating Temporale per il Movimento: Un framework di generazione del movimento che impiega un MoE temporale per ottenere la composizionalità sequenziale, radicando il movimento nella struttura visiva pur mantenendo l'efficienza dei dati delle primitive.
• Framework LfD Efficiente nei Dati: Un sistema integrato che apprende le primitive di movimento direttamente dall'input visivo con significativamente meno dimostrazioni rispetto ai baseline basati su immagini, supportando la generalizzazione attraverso diverse configurazioni di scena.
• Validazione 3D e nel Mondo Reale: Il framework è dimostrato operare su rappresentazioni di scene 3D (tramite campi di occupanza) e generalizzare a livello di categoria utilizzando modelli di segmentazione basati sul linguaggio.

Risultati Sperimentali
Il framework è stato valutato in simulazione ed esperimenti robotici nel mondo reale:

• Simulazione: Il metodo è stato testato su quattro compiti di manipolazione (Evitamento Ostacoli, Pick-and-Place su Inclinazione, Impilamento Tazze, Impilamento Cubi) con variazioni di posizione degli oggetti e cambiamenti geometrici.
  • Efficienza dei Dati: Il metodo proposto ha raggiunto una bassa Distanza Euclidea Media (MED) e alti tassi di successo utilizzando 10–30 dimostrazioni. Ha superato costantemente i baseline (inclusi Conditional Neural Movement Primitives, Diffusion Policy e CNN-FiLM) addestrati con 3 o 10 volte più dati.
  • Ablazioni: La rimozione del gating temporale ha causato errori più elevati, confermando il valore dell'aggregazione dei latenti variabile nel tempo. L'approccio centrico sull'oggetto ha superato i baseline di caratteristiche globali (CNN-FiLM, DINO-FiLM).
• Esperimenti nel Mondo Reale:
  • Robustezza: Il sistema ha completato con successo compiti di pick-and-place con oggetti distrattori e variazioni di illuminazione.
  • Generalizzazione a Livello di Categoria: Utilizzando modelli visione-linguaggio per la segmentazione, il robot si è generalizzato a oggetti non visti all'interno della stessa categoria semantica (ad esempio, diverse tazze o palline) senza riaddestramento.
  • Generalizzazione 3D: In un compito di apertura di un cassetto, il modello ha utilizzato campi di occupanza 3D derivati da scansioni ESDF. Addestrato su sole quattro dimostrazioni, ha generalizzato con successo ad angoli di apertura del cassetto e posizioni della scatola inedite, raggiungendo una precisione di presa sub-centimetrica.

Significatività
L'articolo sostiene che la modellazione composizionale a livello di oggetto fornisca un paradigma potente per l'LfD. Accoppiando rappresentazioni neurali centriche sull'oggetto con un mixture-of-experts temporale, il framework offre una struttura latente interpretabile e una generalizzazione sistematica. La significatività risiede nella sua capacità di raggiungere alte prestazioni nei compiti con limitate dimostrazioni, colmando il divario tra l'efficienza dei dati delle primitive tradizionali e la ricchezza percettiva del deep learning. Gli autori osservano che, sebbene il metodo sia robusto a rumore moderato e distrattori, esso si basa sull'assunto che gli oggetti occupino regioni distinte e che la disposizione della scena rimanga coerente. Il lavoro futuro mira a estendere il framework per incorporare rappresentazioni di scena basate su campi di radianza neurale per una più ampia generalizzazione a livello di scena.