M2R2: MultiModal Robotic Representation for Temporal Action Segmentation

1. Enunciato del Problema

La Segmentazione Temporale delle Azioni (TAS) consiste nell'identificare i confini temporali tra le azioni in dati non tagliati e nell'assegnare etichette a ciascun segmento. Sebbene cruciale per la robotica (ad esempio, per l'apprendimento di politiche di movimento, la comprensione delle precondizioni) e per la visione artificiale (ad esempio, la documentazione medica), gli approcci attuali affrontano limitazioni significative:

• Limitazioni Robotiche: La TAS robotica tradizionale si basa pesantemente su dati propriocettivi (forze, coppie, posizioni delle giunzioni). Questi metodi utilizzano spesso euristiche manuali o librerie di abilità predefinite, richiedendo un'estesa regolazione degli iperparametri e mancando di generalizzazione.
• Limitazioni Visive: Gli approcci di visione artificiale si basano su sensori esterocettivi (telecamere). Sebbene potenti, faticano in scenari con occlusioni o oggetti visivamente simili (ad esempio, distinguere perni che differiscono di pochi millimetri), comuni nei compiti di assemblaggio.
• Rigidità Architettonica: I modelli esistenti di TAS robotica multimodale sono tipicamente end-to-end, fondendo le caratteristiche ed eseguendo la segmentazione all'interno di un singolo modello. Ciò rende difficile riutilizzare le caratteristiche apprese tra diverse architetture TAS o adattarsi a nuove testine di segmentazione all'avanguardia.

2. Metodologia: M2R2

Gli autori propongono M2R2 (MultiModal Robotic Representation), un framework modulare che disaccoppia l'estrazione di caratteristiche multimodali dal modello TAS.

A. Modalità di Input

M2R2 fonde dati provenienti da sensori propriocettivi ed esteroceettivi:

• Eterocezione: Video RGB (visivo) e Audio.
• Propriocettione: Posizione e twist dell'effettore finale, larghezza della pinza e misurazioni di forza/coppia.

B. Architettura

Il sistema segue una strategia di fusione tardiva utilizzando un'architettura basata su Transformer:

1. Encoder Specifici per Modalità:
   • Visione: Utilizza ActionCLIP (un Visual Transformer) per estrarre caratteristiche delle immagini.
   • Audio: Utilizza il Audio Spectrogram Transformer (AST) per estrarre caratteristiche dagli spettrogrammi log-mel.
   • Propriocettione: I dati grezzi dei sensori vengono campionati verso l'alto tramite proiezione lineare e incorporati con embedding temporali apprendibili per corrispondere alla dimensione delle caratteristiche.
2. Modulo di Fusione:
   • Le caratteristiche da tutte le modalità vengono impilate in una sequenza di token.
   • Un Encoder Transformer ad Auto-attenzione scambia informazioni tra le modalità.
   • Un MLP fonde i token aggiornati in un singolo vettore multimodale ($x_i$) per ogni passo temporale.
3. Modularità: Le caratteristiche risultanti sono generiche e possono essere inserite in qualsiasi modello TAS esistente (ad esempio, MSTCN, ASRF, DiffAct).

C. Strategia di Addestramento

Gli autori introducono una strategia di addestramento innovativa per garantire che le caratteristiche catturino l'ordine temporale e i confini:

• Campionamento dei Dati: Vengono campionati brevi finestre contenenti 3 azioni consecutive con riempimento per includere il contesto.
• Obiettivi di Doppia Perdita:
  1. Perdita di Ordine dell'Azione ($L_{action}$): Ispirata a Br-Prompt, il modello massimizza la somiglianza tra la rappresentazione della finestra e un embedding testuale che descrive la sequenza di azioni (ad esempio, "Prima afferra, poi inserisci"). Ciò impone l'apprendimento delle dipendenze temporali.
  2. Perdita di Regressione del Confine ($L_{boundary}$): Una Rete di Regressione del Confine prevede la probabilità che un fotogramma sia un confine. Il modello minimizza l'Errore Quadratico Medio (MSE) tra i confini previsti e i confini reali lisciati.
• Post-Addestramento: Dopo l'addestramento, il Transformer di Fusione, la Rete dei Confini e il Codificatore di Testo vengono scartati. Rimane solo l'estrattore di caratteristiche per generare input per i modelli TAS a valle.

3. Contributi Chiave

1. Estrattore di Caratteristiche M2R2: Un estrattore multimodale basato sul deep learning, progettato per la TAS robotica, che combina dati propriocettivi ed esteroceettivi.
2. Strategia di Addestramento Modulare: Un metodo che consente il riutilizzo delle caratteristiche apprese tra diverse architetture TAS, superando la rigidità dei modelli multimodali end-to-end.
3. Ablazione Completa: Un'estesa valutazione che analizza il contributo specifico di visione, audio e vari sensori propriocettivi (pinza, forza/coppia, posizione) alle prestazioni di segmentazione.

4. Risultati Sperimentali

Il metodo è stato valutato su tre dataset: REASSEMBLE (assemblaggio/disassemblaggio), (Im)PerfectPour (bartending) e JIGSAWS (gesti chirurgici).

• Prestazioni all'Avanguardia:
  • Su REASSEMBLE, M2R2 combinato con il modello ASRF ha raggiunto un punteggio F1@50 del 82,4%, superando significativamente le baseline solo visive (che hanno ottenuto ~8,4%) e i metodi propriocettivi non supervisionati (che hanno ottenuto ~35,8%).
  • Su (Im)PerfectPour, le caratteristiche M2R2 addestrate su REASSEMBLE hanno generalizzato bene, superando le baseline solo visive del 16,1% in F1@50.
  • Su JIGSAWS, M2R2 ha raggiunto un F1@50 del 89,4% e un punteggio EDIT del 91,7%, superando i precedenti approcci multimodali end-to-end.
• Robustezza:
  • I modelli solo visivi hanno spesso confuso oggetti di aspetto simile. M2R2 ha risolto queste ambiguità sfruttando segnali propriocettivi (ad esempio, cambiamenti di forza durante il contatto).
  • I metodi euristici tendevano a sovrasegmentare durante rapidi cambiamenti dei sensori; M2R2 ha imparato a ignorare il rumore locale identificando al contempo i veri confini.
• Insight dell'Ablazione:
  • La propriocettione è critica: Sebbene la visione da sola abbia prestazioni scarse, la propriocettione da sola ha raggiunto alte prestazioni (75,4% F1@50) su REASSEMBLE, sebbene la combinazione di tutte le modalità abbia prodotto i migliori risultati.
  • Larghezza della Pinza: La rimozione dei dati della pinza ha causato il calo di prestazioni più significativo, evidenziandone l'importanza per distinguere le dimensioni degli oggetti.
  • Audio: Ha migliorato il rilevamento dei confini (Tasso di Rilevamento) ma è stato insufficiente per l'identificazione degli oggetti da solo.

5. Significato

• Colmare il Divario: M2R2 colma con successo il divario tra visione artificiale (che eccelle nella comprensione semantica) e robotica (che si basa su dati di interazione fisica), creando una rappresentazione robusta per compiti di manipolazione complessi.
• Riutilizzabilità e Flessibilità: Disaccoppiando l'estrazione di caratteristiche dalla testina di segmentazione, M2R2 consente ai ricercatori di integrare nuovi modelli TAS migliorati senza riaddestrare l'intera pipeline multimodale.
• Generalizzazione: Il framework dimostra una forte trasferibilità tra diversi domini di compiti (assemblaggio vs. bartending vs. chirurgia) e incarnazioni robotiche, suggerendo una strada verso sistemi di apprendimento robotico più adattabili.
• Impatto Pratico: La capacità di distinguere oggetti visivamente simili utilizzando dati multimodali è cruciale per compiti ad alta precisione come l'assemblaggio, dove l'occlusione visiva è comune.