MOTPose: Multi-object 6D Pose Estimation for Dynamic Video Sequences using Attention-based Temporal Fusion

Riepilogo Tecnico: MOTPose

Problematica
I modelli di stima della posa RGB a singola vista, nonostante i progressi del deep learning, faticano in ambienti disordinati e dinamici caratterizzati da occlusioni, superfici riflettenti e trasparenza. Sebbene l'utilizzo di sequenze video offra ricche informazioni temporali per mitigare questi problemi, i metodi esistenti basati su video soffrono spesso di un'elevata complessità computazionale, overhead di memoria e dell'inefficienza delle convoluzioni 3D. Inoltre, le pipeline standard trattano spesso il rilevamento degli oggetti e la stima della posa come fasi separate, non riuscendo a sfruttare la natura co-dipendente di questi compiti. Gli autori identificano la necessità di un approccio unificato ed efficiente che esegua congiuntamente il rilevamento multi-oggetto e la stima della posa 6D mediante la fusione efficace delle informazioni temporali attraverso le sequenze video.

Metodologia
Il framework proposto MOTPose formula la stima della posa 6D multi-oggetto come un problema di predizione di un insieme (set prediction), sfruttando un'architettura Vision Transformer. Il metodo elabora una sequenza di immagini monoculari per rilevare congiuntamente gli oggetti e stimarne le pose 6D (posizione e orientamento) in un unico passaggio in avanti (forward pass).

• Architettura: L'elaborazione centrale del singolo frame si basa sul modello YOLOPose, utilizzando un backbone CNN per l'estrazione delle caratteristiche e una struttura encoder-decoder Transformer. Il decoder genera un insieme fisso di $N$ embedding di oggetti a partire da query di oggetto apprese.
• Fusione Temporale: Il contributo innovativo risiede nel Modulo di Fusione dell'Embedding Temporale (TEFM) e nel Modulo di Fusione dell'Oggetto Temporale (TOFM).
  • TEFM: Fonde gli embedding degli oggetti provenienti da molteplici passi temporali passati. Tratta gli embedding dei frame precedenti ($t_0$ a $t_{T-1}$) come chiavi (keys) e valori (values), mentre l'embedding del frame corrente ($t_T$) funge da query in un meccanismo di cross-attention.
  • TOFM: Similmente, fonde gli output specifici dell'oggetto (come keypoints e parametri della posa 6D) dai frame precedenti utilizzando la cross-attention.
  • Codifica del Frame Relativo (RFE): Per affrontare la natura invariante alla permutazione dei meccanismi di attenzione, la RFE viene aggiunta elemento per elemento agli embedding e agli output. Questo codifica la distanza del passo temporale relativo, permettendo al modello di distinguere tra i frame.
• Addestramento e Loss: Il modello è addestrato end-to-end utilizzando un algoritmo di matching bipartito (algoritmo di Hungarian) per associare le predizioni alla verità di base (ground truth). La funzione di perdita è una somma pesata di cinque componenti: Class Probability Loss (NLL), Bounding Box Loss (GIoU + $\ell_1$), Keypoint Loss ($\ell_1$ + coerenza del cross-ratio), Pose Loss ($\ell_2$ per la traslazione, ShapeMatch per la rotazione) e una Temporal Consistency Loss ($\ell_2$) per garantire un'evoluzione fluida degli embedding degli oggetti attraverso i frame.

Contributi Chiave

1. Modello MOTPose: Un modello di stima della posa multi-oggetto progettato specificamente per sequenze video dinamiche che esegue il rilevamento e la stima della posa congiuntamente in un unico stadio.
2. Fusione Temporale tramite Cross-Attention: Un meccanismo innovativo (TEFM e TOFM) che aggrega gli embedding degli oggetti e gli output specifici su più passi temporali tramite cross-attention, potenziato dalla Relative Frame Encoding.
3. Dataset SynPick-Ext: Una versione estesa del dataset fisicamente realistico SynPick, che aggiunge 300 sequenze video per ogni divisione di azione (move, targeted pick, untargeted pick) per supportare l'addestramento di modelli basati su transformer che richiedono grandi volumi di dati.
4. Valutazione Quantitativa: Valutazione completa sui dataset SynPick e YCB-Video, che dimostra miglioramenti sia nell'accuratezza della stima della posa che nel rilevamento degli oggetti.

Risultati
Gli autori hanno valutato MOTPose sul dataset SynPick (bin-picking disordinato) e sul dataset YCB-Video.

• Prestazioni di SynPick: Con la fusione temporale, MOTPose ha raggiunto un AUC di ADD-S di 82.0 e un AUC di ADD(-S) di 77.1, rappresentando rispettivamente miglioramenti di 1.2 e 2.9 punti rispetto al modello senza fusione temporale. Il metodo ha anche ridotto significativamente l'errore di cardinalità (da 2.06 a 0.53) e i tassi di falsi negativi nel rilevamento (da 1.79 a 0.48).
• Prestazioni di YCB-Video: Su YCB-Video, il modello ha ottenuto un AUC di ADD-S di 91.2 e un AUC di ADD(-S) di 84.5. Questo ha superato il baseline a singolo frame ed è stato competitivo con metodi allo stato dell'arte come DeepIM-Tracking e Periyasamy et al., operando a una frequenza di fotogrammi superiore (30 fps) rispetto ad alcuni metodi di tracking più pesanti.
• Studi di Ablazione: La rimozione del modulo TEFM ha causato un calo significativo delle prestazioni (l'AUC di ADD(-S) è sceso a 74.9), confermando l'importanza di fondere gli embedding degli oggetti. L'utilizzo di 8 passi temporali ($T=8$) ha prodotto le migliori prestazioni complessive.

Significatività e Rivendicazioni
L'articolo sostiene che MOTPose affronti con successo le sfide degli ambienti disordinati e dinamici sfruttando le informazioni temporali attraverso un efficiente meccanismo basato sull'attenzione. Gli autori sottolineano che il loro approccio:

• Migliora l'Accuratezza: La fusione temporale facilita una migliore predizione della posa e il rilevamento degli oggetti, in particolare in scenari di occlusione e interazione tra oggetti.
• Aumenta l'Efficienza: A differenza dei metodi che si affidano a convoluzioni 3D o complessi framework di tracking-by-attention con set di query dinamici, MOTPose utilizza un insieme fisso di query di oggetto e la fusione tramite cross-attention, risultando in un modello più leggero e veloce (30 fps) rispetto ad altri metodi di tracking della posa.
• Task Unificato: Trattando il rilevamento e la stima della posa come un singolo problema di set prediction, il modello evita la propagazione dell'errore e l'overhead computazionale delle pipeline multi-stadio.

Gli autori concludono che, sebbene la loro formulazione di set-prediction richieda annotazioni della posa 6D per tutti gli oggetti (un limite rispetto ai dataset con annotazione parziale), il metodo proposto offre una soluzione robusta e in tempo reale per compiti di manipolazione multi-oggetto nella robotica.