MOTPose: Multi-object 6D Pose Estimation for Dynamic Video Sequences using Attention-based Temporal Fusion

Technische Samenvatting: MOTPose

Probleemstelling
Modellen voor pose-estimatie op basis van enkelvoudige RGB-beelden worstelen, ondanks vooruitgang in deep learning, met rommelige en dynamische omgevingen die worden gekenmerkt door occlusies, reflecterende oppervlakken en transparantie. Hoewel het gebruik van videosequenties rijke temporele informatie biedt om deze problemen te verzachten, lijden bestaande video-gebaseerde methoden vaak aan een hoge computationele complexiteit, geheugenoverhead en de inefficiëntie van 3D-convoluties. Bovendien behandelen standaardpipelines objectdetectie en pose-estimatie vaak als afzonderlijke stadia, waardoor ze er niet in slagen de onderlinge afhankelijkheid van deze taken te benutten. De auteurs identificeren de noodzaak voor een verenigde, efficiënte aanpak die gezamenlijk multi-objectdetectie en 6D pose-estimatie uitvoert door effectief temporele informatie over videoframes heen te fuseren.

Methodologie
Het voorgestelde MOTPose-framework formuleert multi-object 6D pose-estimatie als een set-voorspellingsprobleem (set prediction problem), waarbij gebruik wordt gemaakt van een Vision Transformer-architectuur. De methode verwerkt een sequentie van monoculaire beelden om objecten gezamenlijk te detecteren en hun 6D poses (positie en oriëntatie) te schatten in een enkele forward pass.

• Architectuur: De kern van de single-frame verwerking is gebaseerd op het YOLOPose-model, dat een CNN-backbone gebruikt voor feature-extractie en een Transformer encoder-decoder structuur. De decoder genereert een vaste set van $N$ object-embeddings vanuit geleerde object queries.
• Temporele Fusie: De vernieuwende bijdrage ligt in de Temporal Embedding Fusion Module (TEFM) en de Temporal Object Fusion Module (TOFM).
  • TEFM: Fuseert object-embeddings van meerdere voorgaande tijdstappen. Het behandelt embeddings van voorgaande frames ($t_0$ tot $t_{T-1}$) als keys en values, terwijl de embedding van het huidige frame ($t_T$) dient als de query in een cross-attention mechanisme.
  • TOFM: Fuseert eveneens object-specifieke outputs (zoals keypoints en 6D pose-parameters) van voorgaande frames met behulp van cross-attention.
  • Relative Frame Encoding (RFE): Om de permutatie-invariante aard van attention-mechanismen aan te pakken, wordt RFE elementgewijs toegevoegd aan embeddings en outputs. Dit codeert de relatieve afstand in tijdstappen, waardoor het model in staat is onderscheid te maken tussen frames.
• Training en Loss: Het model wordt end-to-end getraind met behulp van een bipartite matching algoritme (het Hongarijse algoritme) om voorspellingen te koppelen aan de ground truth. De loss-functie is een gewogen som van vijf componenten: Class Probability Loss (NLL), Bounding Box Loss (GIoU + $\ell_1$), Keypoint Loss ($\ell_1$ + cross-ratio consistentie), Pose Loss ($\ell_2$ voor translatie, ShapeMatch voor rotatie), en een Temporal Consistency Loss ($\ell_2$) om een vloeiende evolutie van object-embeddings over frames heen te waarborgen.

Belangrijkste Bijdragen

1. MOTPose Model: Een multi-object pose-estimatiemodel dat specifiek is ontworpen voor dynamische videosequenties en gezamenlijke detectie en pose-estimatie in één enkele fase uitvoert.
2. Cross-Attention Temporele Fusie: Een nieuw mechanisme (TEFM en TOFM) dat object-embeddings en specifieke outputs aggregeert over meerdere tijdstappen met behulp van cross-attention, versterkt door Relative Frame Encoding.
3. SynPick-Ext Dataset: Een uitgebreide versie van de fysiek realistische SynPick dataset, waarbij 300 videosequenties zijn toegevoegd voor elke actie-split (move, targeted pick, untargeted pick) om de training van transformer-gebaseerde modellen te ondersteunen die grote hoeveelheden data vereisen.
4. Kwantitatieve Evaluatie: Uitgebreide evaluatie op de SynPick en YCB-Video datasets, die verbeteringen laten zien in zowel de pose-estimatie als de objectdetectie-nauwkeurigheid.

Resultaten
De auteurs hebben MOTPose geëvalueerd op de SynPick dataset (cluttered bin-picking) en de YCB-Video dataset.

• SynPick Prestaties: Met temporele fusie bereikte MOTPose een AUC van ADD-S van 82.0 en een AUC van ADD(-S) van 77.1, wat een verbetering betekent van respectievelijk 1.2 en 2.9 punten ten opzichte van het model zonder temporele fusie. De methode verminderde ook de cardinaliteitsfout aanzienlijk (van 2.06 naar 0.53) en de false negative detectie-ratio's (van 1.79 naar 0.48).
• YCB-Video Prestaties: Op YCB-Video bereikte het model een AUC van ADD-S van 91.2 en een AUC van ADD(-S) van 84.5. Dit presteerde beter dan de single-frame baseline en was competitief met state-of-the-art methoden zoals DeepIM-Tracking en Periyasamy et al., terwijl het met een hogere framerate (30 fps) opereert vergeleken met sommige zwaardere tracking-methoden.
• Ablatie-studies: Het verwijderen van de TEFM-module veroorzaakte een aanzienlijke daling in prestaties (AUC van ADD(-S) daalde naar 74.9), wat het belang van het fuseren van object-embeddings bevestigt. Het gebruik van 8 tijdstappen ($T=8$) leverde de beste algehele prestaties op.

Significantie en Claims
Het artikel claimt dat MOTPose succesvol de uitdagingen van rommelige, dynamische omgevingen aanpakt door temporele informatie te benutten via een efficiënt attention-gebaseerd mechanisme. De auteurs benadrukken dat hun aanpak:

• Nauwkeurigheid Verbetert: Temporele fusie faciliteert betere pose-voorspelling en objectdetectie, met name in scenario's met occlusie en objectinteractie.
• Efficiëntie Verhoogt: In tegenstelling tot methoden die vertrouwen op 3D-convoluties of complexe tracking-by-attention frameworks met dynamische query-sets, gebruikt MOTPose een vaste set object queries en cross-attention fusie, wat resulteert in een lichter en sneller model (30 fps) vergeleken met andere pose tracking methoden.
• Verenigde Taak: Door detectie en pose-estimatie te behandelen als een enkel set-voorspellingsprobleem, vermijdt het model de foutpropagatie en de computationele overhead van multi-stage pipelines.

De auteurs concluderen dat hoewel hun set-voorspellingsformulering 6D pose-annotaties voor alle objecten vereist (een beperking vergeleken met datasets met gedeeltelijke annotatie), de voorgestelde methode een robuuste, real-time oplossing biedt voor multi-object manipulatietaken in de robotica.