MOTPose: Multi-object 6D Pose Estimation for Dynamic Video Sequences using Attention-based Temporal Fusion

Resumen Técnico: MOTPose

Planteamiento del Problema
Los modelos de estimación de pose RGB de una sola vista, a pesar de los avances en el aprendizaje profundo, tienen dificultades en entornos desordenados y dinámicos caracterizados por oclusiones, superficies reflectantes y transparencia. Si bien la utilización de secuencias de video ofrece información temporal rica para mitigar estos problemas, los métodos basados en video existentes suelen sufrir de alta complejidad computacional, sobrecarga de memoria y la ineficiencia de las convoluciones 3D. Además, los procesos estándar suelen tratar la detección de objetos y la estimación de la pose como etapas separadas, sin aprovechar la naturaleza codependiente de estas tareas. Los autores identifican la necesidad de un enfoque unificado y eficiente que realice conjuntamente la detección de múltiples objetos y la estimación de la pose 6D mediante la fusión efectiva de la información temporal a través de los fotogramas del video.

Metodología
El marco propuesto MOTPose formula la estimación de la pose 6D de múltiples objetos como un problema de predicción de conjuntos, aprovechando una arquitectura de Vision Transformer. El método procesa una secuencia de imágenes monoculares para detectar objetos y estimar conjuntamente sus poses 6D (posición y orientación) en una sola pasada hacia adelante (forward pass).

• Arquitectura: El procesamiento central de un solo fotograma se basa en el modelo YOLOPose, utilizando un backbone CNN para la extracción de características y una estructura de codificador-decodificador Transformer. El decodificador genera un conjunto fijo de $N$ incrustaciones (embeddings) de objetos a partir de consultas de objetos aprendidas.
• Fusión Temporal: La contribución novedosa reside en el Módulo de Fusión de Incrustaciones Temporales (TEFM) y el Módulo de Fusión de Objetos Temporales (TOFM).
  • TEFM: Fusiona las incrustaciones de objetos de múltiples pasos de tiempo pasados. Trata las incrustaciones de fotogramas anteriores ($t_0$ a $t_{T-1}$) como claves (keys) y valores (values), mientras que la incrustación del fotograma actual ($t_T$) actúa como la consulta (query) en un mecanismo de atención cruzada.
  • TOFM: De manera similar, fusiona salidas específicas de objetos (como puntos clave y parámetros de pose 6D) de fotogramas anteriores utilizando atención cruzada.
  • Codificación de Fotogramas Relativos (RFE): Para abordar la naturaleza invariante a la permutación de los mecanismos de atención, se añade RFE elemento a elemento a las incrustaciones y salidas. Esto codifica la distancia del paso de tiempo relativo, permitiendo al modelo distinguir entre fotogramas.
• Entrenamiento y Pérdida: El modelo se entrena de extremo a extremo utilizando un algoritmo de emparejamiento bipartito (algoritmo húngaro) para asociar las predicciones con la verdad de campo (ground truth). La función de pérdida es una suma ponderada de cinco componentes: Pérdida de Probabilidad de Clase (NLL), Pérdida de Caja Delimitadora (GIoU + $\ell_1$), Pérdida de Puntos Clave ($\ell_1$ + consistencia de la razón cruzada), Pérdida de Pose ($\ell_2$ para traslación, ShapeMatch para rotación) y una Pérdida de Consistencia Temporal ($\ell_2$) para asegurar la evolución suave de las incrustaciones de los objetos a través de los fotogramas.

Contribuciones Clave

1. Modelo MOTPose: Un modelo de estimación de pose multi-objeto diseñado específicamente para secuencias de video dinámicas que realiza la detección y la estimación de pose de forma conjunta en una sola etapa.
2. Fusión Temporal mediante Atención Cruzada: Un mecanismo novedoso (TEFM y TOFM) que agrega incrustaciones de objetos y salidas específicas a lo largo de múltiples pasos de tiempo mediante atención cruzada, mejorado por la Codificación de Fotogramas Relativos.
3. Dataset SynPick-Ext: Una versión extendida del dataset físicamente realista SynPick, que añade 300 secuencias de video para cada división de acción (move, targeted pick, untargeted pick) para soportar el entrenamiento de modelos basados en transformers que requieren grandes volúmenes de datos.
4. Evaluación Cuantitativa: Evaluación exhaustiva en los datasets SynPick y YCB-Video, demostrando mejoras tanto en la precisión de la estimación de la pose como en la detección de objetos.

Resultados
Los autores evaluaron MOTPose en el dataset SynPick (recolección de objetos en contenedores desordenados) y en el dataset YCB-Video.

• Desempeño en SynPick: Con la fusión temporal, MOTPose logró un AUC de ADD-S de 82.0 y un AUC de ADD(-S) de 77.1, representando mejoras de 1.2 y 2.9 puntos, respectivamente, sobre el modelo sin fusión temporal. El método también redujo significativamente el error de cardinalidad (de 2.06 a 0.53) y las tasas de detección de falsos negativos (de 1.79 a 0.48).
• Desempeño en YCB-Video: En YCB-Video, el modelo alcanzó un AUC de ADD-S de 91.2 y un AUC de ADD(-S) de 84.5. Esto superó al baseline de un solo fotograma y fue competitivo con métodos de vanguardia como DeepIM-Tracking y Periyasamy et al., operando a una tasa de fotogramas más alta (30 fps) en comparación con algunos métodos de seguimiento más pesados.
• Estudios de Ablación: Eliminar el módulo TEFM causó una caída significativa en el desempeño (el AUC de ADD(-S) cayó a 74.9), confirmando la importancia de fusionar las incrustaciones de los objetos. El uso de 8 pasos de tiempo ($T=8$) produjo el mejor desempeño general.

Significancia y Reivindicaciones
El artículo afirma que MOTPose aborda con éxito los desafíos de los entornos desordenados y dinámicos mediante el aprovechamiento de la información temporal a través de un mecanismo eficiente basado en atención. Los autores enfatizan que su enfoque:

• Mejora la Precisión: La fusión temporal facilita una mejor predicción de la pose y detección de objetos, particularmente en escenarios con oclusión e interacción de objetos.
• Mejora la Eficiencia: A diferencia de los métodos que dependen de convoluciones 3D o marcos complejos de seguimiento por atención con conjuntos de consultas dinámicos, MOTPose utiliza un conjunto fijo de consultas de objetos y fusión de atención cruzada, lo que resulta en un modelo más ligero y rápido (30 fps) en comparación con otros métodos de seguimiento de pose.
• Tarea Unificada: Al tratar la detección y la estimación de la pose como un único problema de predicción de conjuntos, el modelo evita la propagación de errores y la sobrecarga computacional de los procesos de múltiples etapas.

Los autores concluyen que, si bien su formulación de predicción de conjuntos requiere anotaciones de pose 6D para todos los objetos (una limitación en comparación con los datasets de anotación parcial), el método propuesto ofrece una solución robusta y en tiempo real para tareas de manipulación multi-objeto en robótica.