MOTPose: Multi-object 6D Pose Estimation for Dynamic Video Sequences using Attention-based Temporal Fusion

Resumo Técnico: MOTPose

Definição do Problema
Modelos de estimativa de pose RGB de visão única, apesar dos avanços no aprendizado profundo, enfrentam dificuldades em ambientes desordenados e dinâmicos caracterizados por oclusões, superfícies reflexivas e transparência. Embora a utilização de sequências de vídeo ofereça informações temporais ricas para mitigar esses problemas, os métodos baseados em vídeo existentes frequentemente sofrem com alta complexidade computacional, sobrecarga de memória e a ineficiência das convoluções 3D. Além disso, os pipelines padrão costumam tratar a detecção de objetos e a estimativa de pose como estágios separados, falhando em aproveitar a natureza codependente dessas tarefas. Os autores identificam a necessidade de uma abordagem unificada e eficiente que realize conjuntamente a detecção de múltiplos objetos e a estimativa de pose 6D através da fusão eficaz de informações temporais entre os quadros de vídeo.

Metodologia
O framework proposto MOTPose formula a estimativa de pose 6D de múltiplos objetos como um problema de predição de conjunto, aproveitando uma arquitetura de Vision Transformer. O método processa uma sequência de imagens monoculares para detectar objetos e estimar suas poses 6D (posição e orientação) em uma única passagem direta (forward pass).

• Arquitetura: O processamento central de quadro único é baseado no modelo YOLOPose, utilizando um backbone CNN para extração de características e uma estrutura de codificador-decodificador Transformer. O decodificador gera um conjunto fixo de $N$ embeddings de objetos a partir de consultas de objetos (object queries) aprendidas.
• Fusão Temporal: A contribuição inovadora reside no Módulo de Fusão de Embedding Temporal (TEFM) e no Módulo de Fusão de Objeto Temporal (TOFM).
  • TEFM: Funde embeddings de objetos de múltiplos passos de tempo passados. Ele trata os embeddings de quadros anteriores ($t_0$ a $t_{T-1}$) como chaves (keys) e valores (values), enquanto o embedding do quadro atual ($t_T$) serve como a consulta (query) em um mecanismo de atenção cruzada (cross-attention).
  • TOFM: De forma semelhante, funde saídas específicas de objetos (como pontos-chave e parâmetros de pose 6D) de quadros anteriores usando atenção cruzada.
  • Codificação de Quadro Relativo (RFE): Para abordar a natureza invariante à permutação dos mecanismos de atenção, o RFE é adicionado elemento a elemento aos embeddings e saídas. Isso codifica a distância do passo de tempo relativo, permitindo que o modelo distinga entre os quadros.
• Treinamento e Perda: O modelo é treinado de ponta a ponta usando um algoritmo de correspondência bipartida (algoritmo de Hungarian) para associar predições com a verdade fundamental (ground truth). A função de perda é uma soma ponderada de cinco componentes: Perda de Probabilidade de Classe (NLL), Perda de Caixa Delimitadora (GIoU + $\ell_1$), Perda de Pontos-Chave ($\ell_1$ + consistência de razão cruzada), Perda de Pose ($\ell_2$ para translação, ShapeMatch para rotação) e uma Perda de Consistência Temporal ($\ell_2$) para garantir a evolução suave dos embeddings de objetos ao longo dos quadros.

Principais Contribuições

1. Modelo MOTPose: Um modelo de estimativa de pose multi-objeto projetado especificamente para sequências de vídeo dinâmicas que realiza detecção e estimativa de pose de forma conjunta em um único estágio.
2. Fusão Temporal via Atenção Cruzada: Um mecanismo inovador (TEFM e TOFM) que agrega embeddings de objetos e saídas específicas ao longo de múltiplos passos de tempo usando atenção cruzada, potencializado pela Codificação de Quadro Relativo.
3. Dataset SynPick-Ext: Uma versão estendida do dataset fisicamente realista SynPick, adicionando 300 sequências de vídeo para cada divisão de ação (mover, coleta direcionada, coleta não direcionada) para suportar o treinamento de modelos baseados em transformer que exigem grandes volumes de dados.
4. Avaliação Quantitativa: Avaliação abrangente nos datasets SynPick e YCB-Video, demonstrando melhorias tanto na precisão da estimativa de pose quanto na detecção de objetos.

Resultos
Os autores avaliaram o MOTPose no dataset SynPick (coleta de peças em caixas desordenadas) e no dataset YCB-Video.

• Desempenho no SynPick: Com a fusão temporal, o MOTPose alcançou um AUC de ADD-S de 82,0 e um AUC de ADD(-S) de 77,1, representando melhorias de 1,2 e 2,9 pontos, respectivamente, sobre o modelo sem fusão temporal. O método também reduziu significativamente o erro de cardinalidade (de 2,06 para 0,53) e as taxas de detecção de falsos negativos (de 1,79 para 0,48).
• Desempenho no YCB-Video: No YCB-Video, o modelo alcançou um AUC de ADD-S de 91,2 e um AUC de ADD(-S) de 84,5. Isso superou o baseline de quadro único e foi competitivo com métodos de estado da arte como DeepIM-Tracking e Periyasamy et al., operando com uma taxa de quadros superior (30 fps) em comparação com alguns métodos de rastreamento mais pesados.
• Estudos de Ablação: A remoção do módulo TEFM causou uma queda significativa no desempenho (o AUC de ADD(-S) caiu para 74,9), confirmando a importância da fusão de embeddings de objetos. O uso de 8 passos de tempo ($T=8$) proporcionou o melhor desempenho geral.

Significância e Alegações
O artigo afirma que o MOTPose aborda com sucesso os desafios de ambientes desordenados e dinâmicos ao aproveitar a informação temporal através de um mecanismo de atenção eficiente. Os autores enfatizam que sua abordagem:

• Melhora a Precisão: A fusão temporal facilita uma melhor predição de pose e detecção de objetos, particularmente em cenários de oclusão e interação entre objetos.
• Aumenta a Eficiência: Diferente de métodos que dependem de convoluções 3D ou frameworks complexos de rastreamento-por-atenção com conjuntos de consultas dinâmicos, o MOTPose utiliza um conjunto fixo de consultas de objetos e fusão por atenção cruzada, resultando em um modelo mais leve e rápido (30 fps) em comparação com outros métodos de rastreamento de pose.
• Tarefa Unificada: Ao tratar a detecção e a estimativa de pose como um único problema de predição de conjunto, o modelo evita a propagação de erros e a sobrecarga computacional de pipelines de múltiplos estágios.

Os autores concluem que, embora sua formulação de predição de conjunto exija anotações de pose 6D para todos os objetos (uma limitação em comparação com datasets de anotação parcial), o método proposto oferece uma solução robusta e em tempo real para tarefas de manipulação multi-objeto em robótica.