Resumo Técnico: Rumo à Estimativa de Pose 3D de Mão-Objeto Egocêntrica em Ambientes Reais (In-the-wild)

Declaração do Problema

Estimar a pose 3D mão-objeto precisa a partir de imagens RGB egocêntricas em ambientes reais (in-the-wild) continua sendo um desafio significativo devido a oclusões severas, regiões de contato ambíguas e a ampla diversidade de objetos e configurações de mãos. Embora os métodos baseados em aprendizado existentes tenham alcançado sucesso em ambientes controlados de laboratório, eles têm dificuldade em generalizar para cenários do mundo real. Um gargalo primário é a escassez de supervisão de alta qualidade; obter a pose 3D de referência (ground-truth) tanto para as mãos quanto para os objetos em ambientes não roteirizados normalmente requer sistemas de captura de movimento (MoCap) caros, que são impraticáveis para a coleta de dados em larga escala. Além disso, os conjuntos de dados existentes frequentemente apresentam fundos minimalistas e sem desordem, que não refletem a complexidade das interações egocêntricas do mundo real.

Metodologia

1. Conjunto de Dados EPIC-Contact

Para abordar a falta de supervisão em ambientes reais, os autores introduzem o EPIC-Contact, um conjunto de dados composto por 2.300 clipes de vídeo (62.300 quadros) extraídos do conjunto de dados EPIC-Kitchens. O conjunto de dados apresenta 9 categorias de objetos e captura diversas interações complexas do mundo real.

O pipeline de anotação envolve três estáções principais:

• Anotação de Contato da Mão: Os anotadores "pintam" vértices de contato em uma malha de mão MANO subdividida (3.106 vértices) usando o contexto do vídeo para inferir regiões ocluídas. Isso garante uma rotulagem de alta precisão das regiões de contato.
• Transferência de Contato Bijetiva: As regiões de contato na mão são parametrizadas usando eixos de contato de 2-DoF. Esses eixos são transferidos para a superfície do objeto por meio de uma ferramenta interativa, estabelecendo correspondências bijetas entre os vértices da mão e do objeto. O escalonamento do objeto é refinado usando um Modelo de Linguagem-Visão (VLM) para corresponder a instâncias específicas no vídeo.
• Otimização EC-fit: Um pipeline de otimização (EC-fit) deriva malhas 3D de mão-objeto poseadas a partir das anotações de contato. Ele inicializa as poses usando WiLoR e priors conscientes da categoria, então alinha as malhas minimizando a perda de contato, uma perda de máscara consciente de oclusão e uma perda de penetração para garantir o realismo físico.

2. Arquitetura HOPformer

Os autores propõem o HOPformer, um framework de transformer de ponta a ponta para estimativa conjunta de pose 3D de mão biomual e objeto a partir de uma única imagem RGB em uma única passagem (forward pass).

• Extração de Características: O modelo utiliza DINOv2 (ViT-G) para extração de características do objeto e WiLoR para características da pose da mão.
• Decodificador de Atenção Cruzada (Cross-Attention Decoder): Uma inovação central é o uso de um decodificador de atenção cruzada que condiciona as características do objeto nos priors da mão. Ao contrário de métodos anteriores que tratam as características da mão e do objeto de forma independente ou via concatenação simples, o HOPformer refina iterativamente as representações do objeto ao atender ao contexto da mão. Isso permite que o modelo aproveite os robustos priors de reconstrução 3D da mão para guiar a estimação da pose do objeto, particularmente sob oclusão.
• Recuperação de Objeto: A rede inclui uma cabeça de classificação para prever a categoria do objeto, recuperando a malha 3D correspondente de um pool predefinido. A pose regredida é então aplicada à malha recuperada.
• Sinal de Treinamento: O modelo é treinado usando uma combinação de perdas de keypoints 2D/3D, perdas de parâmetros MANO, perda de classificação de objeto e uma perda de interação específica baseada em Desvio de Contato (CDev) para impor consistência física entre as malhas da mão e do objeto.

Principais Contribuições

1. Conjunto de Dados EPIC-Contact: A introdução de um conjunto de dados egocêntrico de larga escala com correspondências de contato mão-objeto 3D densas e bijetas e malhas poseadas, permitindo o treinamento e a avaliação em cenários desafiadores do mundo real.
2. HOPformer: Uma nova arquitetura baseada em transformer que prevê conjuntamente poses de mão e objeto biomual, aproveitando os priors da mão para enriquecer as características do objeto via atenção cruzada.
3. Desempenho de Estado da Arte: A demonstração de que o HOPformer alcança resultados superiores tanto em benchmarks estabelecidos de laboratório quanto no novo conjunto de dados de ambientes reais.

Resultados Experimentais

Desempenho em Laboratório (Conjunto de Dados ARCTIC)

Avaliado no conjunto de dados ARCTIC (divisão egocêntrica), o HOPformer atinge uma Taxa de Sucesso (SR@0.05) de 82,4%, superando o estado da arte anterior, JointTransformer (76,2%), em 6,2 pontos percentuais. Ele também reduz o Desvio de Contato (CDev) de 35,0 mm para 3 de 31,9 mm e o Desvio de Movimento (MDev) de 10,4 mm para 7,3 mm.

Desempenho em Ambientes Reais (Conjunto de Dados EPIC-Contact)

No recém-introduzido conjunto de dados EPIC-Contact, o HOPformer quase dobra a taxa de sucesso em comparação aos baselines (29,8% vs. 17,6% para o JointTransformer) e reduz o CDev em 75% (de 30,1 mm para 20,7 mm). O modelo demonstra robustez a oclusões, desordem e objetos transparentes, onde métodos anteriores frequentemente falham em manter a consistência de contato.

Estudos de Ablação

Experimentos de ablação confirmam que os ganhos de desempenho são impulsionados por:

• Atenção Cruzada Condicionada pela Mão: Substituir o mecanismo de atenção cruzada por concatenação simples causa uma queda drástica no desempenho (SR de 82,4% para 29,4%).
• Priors Especializados de Mão: Usar tokens genéricos do DINOv2 para características da mão em vez de WiLoR degrada significativamente o desempenho, destacando a necessidade de características de pose especializadas.
• Perda de Interação: Remover a perda de interação baseada em CDev aumenta o desvio de contato, confirmando seu papel na imposição de consistência física.

Significância e Alegações

O artigo afirma que o EPIC-Contact e o HOPformer representam um passo significativo para a estimativa de pose 3D mão-objeto escalável e robusta em ambientes não roteirizados. Ao introduzir um método para obter anotações de contato densas sem MoCap e uma arquitetura de modelo que efetivamente aproveita os priors da mão, este trabalho aborda a lacuna de generalização entre cenários de laboratório e do mundo real. Os autores posicionam seu trabalho como uma base para pesquisas futuras em aplicações centradas no humano, como AR/VR, robótica e tecnologias assistivas, fornecendo uma base sólida para avaliação em dados desafiadores do mundo real.