Gesture-Aware Pretraining and Token Fusion for 3D Hand Pose Estimation

Título: Pre-treinamento Consciente de Gestos e Fusão de Tokens para Estimativa de Pose 3D da Mão

1. Problema e Contexto

A estimativa da pose 3D da mão a partir de imagens RGB monoculares é fundamental para aplicações em Realidade Aumentada/Virtual (AR/VR), interação humano-computador e reconhecimento de língua de sinais. No entanto, a tarefa enfrenta desafios significativos, incluindo:

• Oclusão severa: A mão frequentemente oclui a si mesma ou objetos.
• Ambiguidade de profundidade e encurtamento: Dificuldade em inferir a posição 3D a partir de projeções 2D.
• Variação semântica: A maioria dos métodos existentes foca em restrições geométricas (como consistência do comprimento dos ossos), mas ignora as regularidades semânticas dos gestos. Em domínios como a língua de sinais, formas específicas da mão correspondem a unidades lexicais e exibem subconfigurações recorrentes que podem ajudar a desambiguar poses sob oclusão.

O objetivo deste trabalho é explorar como etiquetas de gestos discretos podem servir como um viés indutivo poderoso para melhorar a estimativa de pose 3D.

2. Metodologia

O artigo propõe uma abordagem de dois estágios que combina um pré-treinamento consciente de gestos com uma fusão guiada por gestos para refinar a estimativa de pose.

Estágio 1: Pré-treinamento Consciente de Gestos

• Arquitetura Base: Utiliza-se o HRNet (High-Resolution Network) como codificador, mantendo mapas de características de alta resolução.
• Objetivo: Aprender um espaço de incorporação (embedding) informativo utilizando rótulos de gestos hierárquicos (grão grosso e grão fino) extraídos do dataset InterHand2.6M.
• Processo:
  • O vetor de características global ($g$) do HRNet alimenta duas cabeças de classificação leves para prever logits de gestos: $\gamma_{coarse}$ (54 categorias) e $\gamma_{fine}$ (70 categorias).
  • Estratégia de Treinamento: Um cronograma de ponderação gradual é utilizado. Inicialmente, o modelo prioriza a separação de categorias grosseiras ($\alpha$ baixo) e, progressivamente, incorpora distinções de grão fino, estabilizando o aprendizado semântico.
  • Construção de Rótulos: Os autores inspecionaram manualmente o dataset InterHand2.6M, fundindo gestos visualmente indistinguíveis e criando uma hierarquia onde variações sutis (ex.: posição do polegar) recebem rótulos finos distintos sob uma mesma categoria grosseira.

Estágio 2: Estimativa de Pose 3D Guiada por Gestos

• Tokenização por Jogo (Per-Joint Tokenization):
  • As características multiescala do HRNet ($F4, F5$) são combinadas e processadas para gerar um mapa de calor volumétrico 2.5D (3D, mas com eixo Z representando profundidade relativa ao pulso).
  • Isso gera "tokens por junta" ($U$) que representam a localização provável de cada uma das 21 juntas da mão.
• Fusão Guiada por Gestos (Transformer):
  • Os logits de gestos do Estágio 1 são projetados em embeddings ($e_{coarse}, e_{fine}$).
  • Esses embeddings são injetados como tokens de orientação em um Transformer.
  • O Transformer refina os tokens das juntas ($Q$) utilizando os tokens de orientação de gestos ($c_{coarse}, c_{fine}$) como representações intermediárias.
  • Uma conexão residual funde os tokens refinados de volta às características originais.
• Regressão de Parâmetros MANO:
  • Os tokens refinados são usados para regressar os parâmetros do modelo paramétrico MANO: rotações de pose (em representação 6D para estabilidade) e coeficientes de forma ($\beta$).
• Função de Perda: O treinamento é guiado por um objetivo em camadas que inclui:
  • Perdas de nível de parâmetro (pose e forma).
  • Perdas de nível de junta (3D, 2.5D e reprojeção 2D).
  • Restrições estruturais (continuidade óssea) para garantir poses anatomicamente plausíveis.

3. Contribuições Principais

1. Estratégia de Pré-treinamento Consciente de Gestos: Introduz um método para equipar codificadores de alta resolução com semântica de gestos de grão grosso a fino, motivado pela conexão entre pose da mão e significado linguístico.
2. Framework de Fusão Guiada por Gestos: Propõe o uso de embeddings de gestos como representações intermediárias dentro de um Transformer para guiar o refinamento de tokens por junta, melhorando a desambiguação em cenários complexos.
3. Validação Experimental e Transferibilidade: Demonstra que o pré-treinamento proposto não apenas melhora a arquitetura proposta, mas também transfere benefícios para outras arquitetões (como o EANet) sem necessidade de modificações, atuando como um componente de propósito geral.

4. Resultados Experimentais

Os experimentos foram realizados no subconjunto de mão única do dataset InterHand2.6M.

• Desempenho Quantitativo:
  • A abordagem completa ("Ours (full)") alcançou um MPJPE (Erro Médio de Posição das Juntas) de 4.84 mm e um MPVPE (Erro Médio de Posição dos Vértices) de 5.19 mm.
  • Isso supera o baseline de última geração EANet (4.94 mm MPJPE) e o método HaMeR (16.11 mm, que sofre com a lacuna de domínio por não ter sido ajustado finamente no InterHand2.6M).
  • A simples substituição do backbone do EANet pelo backbone pré-treinado com gestos (sem outras alterações) reduziu o erro de 4.94 mm para 4.86 mm, provando a eficácia do pré-treinamento independente da arquitetura.
• Análise de Características (t-SNE):
  • Visualizações mostram que o pré-treinamento com gestos cria representações de características muito mais discriminativas e agrupadas por classe de gesto em comparação com o HRNet padrão.
• Resultados Qualitativos:
  • Sob condições de oclusão (mão-objeto ou auto-oclusão), o método proposto produz malhas de mão mais anatomicamente plausíveis, reduzindo significativamente artefatos de interpenetração de ossos que são comuns em métodos concorrentes.

5. Significado e Conclusão

O trabalho estabelece que as semânticas de gestos são um viés indutivo valioso e transferível para a estimativa de pose 3D da mão. Ao integrar explicitamente o conhecimento semântico (o que a mão está "fazendo" ou "significando") no pipeline de estimativa geométrica, o modelo consegue resolver ambiguidades causadas por oclusões e falta de textura.

A descoberta de que esse pré-treinamento é agnóstico à arquitetura sugere que ele pode ser adotado como um componente padrão para melhorar a precisão e a robustez em diversas tarefas de visão computacional relacionadas à mão, indo além da simples regressão geométrica para uma compreensão semântica da pose. Futuros trabalhos visam estender essa abordagem para cenários de duas mãos e ambientes "in-the-wild".