Enhancing Monocular 3D Hand Reconstruction with Learned Texture Priors

Resumo Técnico: Melhorando a Reconstrução de Mãos 3D Monoculares com Priores de Textura Aprendidos

Definição do Problema
A reconstrução de mãos 3D monocular continua sendo um problema desafiador e subdeterminado. Embora existam modelos de alto desempenho, eles frequentemente produzem previsões geométricas que não se alinham perfeitamente com a aparência observada na imagem. Os autores observam que os sinais de treinamento atuais, embora eficazes, não exploram totalmente as informações de aparência disponíveis. Além disso, os conjuntos de dados existentes com supervisão de textura densa são tipicamente limitados a condições de estúdio multivistas, carecendo da diversidade e escalabilidade de dados monoculares "em ambiente real" (in-the-wild). O desafio central é aproveitar observações de textura esparsas, parciais e ruidosas de imagens únicas para melhorar tanto a precisão geométrica quanto o realismo das reconstruções de mãos 3D sem a necessidade de texturas de verdade fundamental (ground-truth) ou entradas multivistas.

Metodologia
A abordagem proposta integra um módulo de textura aprendível e leve em um pipeline de reconstrução já existente orientado pela geometria (especificamente aumentando a arquitetura transformer HaMeR). O método opera através de três componentes principais:

1. Extração de Observação Esparsa: Dada uma imagem de entrada e uma malha (mesh) de mão 3D prevista (a partir de um modelo base como o HaMeR), o sistema retroprojeta pontos de superfície visíveis para extrair pares UV-RGB esparsos. Esses pares representam observações de textura parciais e específicas de cada vista.
2. Módulo de Textura Aprendido: Uma arquitetura baseada em transformer processa essas observações de comprimento variável e esparsas.
   • Encoder: Valores RGB são incorporados via uma convolução 1×1, enquanto as coordenadas UV são codificadas usando Random Fourier Features para injetar contexto espacial. Estes são concatenados e processados por um decodificador Transformer usando query tokens aprendidos para agregar características globais.
   • Decoder: Um decodificador de escalonamento convolucional (utilizando pixel shuffling) converte a representação latente em um mapa de textura UV denso e de resolução total (224×224).
   • Estratégia de Treinamento: O módulo é treinado de maneira fracamente supervisionada. Ele reconstrói um mapa de textura completo que concorda com as cores observadas em suas posições UV correspondentes. A função de perda combina um termo L1 mascarado com uma perda de consistência no domínio de Fourier para garantir tanto a precisão local quanto a coerência de frequência global.
3. Supervisão de Alinhamento Denso: A textura reconstruída é aplicada à malha prevista e renderizada de volta ao espaço da imagem usando um renderizador diferenciável (PyTorch3D). Uma perda de consistência fotométrica é computada entre a imagem renderizada e a imagem de entrada original. Esse sinal de alinhamento denso guia o refinamento das estimativas geométricas do modelo base.

Crucialmente, o módulo de textura atua como um "acessório lateral" (sidecar) durante o treinamento. Na configuração proposta, o backbone do modelo base é congelado, e apenas a cabeça (head) é ajustada (fine-tuned) juntamente com o módulo de textura (que é pré-treinado ou "aquecido"). No momento da inferência, o módulo de textura não é necessário; a melhoria manifesta-se exclusivamente através dos pesos atualizados do modelo de reconstrução.

Principais Contribuições

• Modelo de Textura Unificado de Esparso para Denso: Os autores introduzem o primeiro método capaz de acomodar observações de textura de mão esparsas e parciais em um modelo unificado para reconstrução de textura completa. Isso é alcançado via supervisão fraca, sem a necessidade de texturas de verdade fundamental ou dados multivistas.
• Arquitetura Baseada em Transformer: Uma arquitetura inovadora empregando atenção ao nível de pixel e Random Fourier Features é projetada para reconstruir texturas densas e coerentes a partir de entradas UV-RGB incompletas.
• Procedimento de Treinamento Escalável: Um procedimento de aquecimento (warm-up) é proposto, inicializando o modelo usando uma mistura de dados sintéticos e do mundo real, eliminando a necessidade de anotações manuais.
• Supervisão Fotométrica de Ponta a Ponta: A integração de um framework de renderização diferenciável com perdas de consistência fotométrica permite uma supervisão guiada por textura que melhora o alinhamento geométrico sem intervenção manual.

Resultados
O método foi avaliado aumentando o HaMeR [46] e testado no conjunto de dados HInt (composto por NEWDAYS, VISOR e Ego4D), bem como em benchmarks padrão como FreiHAND e HO3D.

• Melhorias Quantitativas: A abordagem supera consistentemente o baseline HaMeR, particularmente nas categorias de keypoints "Ocluídos". Por exemplo, no conjunto de dados VISOR no limiar de @0.10, o método alcançou 64.2% de PCK para keypoints ocluídos, comparado a 61.8% do HaMeR. Melhorias também foram observadas no NEWDAYS e Ego4D.
• Desempenho em Benchmarks: No FreiHAND e HO3D, o método alcançou um desempenho comparável ao baseline, demonstrando que a supervisão guiada por textura não degrada o desempenho em conjuntos de dados limpos e capturados em estúdio, ao mesmo tempo que fornece ganhos em cenários desafiadores, ocluídos ou egocêntricos.
• Robustez à Esparsidade: Experimentos mostraram que o modelo de textura mantém alta fidelidade de reconstrução com apenas 1.000 pixels UV visíveis, indicando robustez à supervisão esparsa típica de dados monoculares.
• Eficiência: O módulo de textura adiciona aproximadamente 70ms por iteração de treinamento e introduz custo computacional zero no momento do teste, pois o modelo final depende apenas dos pesos atualizados da rede base.

Significância e Alegações
O artigo afirma que o alinhamento guiado pela aparência serve como um complemento significativo ao treinamento orientado pela geometria, particularmente em cenários onde as pistas geométricas são ambíguas (ex: oclusão severa ou pontos de vista egocêntricos). Os autores enfatizam que sua solução é prática e modular: não requer anotação manual extra, escala para dados monoculares não curados e melhora tanto a precisão geométrica quanto o realismo visual. O trabalho estabelece uma base para melhorias futuras ao demonstrar que priores de textura aprendidos podem ser efetivamente integrados em pipelines de reconstrução existentes para resolver ambiguidades na estimativa de pose e forma de mãos em 3D.