Enhancing Monocular 3D Hand Reconstruction with Learned Texture Priors

Resumen Técnico: Mejora de la reconstrucción 3D de manos monoculares mediante prioris de textura aprendidos

Declaración del Problema
La reconstrucción 3D de manos monoculares sigue siendo un problema desafiante y subdeterminado. Aunque existen modelos de alto rendimiento, estos suelen producir predicciones geométricas que no se alinean perfectamente con la apariencia observada en la imagen. Los autores observan que las señales de entrenamiento actuales, aunque efectivas, no logran explotar plenamente la información de apariencia disponible. Además, los conjuntos de datos existentes con supervisión de textura densa suelen estar limitados a condiciones de estudio multivista, careciendo de la diversidad y escalabilidad de los datos monoculares "en el mundo real" (in-the-wild). El desafío central es aprovechar las observaciones de textura dispersas, parciales y ruidosas de imágenes únicas para mejorar tanto la precisión geométrica como el realismo de las reconstrucciones 3D de manos sin requerir texturas de verdad fundamental (ground-truth) o entradas multivista.

Metodología
El enfoque propuesto integra un módulo de textura aprendible y ligero en un flujo de reconstrucción basado en la geometría existente (específicamente aumentando la arquitectura de transformador HaMeR). El método opera a través de tres componentes principales:

1. Extracción de Observaciones Dispersas: Dada una imagen de entrada y una malla de mano 3D predicha (de un modelo base como HaMeR), el sistema realiza una retroproyección de los puntos de la superficie visibles para extraer pares UV-RGB dispersos. Estos pares representan observaciones de textura parciales y específicas de la vista.
2. Módulo de Textura Aprendido: Una arquitectura basada en transformadores procesa estas observaciones de longitud variable y dispersas.
   • Codificador (Encoder): Los valores RGB se integran mediante una convolución de 1×1, mientras que las coordenadas UV se codifican utilizando Funciones de Fourier Aleatorias para inyectar contexto espacial. Estos se concatenan y son procesados por un decodificador de Transformador utilizando query tokens aprendidos para agregar características globales.
   • Decodificador (Decoder): Un decodificador de escalado convolucional (que utiliza pixel shuffling) convierte la representación latente en un mapa de textura UV denso y de resolución completa (224×224).
   • Estrategia de Entrenamiento: El módulo se entrena de manera débilmente supervisada. Reconstruye un mapa de textura completo que concuerda con los colores observados en sus posiciones UV correspondientes. La función de pérdida combina un término L1 enmascarado con una pérdida de consistencia en el dominio de Fourier para asegurar tanto la precisión local como la coherencia de frecuencia global.
3. Supervisión de Alineación Densa: La textura reconstruida se aplica a la malla predicha y se renderiza de nuevo en el espacio de la imagen utilizando un renderizador diferenciable (PyTorch3D). Se calcula una pérdida de consistencia fotométrica entre la imagen renderizada y la imagen de entrada original. Esta señal de alineación densa guía el refinamiento de las estimaciones geométricas del modelo base.

Crucialmente, el módulo de textura actúa como un "acompañante" (sidecar) durante el entrenamiento. En la configuración propuesta, el backbone del modelo base se congela, y solo la cabeza (head) se ajusta (fine-tuning) junto con el módulo de textura (que ha sido preentrenado o "preparado"). En el momento de la inferencia, el módulo de textura no es necesario; la mejora se manifiesta únicamente a través de los pesos actualizados del modelo de reconstrucción.

Contribuciones Clave

• Modelo de Textura de Disperso a Denso Unificado: Los autores introducen el primer método capaz de acomodar observaciones de textura de mano dispersas y parciales en un modelo unificado para la reconstrucción de texturas completas. Esto se logra mediante supervisión débil sin requerir texturas de verdad fundamental o datos multivista.
• Arquitectura Basada en Transformadores: Se presenta una arquitectura novedosa que emplea atención a nivel de píxel y Funciones de Fourier Aleatorias, diseñada para reconstruir texturas densas y coherentes a partir de entradas UV-RGB incompletas.
• Procedimiento de Entrenamiento Escalable: Se propone un procedimiento de preparación (warm-up) que inicializa el modelo utilizando una mezcla de datos sintéticos y del mundo real, eliminando la necesidad de anotaciones manuales.
• Supervisión Fotométrica de Extremo a Extremo: La integración de un marco de renderizado diferenciable con pérdidas de consistencia fotométrica permite una supervisión guiada por la textura que mejora la alineación geométrica sin intervención manual.

Resultados
El método fue evaluado aumentando HaMeR [46] y probado en el conjunto de datos HInt (que comprende NEWDAYS, VISOR y Ego4D), así como en benchmarks estándar como FreiHAND y HO3D.

• Mejoras Cuantitativas: El enfoque supera consistentemente al modelo base HaMeR, particularmente en las categorías de puntos clave "Ocluidos". Por ejemplo, en el conjunto de datos VISOR en el umbral @0.10, el método logró un 64.2% de PCK para puntos clave ocluidos en comparación con el 61.8% de HaMeR. También se observaron mejoras en NEWDAYS y Ego4D.
• Rendimiento en Benchmarks: En FreiHAND y HO3D, el método logró un rendimiento comparable al del modelo base, demostrando que la supervisión guiada por textura no degrada el rendimiento en conjuntos de datos limpios capturados en estudio, mientras proporciona ganancias en escenarios desafiantes, ocluidos o egocéntricos.
• Robustez a la Dispersión: Los experimentos mostraron que el modelo de textura mantiene una alta fidelidad de reconstrucción con tan solo 1,000 píxeles UV visibles, lo que indica robustez ante la supervisión dispersa típica de los datos monoculares.
• Eficiencia: El módulo de textura añade aproximadamente 70 ms por iteración de entrenamiento e introduce cero costo computacional en el tiempo de prueba, ya que el modelo final depende únicamente de los pesos actualizados de la red base.

Significancia y Reivindicaciones
El artículo sostiene que la alineación guiada por la apariencia sirve como un complemento significativo al entrenamiento basado en la geometría, particularmente en escenarios donde las pistas geométricas son ambiguas (por ejemplo, oclusión severa o puntos de vista egocéntricos). Los autores enfatizan que su solución es práctica y modular: no requiere anotación manual adicional, escala a datos monoculares no curados y mejora tanto la precisión geométrica como el realismo visual. El trabajo establece una base para futuras mejoras al demostrar que los prioris de textura aprendidos pueden integrarse eficazmente en los flujos de reconstrucción existentes para resolver ambigüedades en la estimación de la pose y la forma de la mano en 3D.