Gesture-Aware Pretraining and Token Fusion for 3D Hand Pose Estimation

Resumen Técnico: Estimación de Pose 3D de la Mano Guiada por Gestos

1. El Problema

La estimación de la pose 3D de la mano a partir de imágenes RGB monoculares es fundamental para aplicaciones de Realidad Aumentada/Virtual (AR/VR), interacción humano-computadora y reconocimiento de lenguaje de señas. Sin embargo, la tarea presenta desafíos significativos debido a:

• Oclusiones severas: Tanto la auto-oclusión de los dedos como la oclusión mutua en interacciones de dos manos.
• Ambigüedad de profundidad y rango de articulación: La gran variedad de movimientos y la falta de información de profundidad en imágenes 2D.
• Falta de regularidades semánticas: La mayoría de los enfoques existentes se basan en restricciones geométricas (longitud de huesos, continuidad) pero ignoran las regularidades semánticas de los gestos, que en dominios como el lenguaje de señas corresponden a unidades léxicas y sub-configuraciones recurrentes que podrían ayudar a desambiguar poses.

2. Metodología Propuesta

Los autores proponen un marco de trabajo de dos etapas que combina el preentrenamiento consciente de gestos con una fusión guiada por tokens para la estimación robusta de la pose 3D.

Etapa 1: Preentrenamiento Consciente de Gestos (Gesture-Aware Pretraining)

• Arquitectura Base: Se utiliza HRNet como codificador, manteniendo mapas de características de alta resolución mediante ramas paralelas.
• Objetivo: Entrenar el codificador para aprender un espacio de incrustación (embedding) informativo utilizando etiquetas de gestos jerárquicas (gruesas y finas) extraídas del dataset InterHand2.6M.
• Proceso de Etiquetado: Se reorganizaron manualmente las secuencias de gestos de InterHand2.6M para crear 54 categorías gruesas y 70 categorías finas. Gestos visualmente idénticos comparten etiquetas, mientras que variantes sutiles (ej. posición del pulgar) se separan en etiquetas finas bajo una misma categoría gruesa.
• Entrenamiento: Se utilizan dos cabezas de clasificación ligeras para predecir logits de gestos gruesos ($\gamma_{coarse}$) y finos ($\gamma_{fine}$) a partir del vector de características globales ($g$). Se emplea una función de pérdida combinada con un programa de ponderación gradual ($\alpha$) para estabilizar el aprendizaje, priorizando primero la separación semántica gruesa y luego incorporando detalles finos.

Etapa 2: Estimación de Pose 3D Guiada por Gestos

• Tokenización por Articulación: Se generan tokens por articulación integrando características multiescala de HRNet ($F4, F5$) con una representación volumétrica 2.5D. Se predice un volumen de calor (heatmap) 3D para cada una de las 21 articulaciones, obteniendo coordenadas $(x, y)$ en el plano de la imagen y un desplazamiento de profundidad relativo a la muñeca ($z$).
• Fusión Guiada por Tokens (Transformer):
  • Los logits de gestos de la Etapa 1 se proyectan en el espacio de incrustación de tokens ($e_{coarse}, e_{fine}$).
  • Estos embeddings de gestos se inyectan como representaciones intermedias en un módulo Transformer.
  • Se crea un token de guía $c^*$ que combina el embedding del gesto con un tipo de token aprendible, actuando como una puerta (gate) para refinar los tokens de las articulaciones.
  • El Transformer procesa la secuencia de tokens (articulaciones + guía de gestos) y refina las características originales mediante conexiones residuales.
• Regresión Final: Se utilizan cabezas MLP para regesar los parámetros del modelo paramétrico MANO (rotaciones de pose en representación 6D y coeficientes de forma $\beta$).

Función de Pérdida:
El entrenamiento se impulsa por un objetivo en capas que incluye:

• Pérdidas a nivel de parámetros (pose y forma).
• Pérdidas a nivel de articulaciones (3D, 2.5D y reproyección 2D).
• Restricciones estructurales ($L_{cont}$) para garantizar la continuidad ósea y poses anatómicamente suaves.

3. Contribuciones Clave

1. Estrategia de Preentrenamiento Consciente de Gestos: Equipa a un codificador de alta resolución con semánticas de gestos de lo grueso a lo fino, motivado por la conexión entre la pose de la mano y el significado lingüístico.
2. Marco de Fusión Guiado por Gestos: Utiliza los embeddings de gestos como representaciones intermedias para guiar el refinamiento de tokens por articulación mediante un Transformer.
3. Validación Experimental y Transferibilidad: Demuestra que el preentrenamiento propuesto mejora la precisión y, crucialmente, es agnóstico a la arquitectura. Al insertar el backbone preentrenado en el modelo EANet (State-of-the-Art) sin modificaciones, se reduce el error consistentemente.

4. Resultados Experimentales

Los experimentos se realizaron en el subconjunto de mano única de InterHand2.6M, reportando MPJPE (Error Medio de Puntos de Articulación) y MPVPE (Error Medio de Puntos de Vértice) en milímetros.

• Rendimiento Superior: El modelo completo ("Ours (full)") logró un MPJPE de 4.84 mm y un MPVPE de 5.19 mm, superando al baseline EANet (4.94 mm / 5.26 mm) y al modelo sin preentrenamiento (5.00 mm / 5.35 mm).
• Transferencia de Arquitectura: Reemplazar el backbone de EANet (ResNet-50 preentrenado en ImageNet) por el backbone preentrenado con gestos redujo el error de 4.94 a 4.86 mm, confirmando que la ventaja del preentrenamiento es generalizable.
• Análisis Cualitativo: En casos de oclusión (objeto-man o auto-oclusión de dedos), el método propuesto genera mallas más anatómicamente plausibles y evita artefactos de interpenetración que sí aparecen en EANet.
• Visualización t-SNE: Las características del codificador preentrenado muestran una separación inter-clase mucho más clara y agrupamientos coherentes según las etiquetas de gestos en comparación con el baseline.

5. Significado e Impacto

Este trabajo establece que las semánticas de los gestos actúan como un sesgo inductivo poderoso para la estimación de pose 3D. Al integrar explícitamente el conocimiento semántico (qué gesto se está realizando) en el proceso de aprendizaje de características y refinamiento de tokens, el modelo logra:

• Mejor desambiguación bajo condiciones de oclusión y baja textura.
• Una mejora robusta que no depende de una arquitectura específica, permitiendo su aplicación como un componente plug-and-play en pipelines existentes.
• Un puente entre la visión por computadora y el reconocimiento de lenguaje de señas, sugiriendo que la comprensión semántica puede mejorar tareas puramente geométricas.

El artículo concluye que extender este enfoque a escenarios de dos manos y entornos "in-the-wild" es una dirección prometedora para trabajos futuros.