Resumen Técnico: ScaleHP – Estimación de la Pose de la Mano en el Espacio Métrico

1. Definición del Problema

La estimación precisa de la pose de la mano (HPE, por sus siglas en inglés) en el espacio métrico (coordenadas absolutas de la cámara con escala del mundo real) es crítica para la interacción humano-computadora (HCI) inmersiva, la realidad virtual/aumentada (VR/AR) y la robótica. Sin embargo, los métodos existentes operan predominantemente en sistemas de coordenadas relativos a la raíz (root-relative), prediciendo las poses de la mano en relación con una articulación de referencia (por ejemplo, la muñeca) sin determinar el tamaño absoluto o la distancia de la mano respecto a la cámara.

El desafío central al transicionar al espacio métrico es la inherente ambigüedad de profundidad-escala de las imágenes monoculares. Los enfoques actuales que intentan resolver esto suelen depender de:

• Módulos de estimación de profundidad auxiliares: Estos son frágiles y fallan cuando el fondo se desvía de las distribuciones de entrenamiento o cuando solo es visible la mano.
• Regresión de modelos paramétricos: Estos a menudo ignoran la escala absoluta o requieren mapas de profundidad precalculados.
• Pipelines de dos etapas: Estiman primero la pose relativa a la raíz y luego la elevan al espacio de la cámara utilizando parámetros de escala externos o suposiciones.

Estos métodos tienen dificultades para proporcionar predicciones métricas estables y precisas en escenarios del mundo real generalizados.

2. Metodología: ScaleHP

Los autores proponen ScaleHP, un marco de extremo a extremo (end-to-end) de una sola etapa que evita los frágiles módulos de profundidad extrínsecos mediante el aprovechamiento de priors antropométricos intrínsecos. La hipótesis central es que las relaciones proporcionales entre los huesos de la mano humana codifican información estable sobre el tamaño métrico global de la mano, la cual puede inferirse directamente de la imagen.

2.1 Descripción General de la Arquitectura

ScaleHP consta de tres componentes principales (ilustrados en la Fig. 2):

1. Backbone del Detector Congelado: Utiliza un detector de estilo DETR preentrenado y congelado (por ejemplo, Grounding DINO) para extraer características multimodales y localizar las manos mediante prompts de texto. Esto proporciona una extracción de características robusta sin entrenar el backbone.
2. Decodificador Métrico 2D–3D: Un novedoso decodificador basado en Transformers que eleva las observaciones 2D al espacio métrico 3D.
3. Módulo Analítico Libre de Entrenamiento: Un resolvedor geométrico que calcula el vector de traslación final basándose en restricciones de perspectiva.

2.2 Componentes Clave

El Token de Escala (Scale Token)

La innovación central es la introducción de un token de escala ($Q_s$) dedicado dentro del decodificador Transformer.

• Inicialización: Se inicializa a partir de la consulta (query) de la instancia de la mano.
• Interacción: El token de escala participa en una auto-atención (self-attention) con las consultas de las articulaciones 2D y 3D para aprender las proporciones y la topología del esqueleto. Luego interactúa con las características de la imagen multiescala mediante atención deformable para capturar la apariencia global y la ocupación espacial.
• Predicción: El token emite un escalar de escala global ($s$), que representa la longitud media de huesos específicos de la mano (por ejemplo, los dedos índice, medio y anular). Esto permite que el modelo aprenda un mapeo determinista de configuraciones de píxeles a longitudes del mundo real.

Recuperación Métrica mediante Restricciones de Perspectiva

Una vez que se predice la escala global $s$, el marco recupera el vector de traslación absoluta $t$ sin necesidad de aprender un regresor de profundidad separado.

• Formulación: La relación entre las coordenadas 3D relativas a la raíz ($J_{rel}$), las coordenadas de píxeles 2D ($J_{2D}$) y las intrínsecas de la cámara ($K$) se modela bajo una proyección de perspectiva.
• Solución: Los autores formulan un sistema de ecuaciones lineales (2N ecuaciones para N puntos clave) donde la incógnita es la traslación de profundidad ($t_z$). Este sistema se resuelve utilizando un enfoque de mínimos cuadrados.
• Resultado: El $t$ recuperado y el $s$ predicho se aplican a la pose relativa a la raíz para reconstruir la mano en el verdadero sistema de coordenadas métricas de la cámara.

2.3 Funciones de Pérdida (Loss Functions)

El modelo se entrena de extremo a extremo utilizando cuatro señales de supervisión:

1. Supervisión 2D: Pérdida L1 y similitud de puntos clave de objeto (OKS) en los puntos clave 2D.
2. Supervisión 3D: Pérdida L1 en los puntos clave 3D relativos a la raíz.
3. Supervisión de Escala Métrica: Error cuadrático medio (MSE) entre el escalar de escala predicho y la escala real derivada de las longitudes óseas.
4. Supervisión de Proyección: Supervisión débil proyectando los puntos clave 3D predichos de vuelta a 2D y comparándolos con las anotaciones.

3. Contribuciones Clave

1. Marco Consciente de la Escala (Metric-Aware): El artículo introduce un marco que modela explícitamente la escala global de la mano utilizando las proporciones óseas anatómicas intrínsecas, mitigando la ambigüedad de profundidad sin depender de estimadores de profundidad externos.
2. Arquitectura ScaleHP: El primer marco de una sola etapa y de extremo a extremo para la HPE en espacio métrico, que presenta un token de escala que interactúa con las consultas de la pose para aprender un mapeo directo de las características de la imagen a la escala física absoluta.
3. Resolvedor Analítico Libre de Entrenamiento: Un enfoque novedoso para recuperar la traslación global mediante una solución de mínimos cuadrados bajo restricciones de perspectiva, evitando la necesidad de regresores de profundidad aprendidos.
4. Rendimiento de Vanguardia (State-of-the-Art): El método logra resultados superiores en los benchmarks estándar, demostrando que las restricciones biológicas internas reducen significativamente tanto la geometría relativa como los errores métricos absolutos.

4. Resultados Experimentales

Los autores evaluaron ScaleHP en los benchmarks FreiHand, DexYCB y HO3Dv3.

• Métrica Primaria (CS-MPJPE): Esta mide la distancia euclidiana promedio en el espacio de la cámara sin alineación.

  • FreiHand: 35.8 mm (frente a 42.4 mm del siguiente mejor baseline, NFV).
  • DexYCB: 136.3 mm (frente a 183.2 mm para CMR + GS).
  • HO3Dv3: 50.7 mm (frente a 132.6 mm para HandDGP + GS).
  • Nota: Los autores señalan que los baselines a menudo requieren un ajuste post-hoc de "Escala Global Óptima" (GS) para ser competitivos, mientras que ScaleHP predice esta escala de extremo a extremo.

• Métricas Alineadas (P-MPJPE / R-MPJPE):

  • En FreiHand, ScaleHP logra un P-MPJPE de 5.0 mm, empatando con el estado del arte.
  • En DexYCB, logra un P-MPJPE de 4.6 mm y un R-MPJPE de 10.3 mm.
  • En HO3Dv3, logra un P-MPJPE de 5.9 mm.

• Estudios de Ablación:

  • Token de Escala: Eliminar el token de escala aumenta el CS-MPJPE significativamente (por ejemplo, de 35.8 a 44.3 mm en FreiHand), confirmando su necesidad para la precisión métrica.
  • Ambigüedad de Profundidad: El token de escala también mejora la geometría relativa (P-MPJPE), específicamente reduciendo los errores a lo largo del eje Z (profundidad), lo que indica que actúa como un regularizador geométrico.
  • Estrategia de Entrenamiento: El entrenamiento conjunto del token de escala con las consultas de los puntos clave supera a las estrategias de pre-entrenamiento/ajuste fino desacopladas.

5. Significado y Reivindicaciones

El artículo afirma que ScaleHP ofrece una solución robusta para el seguimiento de manos en el mundo real generalizado al cambiar el paradigma de la frágil estimación de profundidad dependiente del contexto hacia los priors biológicos intrínsecos.

• Robustez: Al derivar la escala únicamente de la estructura interna de la mano, el método permanece invariante a los factores ambientales extrínsecos (por ejemplo, cambios en el fondo, contexto de la escena), evitando eficazmente la ambigüedad de escala-profundidad inherente a la reconstrucción 3D monocular.
• Generalización: El marco demuestra un fuerte rendimiento en imágenes "in-the-wild", manejando interacciones mano-objeto, oclusiones severas y cambios de perspectiva drásticos donde métodos anteriores suelen fallar.
• Eficiencia: El diseño de una sola etapa y de extremo a extremo evita la sobrecarga computacional y la acumulación de errores de los pipelines de múltiples etapas o las redes de profundidad auxiliares.

Los autores concluyen que el aprovechamiento de las regularidades antropométricas permite la reconstrucción de la geometría de la mano en el espacio métrico de coordenadas de cámara absolutas, proporcionando una base para aplicaciones que requieren una comprensión espacial precisa, como la teleoperación y la manipulación robótica diestra.