Impact of Hand Impairment and Occlusions on Hand Pose Estimation Accuracy in Augmented Reality Applications

Resumen Técnico: Impacto de la Discapacidad de la Mano y las Oclusiones en la Precisión de la Estimación de la Pose de la Mano en Aplicaciones de Realidad Aumentada

Planteamiento del Problema
Las aplicaciones de realidad mixta (RM), particularmente los visores de realidad aumentada (HMD) para la cabeza, ofrecen herramientas prometedoras para la rehabilitación de la mano al permitir que los usuarios interactúen con objetos reales mientras reciben señales digitales. Sin embargo, la eficacia de estos sistemas depende en gran medida de una estimación precisa de la pose de la mano. Dos factores críticos que potencialmente limitan esta precisión en contextos de rehabilitación siguen sin haber sido investigados exhaustivamente:

1. Discapacidad de la Mano: Los individuos con lesión medular cervical (cSCI) exhiben posturas de la mano y patrones de agarre distintos y variables en comparación con los individuos no lesionados. No está claro si los algoritmos estándar de estimación de pose se generalizan a estas posturas únicas.
2. Oclusión por Interacción con Objetos Reales: La rehabilitación requiere la interacción dinámica con objetos reales (alcanzar, agarrar, levantar). Estas interacciones a menudo ocluyen los dedos de la cámara egocéntrica del HMD, lo que puede degradar la estimación de la pose. Estudios previos a menudo utilizaron interacciones estáticas o no aislaron sistemáticamente el efecto de la oclusión (por ejemplo, variando la transparencia del objeto controlando el tamaño y la forma).

Además, existe una falta de comparación directa entre los sistemas de seguimiento integrados en HMD y los algoritmos de estimación de pose fuera de línea (offline) de última generación (SOTA) dentro del contexto específico de la cSCI y las interacciones con objetos reales.

Metodología
El estudio evaluó la precisión de la estimación de la pose utilizando un diseño experimental multifacético:

• Participantes: El estudio incluyó a 13 individuos con cSCI (Nivel Neurológico de Lesión: C3–C6; AIS A–D) y 15 controles no lesionados.
• Configuración Experimental: Los participantes usaron un Microsoft HoloLens 2 HMD mientras realizaban tareas dinámicas (alcanzar, agarrar, levantar, pronación/supinación y colocar) con seis objetos: versiones opacas y transparentes de un bloque, una tarjeta de crédito y una canica. Estos objetos fueron seleccionados para representar diferentes tipos de agarre (cilíndrico, pinza lateral de llave, pinza de punta) manteniendo consistencia en tamaño y peso, diferenciándose únicamente en su transparencia.
• Generación de la Verdad de Terreno (Ground Truth): Una configuración de múltiples cámaras (cinco GoPro Hero5) grabó las interacciones desde múltiples perspectivas. Se generaron posiciones de articulaciones 3D (21 articulaciones) mediante la triangulación de estimaciones de articulaciones 2D (derivadas de MediaPipe Hands y HRNetV2) de las cámaras externas. Se aplicaron criterios rigurosos de rechazo de valores atípicos, resultando en aproximadamente el 38% de los fotogramas utilizados para el análisis de la verdad de terreno.
• Algoritmos de Estimación de Pose: El estudio comparó el seguimiento integrado del HoloLens 2 contra cuatro algoritmos SOTA fuera de línea: WiLoR, HaMeR, WildHands y MediaPipe Hands. Todos los algoritmos fueron evaluados en los fotogramas de video egocéntricos grabados por el HoloLens 2.
• Métricas: La precisión se cuantificó mediante el Error de Posición por Articulación Promedio alineado por Procrustes (PA-MPJPE). Se realizaron análisis estadísticos mediante ANOVA de medidas mixtas para evaluar los efectos del algoritmo, la transparencia del objeto y el grupo de participantes (cSCI frente a no lesionados), así como correlaciones entre el error y la severidad de la discapacidad de la mano (medida mediante las subpuntuaciones de desempeño de prensión de GRASSP).

Contribuciones Clave

1. Caracterización del Impacto de la cSCI: El estudio proporciona evidencia empírica sobre cómo la tetraplejia afecta la precisión de la estimación de la pose durante las interacciones dinámicas con objetos reales.
2. Aislamiento de los Efectos de la Oclusión: Al utilizar versiones opacas y transparentes de objetos idénticos, el estudio aisló sistemáticamente la influencia de la oclusión en la precisión de la estimación de la pose, abordando una brecha en la literatura previa donde las propiedades de los objetos estaban confundidas.
3. Benchmarking de Algoritmos: El artículo presenta una comparación directa del seguimiento integrado de HMD contra algoritmos SOTA fuera de línea (WiLoR, HaMeR, WildHands, MediaPipe) específicamente dentro de un contexto egocéntrico de interacción con objetos que involucra a una población clínica.
4. Generación de Dataset: Los autores generaron y pusieron a disposición el primer conjunto de datos anotado de verdad de terreno que incluye interacciones con objetos tanto de personas con discapacidad de la mano (cSCI) como de controles no lesionados.

Resultos

• Generalización a la Discapacidad: No hubo una diferencia significativa en la precisión de la estimación de la pose entre el grupo cSCI y los controles no lesionados en todos los algoritmos. Esto sugiere que los métodos actuales de predicción de articulaciones 3D, incluyendo el HoloLens 2, pueden generalizarse a las posturas de la mano únicas de las personas con cSCI.
• Efecto de la Oclusión: Interactuar con objetos transparentes resultó en un error ligeramente menor (mayor precisión) en comparación con los objetos opacos. Sin embargo, la magnitud de esta diferencia fue pequeña (aproximadamente 0.1 mm). El análisis exploratorio indicó que este efecto fue impulsado principalmente por la interacción con la tarjeta de crédito; no se encontraron diferencias significativas de transparencia para el bloque o la canica.
• Desempeño de los Algoritmos: Los algoritmos SOTA superaron el seguimiento integrado del HoloLens 2. Específicamente, WiLoR y HaMeR demostraron la mayor precisión (menor error), seguidos por el HoloLens 2, MediaPipe y WildHands. WiLoR y HaMeR fueron aproximadamente 2 mm más precisos que el HoloLens 2.
• Correlación con la Discapacidad: Se encontró una correlación negativa significativa solo para el algoritmo WildHands, donde niveles más altos de discapacidad de la mano (puntuaciones GRASSP más bajas) se asociaron con errores ligeramente más altos. No se encontró tal correlación para el HoloLens 2 ni para los otros tres algoritmos.
• Diferencias de Sexo: No se observaron diferencias significativas en la precisión de la estimación de la pose entre participantes masculinos y femeninos.

Significancia y Reivindicaciones
El artículo afirma que el HoloLens 2 es una plataforma viable para aplicaciones de rehabilitación de la mano que involucran interacciones con objetos reales, ya que su precisión de estimación de pose es robusta tanto en poblaciones lesionadas como no lesionadas. Si bien los algoritmos SOTA (WiLoR, HaMeR) ofrecen mejoras de precisión modestas (~2 mm) sobre el rastreador integrado del HoloLens 2, los autores señalan que la relevancia clínica de esta mejora debe sopesarse frente a las restricciones prácticas, como la potencia computacional requerida para ejecutar estos algoritmos en tiempo real en un HMD.

El estudio enfatiza que el dataset generado es un recurso crítico para refinar los métodos de estimación de pose específicamente para poblaciones con discapacidad de la mano. Los hallazgos sugieren que, si bien la oclusión introduce error, el uso de objetos transparentes ofrece solo un beneficio marginal en el contexto específico de los objetos pequeños probados. En última instancia, la investigación respalda la integración de los HMD de RA en los flujos de trabajo de rehabilitación para pacientes con cSCI, siempre que se cumplan los requisitos específicos de precisión de la aplicación clínica.