Impact of Hand Impairment and Occlusions on Hand Pose Estimation Accuracy in Augmented Reality Applications

Resumo Técnico: Impacto do Comprometimento da Mão e de Oclusões na Precisão da Estimativa de Pose da Mão em Aplicações de Realidade Aumentada

Definição do Problema
Aplicações de realidade mista (MR), particularmente displays de cabeça (HMDs) de Realidade Aumentada (AR), oferecem ferramentas promissoras para a reabilitação da mão ao permitir que os usuários interajam com objetos reais enquanto recebem pistas digitais. No entanto, a eficácia desses sistemas depende fortemente de uma estimativa precisa da pose da mão. Dois fatores críticos que potencialmente limitam essa precisidade em contextos de reabilitação permanecem subinvestigados:

1. Comprometimento da Mão: Indivíduos com lesão medular cervical (cSCI) exibem posturas de mão e padrões de preensão distintos e variáveis em comparação com indivíduos não lesionados. Não está claro se os algoritmos padrão de estimativa de pose se generalizam para essas posturas únicas.
2. Oclusão por Interações com Objetos Reais: A reabilitação exige interação dinâmica com objetos reais (alcançar, agarrar, levantar). Essas interações frequentemente ocluem os dedos da câmera egocêntrica do HMD, o que pode degradar a estimativa de pose. Estudos anteriores frequentemente utilizaram interações estáticas ou falharam em isolar sistematicamente o efeito da oclusão (por exemplo, variando a transparência do objeto enquanto controlavam tamanho e forma).

Além disso, há uma falta de comparação direta entre os sistemas de rastreamento integrados em HMDs e algoritmos de estimativa de pose offline de última geração (SOTA) dentro do contexto específico de cSCI e interações com objetos reais.

Metodologia
O estudo avaliou a precisão da estimativa de pose usando um design experimental multifacetado:

• Participantes: O estudo incluiu 13 indivíduos com cSCI (Nível Neurológico de Lesão: C3–C6; AIS A–D) e 15 controles não lesionados.
• Configuração Experimental: Os participantes usaram um HMD Microsoft HoloLens 2 enquanto realizavam tarefas dinâmicas (alcançar, agarrar, levantar, pronar/supinar e posicionar) com seis objetos: versões opacas e transparentes de um bloco, um cartão de crédito e uma esfera (marble). Esses objetos foram selecionados para representar diferentes tipos de preensão (cilíndrica, pinça lateral de chave, pinça de ponta) mantendo consistência de tamanho e peso, diferindo apenas em transparência.
• Geração de Ground Truth (Verdade de Campo): Uma configuração multi-câmera (cinco câmeras GoPro Hero5) registrou as interações de múltiplas perspectivas. Posições de articulações 3D (21 articulações) foram geradas via triangulação de estimativas de articulações 2D (derivadas de MediaPipe Hands e HRNetV2) das câmeras externas. Critérios rigorosos de rejeição de outliers foram aplicados, resultando em aproximadamente 38% dos frames sendo utilizados para a análise de ground truth.
• Algoritmos de Estimativa de Pose: O estudo comparou o rastreamento integrado do HoloLens 2 contra quatro algoritmos SOTA: WiLoR, HaMeR, WildHands e MediaPipe Hands. Todos os algoritmos foram avaliados nos frames de vídeo egocêntricos registrados pelo HoloLens 2.
• Métricas: A precisão foi quantificada através do erro de posição por articulação (PA-MPJPE) alinhado por Procrustes. Análises estatísticas incluíram ANOVA de medidas mistas para avaliar os efeitos do algoritmo, transparência do objeto e grupo de participantes (cSCI vs. não lesionados), bem como correlações entre erro e severidade do comprometimento da mão (medido por subescores de desempenho de preensão GRASSP).

Principais Contribuições

1. Caracterização do Impacto da cSCI: O estudo fornece evidência empírica sobre como a tetraplegia afeta a precisão da estimativa de pose durante interações dinâmicas com objetos reais.
2. Isolamento dos Efeitos de Oclusão: Ao utilizar versões opacas e transparentes de objetos idênticos, o estudo isolou sistematicamente a influência da oclusão na precisão da estimativa de pose, abordando uma lacuna na literatura anterior onde as propriedades do objeto eram confundidas.
3. Benchmarking de Algoritmos: O artigo apresenta uma comparação direta do rastreamento integrado de HMD contra algoritmos offline SOTA (WiLoR, HaMeR, WildHands, MediaPipe) especificamente dentro de um contexto de interação com objetos egocêntricos envolvendo uma população clínica.
4. Geração de Dataset: Os autores geraram e disponibilizaram o primeiro dataset anotado de ground-truth que inclui interações com objetos tanto de indivíduos com comprometimento de mão (cSCI) quanto de controles não lesionados.

Resultos

• Generalização para Comprometimento: Não houve diferença significativa na precisão da estimativa de pose entre o grupo cSCI e os controles não lesionados em todos os algoritmos. Isso sugere que os métodos atuais de predição de articulações 3D, incluindo o HoloLens 2, podem se generalizar para as posturas de mão únicas de indivíduos com cSCI.
• Efeito da Oclusão: A interação com objetos transparentes resultou em erro ligeiramente menor (maior precisão) em comparação com objetos opacos. No entanto, a magnitude dessa diferença foi pequena (aproximadamente 0,1 mm). Uma análise exploratória indicou que este efeito foi impulsionado principalmente pela interação com o cartão de crédito; nenhuma diferença significativa de transparência foi encontrada para o bloco ou a esfera.
• Desempenho dos Algoritmos: Algoritmos SOTA superaram o rastreamento integrado do HoloLens 2. Especificamente, o WiLoR e o HaMeR demonstraram a maior precisão (menor erro), seguidos pelo HoloLens 2, MediaPipe e WildHands. O WiLoR e o HaMeR foram aproximadamente 2 mm mais precisos que o HoloLens 2.
• Correlação com Comprometimento: Uma correlação negativa significativa foi encontrada apenas para o algoritmo WildHands, onde níveis mais altos de comprometimento da mão (pontuações GRASSP mais baixas) foram associados a erros ligeiramente maiores. Nenhuma tal correlação foi encontrada para o HoloLens 2 ou para os outros três algoritmos.
• Diferenças de Sexo: Não foram observadas diferenças significativas na precisão da estimativa de pose entre participantes do sexo masculino e feminino.

Significância e Alegações
O artigo afirma que o HoloLens 2 é uma plataforma viável para aplicações de reabilitação de mão envolvendo interações com objetos reais, pois sua precisão de estimativa de pose é robusta tanto para populações lesionadas quanto não lesionadas. Embora os algoritmos SOTA (WiLoR, HaMeR) ofereçam melhorias de precisão modestas (~2 mm) sobre o rastreador integrado do HoloLens 2, os autores observam que a significância clínica dessa melhoria deve ser pesada contra restrições práticas, como o poder computacional necessário para executar esses algoritmos em tempo real em um HMD.

O estudo enfatiza que o dataset gerado é um recurso crítico para refinar métodos de estimativa de pose especificamente para populações com comprometimento de mão. Os achados sugerem que, embora a oclusão introduza erro, o uso de objetos transparentes oferece apenas um benefício marginal no contexto específico dos pequenos objetos testados. Em última análise, a pesquisa apoia a integração de HMDs de AR em fluxos de trabalho de reabilitação para pacientes com cSCI, desde que os requisitos específicos de precisão da aplicação clínica sejam atendidos.