SurfaceXR: Fusing Smartwatch IMUs and Egocentric Hand Pose for Seamless Surface Interactions

1. O Problema

As interações em Realidade Estendida (XR) baseadas em gestos no ar frequentemente resultam em fadiga (efeito "braço de gorila"), desconforto e imprecisão, limitando sua utilidade em tarefas prolongadas. As interações baseadas em superfícies oferecem uma alternativa mais precisa e confortável. No entanto, os métodos atuais baseados apenas em visão (câmeras do headset) enfrentam desafios significativos:

• Rastreamento de mãos: Erros na estimativa da pose da mão, especialmente devido a oclusões e ângulos de visão oblíquos.
• Estimativa de plano de superfície: Dificuldade em determinar com precisão a posição e orientação da superfície física a partir de câmeras egocêntricas.
• Falsos positivos/negativos: O sistema pode falhar ao detectar um toque real ou detectar toques inexistentes devido a essas imprecisões.

Soluções anteriores que instrumentam superfícies com sensores são inviáveis em escala, enquanto métodos que usam hardware especializado (como anéis com IMUs de alta frequência) são pouco acessíveis.

2. Metodologia

O SurfaceXR propõe uma abordagem inovadora de fusão de sensores que combina:

1. Rastreamento de Mãos Egocêntrico: Dados de pose 3D das articulações dos dedos (principalmente indicador e polegar) capturados pelo headset (Meta Quest 3) a 60 Hz.
2. Dados de IMU de Smartwatch: Micro-vibrações e dados inerciais (acelerômetro e giroscópio) capturados por um smartwatch comercial (Google Pixel Watch 3) a 200 Hz.

Arquitetura do Modelo:

• Rede Neural Multimodal Multi-tarefa: O sistema utiliza uma única rede neural profunda para prever simultaneamente o estado de contato (toque vs. não-toque) e a classificação de gestos.
• Codificadores (Encoders):
  • Rastreamento de Mãos: Utiliza uma Rede de Convolução Temporal (TCN) para extrair características espaciais e temporais das posições e acelerações das articulações.
  • IMU: Utiliza uma CNN 2D para processar os dados do sensor, aplicando filtros de banda (Butterworth) para decompor o sinal em diferentes faixas de frequência (0.22-8 Hz, 8-32 Hz, >32 Hz) e capturar dinâmicas sutis do pulso.
• Mecanismo de Fusão: Em vez de uma simples concatenação, o sistema emprega um Mecanismo de Fusão com Portão (Gated Fusion). Este mecanismo aprende a ponderar dinamicamente a importância de cada modalidade (visão vs. IMU) antes de combinar os recursos em uma representação unificada.
• Flexibilidade Operacional: O sistema pode operar em três modos: apenas rastreamento de mãos, apenas IMU (útil quando as mãos estão fora do campo de visão), ou o modo multimodal otimizado.

3. Contribuições Principais

• Fusão de Sensores Acessível: É a primeira obra a explorar gestos de superfície baseados em dedos usando IMUs de smartwatches comerciais (de consumo) combinados com dados de rastreamento de mãos padrão, eliminando a necessidade de hardware especializado ou modificação de superfícies.
• Robustez sem Calibração Explícita: O sistema funciona robustamente mesmo sem uma calibração precisa do plano da superfície, superando uma limitação crítica de métodos puramente visuais.
• Complementaridade de Modalidades: Demonstra que os dados de IMU fornecem informações temporais de alta frequência (micro-vibrações de contato) que compensam as falhas espaciais do rastreamento visual, e vice-versa.
• Pipeline em Tempo Real: Implementação eficiente com latência total de pipeline de ~13.6 ms, permitindo inferência em tempo real a 60-73 Hz.

4. Resultados

O estudo envolveu 21 participantes e avaliou o desempenho em diversas tarefas:

• Reconhecimento de Gestos (8 classes + não-gesto):
  • O modelo multimodal alcançou um F1-score médio de 95.0%.
  • Comparado a modelos unimodais: Rastreamento de mãos apenas (92.6%) e IMU apenas (82.7%). A fusão superou significativamente ambas as abordagens isoladas.
  • O sistema manteve alta precisão (92.6%) mesmo sem registro do plano da superfície, enquanto o modelo apenas de mãos caiu para 88.5%.
• Detecção de Estado de Contato (Toque vs. Não-toque):
  • Alcançou um F1-score de 91.2% no nível da janela temporal.
  • Superou significativamente uma linha de base baseada em limiar de distância (74.0%), demonstrando que o IMU fornece pistas de contato complementares à visão.
• Precisão Espacial:
  • Erro de Mira (Cross-hair targeting): Média de 7.07 mm.
  • Rastreamento de Trajetória (Path tracing): Erro médio de 12.4 mm.
  • Embora não seja tão preciso quanto sistemas dedicados com câmeras de profundidade (ex: 5.4 mm), o SurfaceXR oferece um desempenho aceitável sem hardware adicional.
• Latência:
  • Latência de detecção de início de toque (onset): 47 ms.
  • Latência de fim de toque (offset): 170 ms.

5. Significado e Aplicações

O SurfaceXR avança o estado da arte em interações XR ao permitir interfaces de superfície naturais, precisas e confortáveis usando hardware existente (headsets de XR e smartwatches).

• Aplicações Demonstradas:
  • Desenho e Esboço: Permite desenhar com precisão em superfícies físicas, reduzindo a fadiga.
  • Entrada de Texto e Trackpad: Interface dual que combina teclado virtual e trackpad ancorado à mesa, com fallback automático para o IMU em caso de oclusão.
  • Navegação em AR: Interface de álbum de fotos para óculos de AR (onde as mãos estão frequentemente fora da visão da câmera), utilizando apenas o IMU do smartwatch.
• Impacto Futuro: A abordagem elimina barreiras de entrada para interações de superfície em XR, tornando-as viáveis para uso generalizado sem a necessidade de instrumentar ambientes ou usar hardware caro. O trabalho sugere futuras melhorias através da integração de dados de profundidade, otimização para eficiência energética e suporte a superfícies não planas.

Em resumo, o SurfaceXR resolve o dilema entre a precisão das interações de superfície e a praticidade do hardware de consumo, oferecendo uma solução robusta e versátil para a próxima geração de interfaces em Realidade Estendida.