Int3DNet: Scene-Motion Cross Attention Network for 3D Intention Prediction in Mixed Reality

Resumo Técnico: Int3DNet

1. Problema e Motivação

A previsão de intenção humana é crucial para sistemas de Realidade Mista (MR) que desejam oferecer interações proativas e sem atrasos. No entanto, a previsão de intenção em MR enfrenta desafios únicos em comparação com a Robótica ou HCI tradicional:

• Restrições de Sensoriamento: Diferente de sistemas com câmeras externas (exocêntricas) que capturam o corpo inteiro, os dispositivos MR (HMDs) dependem de câmeras egocêntricas. Isso limita as informações disponíveis principalmente às trajetórias da cabeça e das mãos, tornando a reconstrução do corpo completo ruidosa e pouco confiável.
• Ambientes Complexos: Métodos existentes frequentemente falham em cenas complexas e desordenadas (cluttered), onde a atenção visual (olhar/gaze) pode ser bloqueada por obstáculos, não correspondendo necessariamente ao objeto de interação real.
• Percepção Baseada em Objetos: Abordagens anteriores que tentam segmentar e rastrear objetos individualmente antes de prever a intenção introduzem latência e sobrecarga computacional, o que é crítico para a imersão em MR.

O objetivo do trabalho é prever a área de intenção 3D diretamente a partir da geometria da cena e de pistas de movimento esparsas (cabeça e mãos), sem depender da percepção explícita de objetos ou de dados de corpo completo.

2. Metodologia (Int3DNet)

O Int3DNet é uma rede neural que funde representações geométricas da cena com pistas de movimento esparsas usando um mecanismo de Atenção Cruzada (Cross-Attention).

• Entradas:

  • Geometria da Cena: Nuvem de pontos 3D bruta ($S$) capturada pelo sensor de profundidade do HMD.
  • Pistas de Movimento: Trajetórias 3D e velocidades da cabeça e de ambas as mãos ($J_{1:T}, V_{1:T}$) ao longo de um intervalo temporal passado.
  • Orientação da Cabeça: Vetor de orientação da cabeça ($H_{1:T}$), utilizado como proxy para a atenção visual (gaze), já que o rastreamento ocular nem sempre está disponível em todos os HMDs.

• Arquitetura:

  1. Codificação da Cena: A nuvem de pontos é processada por uma arquitetura PointNet++, que extrai características latentes espaciais hierárquicas, mantendo a invariância à ordem dos pontos.
  2. Codificação de Movimento:
     • As trajetórias e orientações passam por uma Transformada Discreta de Cosseno (DCT) para reduzir redundância temporal.
     • São codificadas por um GCN (Graph Convolutional Network) Espacial-Temporal para capturar dependências espaciais e temporais entre as articulações (cabeça e mãos).
  3. Fusão por Atenção Cruzada:
     • As características da cena atuam como Query (Q).
     • As características de movimento codificadas atuam como Key (K) e Value (V).
     • O mecanismo de atenção calcula pesos que indicam quais pontos da cena são mais relevantes dado o movimento do usuário. A suposição é que os pesos de atenção atribuídos aos pontos da cena refletem a atenção humana.
  4. Saída: Um mapa de calor 3D (heatmap) sobre a nuvem de pontos, onde cada ponto recebe uma pontuação de probabilidade de interação futura.

• Função de Perda: O modelo é treinado com uma combinação de três funções de perda para lidar com o desequilíbrio de classes e a coerência espacial:

  • Binary Cross-Entropy (BCE) ponderada.
  • Focal Loss (para focar em exemplos difíceis).
  • Dice Loss (para garantir sobreposição espacial entre a previsão e o ground truth).

3. Principais Contribuições

1. Int3DNet: Uma nova rede para MR que integra contexto da cena e pistas de movimento esparsas (cabeça-mão) para prever áreas de intenção 3D, adaptando-se às restrições práticas dos HMDs.
2. Robustez em Cenários Diversos: Validação da eficácia do método não apenas em ambientes simples (como mesas), mas também em cenas complexas e desordenadas, superando a dependência exclusiva de pistas de gaze.
3. Aplicação Prática (VQA): Demonstração de um pipeline de Visual Question Answering (VQA) baseado em intenção. O sistema usa a área de intenção prevista para recortar regiões relevantes da imagem, permitindo que um Modelo de Linguagem Visual (VLM) raciocine sobre o futuro foco do usuário com maior eficiência e menos tokens visuais.

4. Resultados Experimentais

O método foi avaliado em dois conjuntos de dados públicos: MoGaze (cenários simples) e CIRCLE (cenários complexos e desordenados).

• Desempenho Quantitativo:
  • O Int3DNet superou consistentemente as baselines (Modelo de Orientação da Cabeça, Modelo de Movimento Futuro, Modelo Apenas de Cena) em todas as métricas (SIM, AUC, mIoU, Dice) e horizontes temporais (até 1500 ms no CIRCLE e até 1200 ms no MoGaze).
  • No conjunto de dados CIRCLE (complexo), o método manteve alta precisão mesmo com 1,5 segundos de antecedência, enquanto métodos baseados apenas em movimento ou gaze falharam significativamente.
  • Em MoGaze, o desempenho superior foi mantido até 1200 ms; após isso, a ambiguidade de múltiplos alvos no mesmo cenário reduziu a vantagem, mas o modelo ainda se manteve competitivo.
• Estudos de Ablação:
  • A substituição da atenção cruzada por um MLP simples resultou em queda drástica de desempenho, confirmando a importância de modelar as relações entre cena e movimento.
  • A direção da atenção (Cena como Query, Movimento como Key/Value) provou ser superior à inversa, especialmente em ambientes com distrações.
  • O uso combinado das três perdas (BCE, Focal, Dice) ofereceu o melhor equilíbrio entre precisão de detecção e sobreposição espacial.
• Demonstração de VQA:
  • Ao usar a área de intenção para recortar a imagem antes de enviar ao VLM, o sistema reduziu o número de candidatos de objetos em cerca de 93,6% em comparação com o uso da imagem completa, demonstrando eficiência computacional e precisão.

5. Significado e Impacto

O Int3DNet representa um avanço significativo para a interação homem-máquina em Realidade Mista:

• Processamento Proativo: Permite que o sistema antecipe a ação do usuário antes do contato físico, reduzindo a latência percebida e melhorando a imersão.
• Eficiência Computacional: Ao evitar a segmentação de objetos e o rastreamento de corpo completo, o método é leve o suficiente para rodar em dispositivos com recursos limitados (HMDs).
• Generalização: A capacidade de funcionar em cenas não vistas durante o treinamento e em ambientes desordenados torna a tecnologia viável para aplicações do mundo real, indo além de laboratórios controlados.
• Novo Paradigma: Estabelece que a fusão direta de geometria bruta e movimento esparsos via atenção cruzada é uma abordagem mais robusta do que métodos baseados apenas em previsão de trajetória ou atenção visual isolada.

Em suma, o trabalho oferece uma solução robusta e eficiente para a previsão de intenção 3D, habilitando sistemas MR mais inteligentes, responsivos e adaptativos.