Enriching physical-virtual interaction in AR gaming by tracking identical objects via an egocentric partial observation frame

Resumo Técnico: Enriquecendo a interação físico-virtual em jogos de RA através do rastreamento de objetos idênticos via uma observação parcial egocêntrica

Definição do Problema
Jogos de Realidade Aumentada (RA), particularmente aqueles que utilizam displays montados na cabeça (HMDs), frequentemente lutam para manter interações consistentes com objetos físicos quando o ambiente é dinâmico. Os sistemas existentes normalmente dependem de ambientes estáticos pré-escaneados, rastreamento contínuo ou soluções baseadas em marcadores. Essas abordagens enfrentam limitações significativas em contextos de RA vestíveis:

1. Adaptabilidade Dinâmica: Os layouts do mundo real são frequentemente manipulados pelos usuários, mas os sistemas padrão não conseguem se adaptar sem novo escaneamento.
2. Restrições Egocêntricas: Os headsets de RA movem-se com o usuário, impedando os pontos de vista fixos e estacionários exigidos pelos algoritmos tradicionais de Rastreamento de Múltiplos Objetos (MOT).
3. Objetos Idênticos: Distinguir entre objetos visualmente idênticos (ex: várias cadeiras ou galinheiros) é desafiador para o rastreamento baseado em características, que frequentemente falha sem observação ininterrupta ou sensores externos.
4. Eficiência de Recursos: A observação contínua da cena é computacionalmente cara e energeticamente ineficiente para dispositivos vestíveis com restrição de bateria.

Metodologia
Os autores propõem um framework leve, baseado em otimização, que reidentifica objetos visualmente idênticos usando apenas um único quadro de observação parcial egocêntrica capturado por um headset de RA. O sistema opera sob a premissa de que, em contextos de jogos de RA, os objetos mantêm relações espaciais relativamente estáveis (posições e orientações relativas) ao longo do tempo.

O pipeline técnico consiste nos seguintes componentes:

1. Estimativa de Pose 6DOF: O sistema primeiro estima as poses de 6 Graus de Liberdade (6DOF) dos objetos no sistema de coordenadas da câmera. Isso pode utilizar soluções prontas (ex: Objectron) ou um pipeline de visão computacional customizado envolvendo segmentação (SAM), representação vetorial densa (CLIP) e renderização diferenciável.
2. Transformação de Coordenadas: As poses dos objetos detectados são transformadas do sistema de coordenadas da câmera para o sistema de coordenadas do mundo, utilizando a pose conhecida do headset de RA.
3. Particionamento e Poda por Diagrama de Voronoi: Para gerenciar a complexidade computacional em cenas grandes, o ambiente é particionado em sítios de Voronoi baseados em clusters semânticos. Uma estratégia de poda filtra o espaço de busca para rótulos de objetos potenciais. O sistema calcula a probabilidade de um sítio ser relevante com base na distância da câmera ao centro do sítio, filtrando sítios distantes que têm menor probabilidade de gerar detecções precisas.
4. Formulação de Programação Inteira: O núcleo do método formula a atribuição de rótulos de objetos como uma tarefa de programação inteira. O objetivo é minimizar uma função de custo que alinha objetos detectados no layout alterado com possíveis objetos no layout inicial. A função de custo compreende três termos:
   • Custo de Translação ($C_t$): Mede o deslocamento horizontal ($x, z$) entre objetos possíveis e detectados, normalizado pelo comprimento da diagonal da cena.
   • Custo de Rotação ($C_r$): Mede a diferença angular em torno do eixo y, normalizada usando uma função seno para lidar com simetria e a restrição de rotação máxima de 180°.
   • Custo de Dimensão ($C_d$): Compara as dimensões da caixa delimitadora (largura, altura, profundidade) de objetos possíveis e detectados para lidar com potenciais incompatibilidades de categoria.
     O objetivo é minimizar o custo total ponderado ($C_{i \to j}$) sujeito a restrições que garantem que cada objeto detectado seja atribuído a exatamente um rótulo e que cada rótulo seja usado no máximo uma vez.

Principais Contribuições

1. Framework Inovador: Uma abordagem leve, baseada em otimização, para reidentificar objetos visualmente idênticos em cenas de RA usando uma única observação parcial egocêntrica, eliminando a necessidade de rastreamento contínuo ou dispositivos externos.
2. Formulação Algorítmica: O problema é formulado como uma tarefa de programação inteira baseada em consistência espacial, aumentada com uma estratégia de poda baseada em diagrama de Voronoi para aumentar a eficiência computacional.
3. Validação: A abordagem é validada através de experimentos sintéticos quantitativos (variando níveis de complexidade e ruído) e experimentos reais quantitativos no Microsoft HoloLens 2. Adicionalmente, três demonstrações qualitativas do mundo real (um jogo de Farm-to-Table, um cenário de narrativa em RA e uma simulação de entrega de robô) ilustram a generalizabilidade do método.

Resultados

• Experimentos Sintéticos: Em ambientes simulados com níveis variáveis de ruído (translação e rotação), o método alcançou 91% de precisão enquanto reduzia o tempo de computação em 50% comparado a abordagens sem poda. Estudos de ablação confirmaram que o custo de translação teve o impacto mais significativo na precisão, seguido pelos custos de rotação e dimensão.
• Experimentos Reais: No HoloLens 2, o sistema alcançou precisões médias de 80,82% (Despensa), 88,51% (Cafeteria) e 80,10% (Sala de Aula). O custo de tempo para resolver IDs via programação inteira no dispositivo variou de 2,82 ms a 5,66 ms.
• Demonstrações Qualitativas: O sistema conseguiu manter a lógica do jogo em um jogo de Farm-to-Table apesar de rearranjos físicos de galinheiros e cercados idênticos. Também permitiu que personagens virtuais permanecessem sentados em cadeiras reais após as cadeiras serem movidas e facilitou um robô de entrega na identificação de uma cadeira alvo específica entre opções idênticas.

Significância e Alegações
O artigo afirma que esta abordagem aborda uma lacuna crítica na jogabilidade de RA: a capacidade de suportar ambientes físicos dinâmicos e interações físico-virtuais fluidas sem o overhead de re-escaneamento, observação contínua ou sistemas complicados baseados em marcadores. Ao alavancar a consistência espacial e a programação inteira, o método permite a interação fluida em cenários envolvendo objetos idênticos, que são ubíquos tanto no reino físico quanto no virtual. Os autores enfatizam que, embora o método dependa de suposições específicas (ex: objetos movendo-se primariamente em um plano 2D e rotacionando apenas em torno do eixo y), ele oferece uma solução prática e sem marcadores para aumentar a imersão em aplicações de RA onde a persistência da identidade do objeto é necessária, apesar das mudanças de layout. O trabalho sugere que tais capacidades são essenciais para as próximas gerações de experiências de RA, incluindo narrativa e robótica, onde os mundos físico e virtual devem permanecer sincronizados.