Enriching physical-virtual interaction in AR gaming by tracking identical objects via an egocentric partial observation frame

Resumen Técnico: Enriquecimiento de la interacción físico-virtual en juegos de RA mediante el seguimiento de objetos idénticos a través de un marco de observación parcial egocéntrico

Planteamiento del Problema
Los juegos de Realidad Aumentada (RA), particularmente aquellos que utilizan visores montados en la cabeza (HMD), suelen tener dificultades para mantener interacciones consistentes con objetos físicos cuando el entorno es dinámico. Los sistemas existentes suelen depender de entornos estáticos previamente escaneados, seguimiento continuo o soluciones basadas en marcadores. Estos enfoques enfrentan limitaciones significativas en contextos de RA portátiles:

1. Adaptabilidad Dinámica: La disposición del mundo real es manipulada frecuentemente por los usuarios; sin embargo, los sistemas estándar no pueden adaptarse sin realizar un nuevo escaneo.
2. Restricciones Egocéntricas: Los visores de RA se mueven con el usuario, lo que impide los puntos de vista fijos y estacionarios requeridos por los algoritmos tradicionales de Seguimiento de Múltiples Objetos (MOT).
3. Objetos Idénticos: Distinguir entre objetos visualmente idénticos (por ejemplo, múltiples sillas o gallineros) es un desafío para el seguimiento basado en características, que a menudo falla sin una observación ininterrumpida o sensores externos.
4. Eficiencia de Recursos: La observación continua de la escena es computacionalmente costosa y poco eficiente en términos de energía para dispositivos portátiles con restricciones de batería.

Metodología
Los autores proponen un marco ligero, basado en la optimización, que reidentifica objetos visualmente idénticos utilizando únicamente un único cuadro de observación parcial egocéntrico capturado por un visor de RA. El sistema opera bajo la suposición de que, en contextos de juegos de RA, los objetos mantienen relaciones espaciales relativamente estables (posiciones y orientaciones relativas) a lo largo del tiempo.

El flujo de trabajo técnico consta de los siguientes componentes:

1. Estimación de Pose 6DOF: El sistema primero estima las poses de 6 Grados de Libertad (6DOF) de los objetos en el sistema de coordenadas de la cámara. Esto puede utilizar soluciones comerciales (por ejemplo, Objectron) o un flujo de trabajo de visión por computadora personalizado que involucre segmentación (SAM), representación de vectores densos (CLIP) y renderizado diferenciable.
2. Transformación de Coordenadas: Las poses de los objetos detectados se transforman del sistema de coordenadas de la cámara al sistema de coordenadas del mundo, utilizando la pose conocida del visor de RA.
3. Partición y Poda mediante Diagramas de Voronoi: Para gestionar la complejidad computacional en escenas grandes, el entorno se particiona en sitios de Voronoi basados en clústeres semánticos. Una estrategia de poda filtra el espacio de búsqueda para las etiquetas de objetos potenciales. El sistema calcula la probabilidad de que un sitio sea relevante basándose en la distancia de la cámara al centro del sitio, filtrando los sitios distantes que tienen menos probabilidades de producir detecciones precisas.
4. Formulación de Programación Entera: El núcleo del método formula la asignación de etiquetas de objetos como una tarea de programación entera. El objetivo es minimizar una función de costo que alinee los objetos detectados en la disposición cambiada con los posibles objetos en la disposición inicial. La función de costo comprende tres términos:
   • Costo de Traslación ($C_t$): Mide el desplazamiento horizontal ($x, z$) entre los objetos posibles y detectados, normalizado por la longitud de la diagonal de la escena.
   • Costo de Rotación ($C_r$): Mide la diferencia angular alrededor del eje y, normalizada mediante una función de seno para manejar la simetría y la restricción de rotación máxima de 180°.
   • Costo de Dimensión ($C_d$): Compara las dimensiones de la caja delimitadora (ancho, alto, profundidad) de los objetos posibles y detectados para manejar posibles desajustes de categoría.
     El objetivo es minimizar el costo total ponderado ($C_{i \to j}$) sujeto a restricciones que aseguren que cada objeto detectado sea asignado exactamente a una etiqueta y que cada etiqueta se utilice como máximo una vez.

Contribuciones Clave

1. Marco Novedoso: Un enfoque ligero basado en la optimización para la reidentificación de objetos visualmente idénticos en escenas de RA utilizando un único cuadro de observación parcial egocéntrico, eliminando la necesidad de seguimiento continuo o dispositivos externos.
2. Formulación Algorítmica: El problema se formula como una tarea de programación entera basada en la consistencia espacial, aumentada con una estrategia de poda basada en diagramas de Voronoi para mejorar la eficiencia computacional.
3. Validación: El enfoque se valida mediante experimentos sintéticos cuantitativos (variando niveles de complejidad y ruido) y experimentos en el mundo real cuantitativos en Microsoft HoloLens 2. Además, tres demostraciones cualitativas en el mundo real (un juego de la granja a la mesa, un escenario de narración de historias en RA y una simulación de entrega de robots) ilustran la generalizabilidad del método.

Resultados

• Experimentos Sintéticos: En entornos simulados con niveles variables de ruido (traslación y rotación), el método alcanzó una precisión del 91% mientras reducía el tiempo de computación en un 50% en comparación con los enfoques sin poda. Los estudios de ablación confirmaron que el costo de traslación tuvo el impacto más significativo en la precisión, seguido por los costos de rotación y dimensión.
• Experimentos en el Mundo Real: En HoloLens 2, el sistema logró precisiones promedio de 80.82% (Despensa), 88.51% (Cafetería) y 80.10% (Aula). El costo de tiempo para resolver las ID mediante programación entera en el dispositivo osciló entre 2.82 ms y 5.66 ms.
• Demostraciones Cualitativas: El sistema mantuvo con éxito la lógica del juego en un juego de "Granja a la Mesa" a pesar de las reorganizaciones físicas de gallineros y cercados idénticos. También permitió que personajes virtuales permanecieran sentados en sillas reales después de que las sillas fueran movidas y facilitó que un robot de entrega identificara una silla específica entre opciones idénticas.

Significancia y Reivindicaciones
El artículo afirma que este enfoque aborda una brecha crítica en los juegos de RA: la capacidad de soportar entornos físicos dinámicos e interacciones físico-virtuales fluidas sin la sobrecarga de un nuevo escaneo, observación continua o sistemas complicados basados en marcadores. Al aprovechar la consistencia espacial y la programación entera, el método permite la interacción fluida en escenarios que involucran objetos idénticos, los cuales son ubicuos tanto en el ámbito físico como en el virtual. Los autores enfatizan que, si bien el método depende de suposiciones específicas (por ejemplo, que los objetos se mueven principalmente en un plano 2D y rotan solo alrededor del eje y), ofrece una solución práctica y sin marcadores para mejorar la inmersión en aplicaciones de RA donde la persistencia de la identidad del objeto es requerida a pesar de los cambios en la disposición. El trabajo sugiere que tales capacidades son esenciales para las próximas experiencias de RA, incluyendo la narrativa y la robótica, donde los mundos físicos y virtuales deben permanecer sincronizados.