ORBIT++: Benchmarking SfM in the Wild with 360{\deg} Video

Para comprender cómo una computadora ve el mundo, imagine intentar reconstruir una habitación tridimensional utilizando únicamente una serie de fotografías bidimensionales. Este es el desafío fundamental de un campo llamado estructura a partir del movimiento (structure-from-motion). El objetivo es tomar un video, donde la cámara se desplaza por el espacio, y calcular matemáticamente dónde estaba la cámara en cada momento exacto, mientras se construye simultáneamente un modelo 3D del entorno que la rodea. Esta tecnología es el motor invisible detrás de las aplicaciones de realidad aumentada que colocan muebles virtuales en su sala de estar, los mapas que guían a los vehículos autónomos y las herramientas que permiten a los cineastas crear mundos virtuales inmersivos. Durante años, los investigadores han dependido de pruebas estándar para ver si sus nuevos algoritmos de visión computarizada funcionan. Sin embargo, estas pruebas suelen utilizar escenas estáticas simples o simulaciones generadas por computadora que no reflejan la realidad desordenada y caótica del mundo real. Cuando una cámara se mueve rápidamente, cuando el suelo está cubierto de nieve o cuando una multitud de personas camina por el encuadre, el software más avanzado suele fallar por completo, siendo incapaz de distinguir qué dirección es hacia arriba o qué tan lejos está un objeto.

Un equipo de investigadores de Google DeepMind y varias universidades ha abordado esta brecha creando una nueva prueba, mucho más difícil, llamada ORBIT. Se dieron cuenta de que para probar verdaderamente la capacidad de una cámara para navegar en lo salvaje, necesitaban una fuente de datos que fuera tanto increíblemente rica en información visual como difícil de procesar. Encontraron esta fuente en la creciente biblioteca de videos de 360 grados capturados por cámaras de consumo. A diferencia de un video estándar que mira a través de una ventana estrecha, una cámara de 360 grados captura una esfera completa del mundo a su alrededor, viendo en todas las direcciones a la vez. Los investigadores utilizaron estos videos panorámicos para generar un conjunto de datos de referencia diseñado específicamente para romper la tecnología actual. Al tomar estas vistas omnidireccionales y recortarlas en clips de ángulo estrecho estándar, crearon cientos de escenarios desafiantes que imitan las condiciones difíciles que un teléfono inteligente o un dron podrían encontrar, tales como movimiento rápido, poca luz y multitudes en movimiento.

El proceso de construcción de esta prueba fue un ejercicio cuidadoso de verificación. Los investigadores comenzaron recopilando diversos videos de 360 grados de internet, que presentaban desde viajes en canoa y recorridos de esquí hasta concurridos sitios turísticos. Debido a que el video original captura la esfera completa, el equipo pudo utilizar un algoritmo especializado para calcular la trayectoria de la cámara con alta confianza, sabiendo que incluso si una parte de la vista era borrosa o estaba en movimiento, otras partes de la esfera permanecerían claras y estables. Trataron a la cámara como si fuera un soporte que sostiene cuatro lentes separadas, lo que les permitió contrastar la trayectoria desde múltiples ángulos para asegurar que los datos fueran precisos. Una vez que tuvieron una trayectoria de "verdad fundamental" (ground truth) confiable para el video de 360 grados, reproyectaron digitalmente las imágenes para crear videos de perspectiva estándar. Estos nuevos clips no fueron cortes aleatorios; los investigadores eligieron deliberadamente puntos de vista que se sabía que eran difíciles, como mirar directamente a una masa de agua en movimiento o a un vehículo que se desplaza rápidamente, y añadieron sacudidas de cámara simuladas para hacer la tarea aún más difícil. El resultado final es una colección de 308 clips de video, cada uno de hasta 30 segundos de duración, que sirven como un riguroso circuito de obstáculos para el software de visión computarizada.

Cuando los investigadores probaron los métodos actuales de vanguardia contra este nuevo referente, los resultados fueron contundentes. Evaluaron varios algoritmos líderes, incluyendo herramientas tradicionales que han sido el estándar de la industria durante años y sistemas más nuevos basados en el aprendizaje que utilizan inteligencia artificial. Los hallazgos mostraron que incluso los mejores métodos existentes luchan significativamente en estas condiciones del mundo real. Una gran parte de los clips causó que el software fallara por completo, lo que significa que la computadora no pudo rastrear el movimiento de la cámara durante más de unos pocos segundos. Por ejemplo, los métodos tradicionales que dependen de encontrar patrones distintos en la imagen, como bordes de edificios o texturas en el suelo, a menudo se rendían ante superficies lisas como el agua o la nieve. Mientras tanto, los métodos más nuevos impulsados por IA, que están diseñados para adivinar la estructura 3D basándose en patrones que aprendieron durante el entrenamiento, tropezaban frecuentemente cuando la cámara se movía rápidamente o rotaba de formas que no habían visto antes. Los datos revelaron que ningún método único podía manejar todos los desafíos; algunos eran buenos rastreando a través de multitudes pero fallaban en la baja luz, mientras que otros manejaban bien el movimiento rápido pero perdían el rumbo en entornos sin textura.

El estudio destaca que el campo ha llegado a un punto en el que el progreso es difícil de medir porque las pruebas son demasiado fáciles. Los investigadores encontraron que, en su nuevo benchmark, cada método probado falló al estimar la posición de la cámara correctamente en al menos el 36 por ciento de los clips. Esto sugiere que la generación actual de tecnología aún no está lista para las aplicaciones más exigentes en el mundo real. El artículo argumenta que la falta de un referente fiable y difícil ha estado frenando el campo, permitiendo que los investigadores reclamen éxito en tareas simples mientras pasan por alto los problemas fundamentales que ocurren en escenas complejas y dinámicas. Al proporcionar un conjunto de datos que es tanto diverso como rigurosamente verificado, el equipo espera dar a los desarrolladores un objetivo claro para la mejora. El trabajo no ofrece una nueva solución a estos problemas, sino más bien una mejor manera de medirlos, demostrando que todavía queda un largo camino por delante antes de que las computadoras puedan navegar de manera confiable por el mundo salvaje e impredecible con la misma facilidad que los humanos.