Geometry-aware attention for robust visual odometry

Para navegar por el mundo, un robot o un coche autónomo necesita saber dónde está y hacia dónde va. No puede confiar en un mapa que ya posee, porque a menudo está entrando en un entorno nuevo y desconocido. En su lugar, debe determinar su propio movimiento observando cómo el mundo pasa a través de una cámara. Este proceso, conocido como odometría visual, es como una persona caminando por una habitación oscura e intentando adivinar su camino sintiendo las paredes y observando cómo los muebles se desplazan en su visión periférica. Durante décadas, los científicos han intentado enseñar a las máquinas a hacer esto dándoles dos conjuntos diferentes de reglas. Un conjunto de reglas le dice a la máquina que observe la escena completa en su totalidad, notando cómo la luz y los colores cambian a lo largo de toda la imagen. Esto es bueno para ver el panorama general, pero puede confundirse si la iluminación cambia o si la cámara se mueve demasiado rápido. El otro conjunto de reglas le dice a la máquina que se concentre solo en puntos nítidos y distintos, como la esquina de una mesa o un ladrillo específico en una pared. Esto es muy preciso, pero falla por completo si la pared es lisa o si la lente de la cámara está sucia.

Durante mucho tiempo, los ingenieros tuvieron que elegir entre estos dos enfoques, aceptando que una máquina sería buena viendo el panorama general o buena rastreando detalles nítidos, pero rara vez ambas cosas. Esta limitación significaba que los robots a menudo tropezaban al enfrentarse al caos del mundo real, como conducir bajo la lluvia, caminar por una habitación llena de gente o volar un dron a través de un pasillo estrecho y sin rasgos distintivos. Un equipo de investigadores de Brasil y Canadá ha propuesto ahora una nueva forma de resolver este problema. Construyeron un sistema que no tiene que elegir. En su lugar, aprende a utilizar tanto la visión amplia del mundo como los detalles nítidos de puntos específicos, combinándolos para que las debilidades de un método sean cubiertas por las fortalezas del otro.

Los investigadores, liderados por Hudson Bruno y sus colegas, crearon una nueva arquitectura que llaman DDI-VO. El nombre proviene de Deep Direct-Indirect Visual Odometry (Odometría Visual Directa-Indirecta Profunda), lo que describe cómo funciona el sistema. Tiene dos partes principales que trabajan en paralelo. La primera parte actúa como un observador de gran angular. Observa el par de imágenes completo, captando el flujo de luz, la textura del suelo y la forma general del entorno. Esta parte es muy buena para comprender el contexto, como saber que un coche avanza porque la carretera se extiende por delante, incluso si la carretera está mojada y borrosa. La segunda parte actúa como un rastreador orientado a los detalles. Encuentra puntos específicos y nítidos en la imagen, como la esquina de un edificio o un patrón distintivo en una pared, y los sigue de cerca. Esta parte es excelente para medir distancias exactas, pero puede perderse si la pared es de color blanco liso o si la cámara se sacude demasiado.

La genialidad de su diseño reside en cómo estas dos partes se comunican entre sí. En el medio del sistema, hay un mecanismo que decide cuánto confiar en la visión de gran angular frente a los puntos nítidos en un momento dado. Imagine a un navegante que camina por una ciudad. A veces, el navegante mira todo el horizonte para saber en qué dirección se encuentra. Otras veces, mira un letrero de calle específico para saber exactamente dónde está. El nuevo sistema hace esto automáticamente. Si la lente de la cámara está cubierta de gotas de agua, el sistema aprende a ignorar los puntos borrosos y distorsionados que crea el agua y confía más en la forma general de la escena. Si la cámara se mueve a través de un largo pasillo blanco y vacío sin rasgos distintivos, el sistema cambia su enfoque hacia los cambios sutiles en toda la imagen en lugar de intentar encontrar puntos específicos que no existen. Esta capacidad de cambiar el enfoque dinámicamente permite que la máquina siga avanzando incluso cuando las condiciones visuales son terribles.

Para enseñar al sistema cómo tomar estas decisiones, los investigadores utilizaron una estrategia de entrenamiento ingeniosa. No lanzaron a la máquina directamente a una simulación de conducción compleja. En su lugar, comenzaron con una tarea más simple. Enseñaron al sistema a comprender cómo las superficies planas, como un trozo de papel o una pared, se mueven y se deforman cuando el ángulo de la cámara cambia. Esta es una habilidad geométrica fundamental que ayuda a la máquina a entender cómo las formas se relacionan entre sí en el espacio. Una vez que el sistema dominó esta geometría básica, le enseñaron la tarea más difícil de determinar exactamente cómo se movió la cámara a través de un entorno 3D. Este proceso de aprendizaje paso a paso, que los autores llaman "currículo", aseguró que el sistema tuviera una base sólida de comprensión geométrica antes de tener que lidiar con la realidad desordenada del video del mundo real.

Los investigadores probaron su nuevo sistema en una variedad de conjuntos de datos desafiantes que representan diferentes escenarios del mundo real. Utilizaron datos de coches conduciendo por autopistas, drones volando a través de habitaciones interiores y cámaras de mano moviéndose a través de espacios concurridos. En cada caso, compararon su sistema contra los mejores métodos existentes. Los resultados mostraron que, mientras otros sistemas a menudo fallaban drásticamente cuando las condiciones se volvían difíciles, el nuevo sistema se mantenía estable. Por ejemplo, en pruebas donde la lente de la cámara estaba cubierta de agua o la iluminación cambiaba repentinamente, el nuevo sistema continuó rastreando la trayectoria con precisión, mientras que los métodos antiguos perdían el rumbo y se desviaban. El sistema fue particularmente impresionante en entornos interiores donde hay pocos rasgos distintivos para rastrear, una situación en la que los métodos tradicionales suelen fallar.

El estudio también analizó exactamente cómo el sistema tomaba sus decisiones. Al visualizar hacia qué estaba "mirando" el sistema, los investigadores descubrieron que había aprendido a ignorar cosas que confundirían a un observador humano. Cuando la cámara se movía a través de una calle con coches en movimiento, el sistema aprendió a centrarse en la carretera y los edificios estáticos, ignorando los vehículos en movimiento que podrían engañar al rastreo. Cuando la lente estaba mojada, aprendió a suprimir los puntos borrosos causados por las gotas de agua. Esto sugiere que el sistema no solo está memorizando patrones, sino que realmente está aprendiendo las reglas subyacentes de la geometría y el movimiento. Ha aprendido a distinguir entre lo que es un punto de referencia fiable y lo que es simplemente ruido visual.

Los hallazgos sugieren que el futuro de la navegación robótica no reside en elegir entre diferentes tipos de sensores o algoritmos, sino en combinarlos inteligentemente. Al fusionar la visión amplia y consciente del contexto con la visión precisa y orientada a los detalles, los investigadores han creado un sistema lo suficientemente robusto como para manejar la naturaleza impredecible del mundo real. Aunque el sistema no es perfecto y todavía enfrenta desafíos en las condiciones más extremas, representa un paso significativo hacia la creación de máquinas autónomas que puedan navegar de manera segura y confiable, ya sea conduciendo un coche, volando un dron o guiando a un robot a través de un hospital concurrido. El trabajo demuestra que, al enseñar a las máquinas a equilibrar el panorama general con los pequeños detalles, podemos construir sistemas que sean mucho más resilientes que la suma de sus partes.