SC$^{2}$-WM: A Self-Correcting World Model with Closed-Loop Feedback for Vision-and-Language Navigation in Continuous Environments

Imagina que estás enseñando a un robot a ser un guía turístico en un laberinto gigante e invisible. El robot tiene una cámara y puede oír tu voz, pero no puede ver todo el mapa a la vez. Solo ve lo que tiene directamente frente a su lente. Este es el mundo de la Navegación de Visión y Lenguaje (VLNA). El robot tiene que escuchar una frase como "Camina pasando el sofá rojo, gira a la izquierda en el pasillo y detente ante la lámpara", y luego mover su cuerpo para encontrar esa lámpara. La parte difícil es que el robot es "parcialmente observable", lo que significa que es como caminar por una casa oscura con una linterna; solo puedes ver un pequeño círculo de luz y tienes que recordar por dónde has pasado para saber dónde estás.

La mayoría de los robots actuales intentan resolver esto creando un plan y luego ejecutándolo paso a paso, sin mirar atrás para ver si siguen en el camino correcto. Es como conducir un coche mientras miras fijamente un mapa de papel, negándote a mirar por el parabrisas hasta que chocas contra una pared. Si el robot comete un pequeño error al principio —como girar ligeramente demasiado a la izquierda—, sigue caminando en esa dirección equivocada y el error se acumula hasta que queda irremediablemente perdido. Este artículo presenta una nueva forma de hacer pensar a los robots: en lugar de simplemente caminar a ciegas, aprenden a "soñar despiertos" sobre lo que pasará después, comprobar si ese sueño coincide con sus sensaciones actuales y corregir su rumbo antes de dar siquiera un paso.

El robot que sueña despierto para no perderse

Conozcan a SC2-WM, un nuevo cerebro robótico diseñado para navegar por estos complicados mundos 3D continuos. Los autores de este artículo notaron que la mayoría de los robots son como estudiantes que hacen un examen sin revisar sus respuestas. Leen la instrucción, hacen una suposición y se mueven. Si fallan en su suposición, no se dan cuenta hasta que chocan contra una pared o se quedan atascados. Los investigadores quisieron darle al robot un "segundo par de ojos" que viva dentro de su propia cabeza.

Piensen en SC2-WM como un robot con un superpoder: la previsión. Antes de que el robot mueva realmente sus piernas, hace una pausa y se pregunta a sí mismo: "Si doy este paso, ¿cómo se verá el mundo un segundo de aquí en adelante?". Crea una película mental del futuro. Esto se llama un "Modelo de Mundo" (World Model). Es como un jugador de ajedrez que no solo mueve una pieza, sino que imagina el siguiente movimiento del oponente y el estado del tablero después de eso.

Aquí es donde ocurre la magia. El robot compara su "película mental" del futuro con su realidad actual.

• El arreglo a "Nivel de Estado": Imagina que estás caminando y sueñas despierto que deberías estar viendo una cocina, pero tus ojos te dicen que todavía estás en un dormitorio. Tu cerebro dice: "¡Espera, algo no está bien!". SC2-WM hace exactamente esto. Nota la discrepancia entre su predicción y su estado actual. Luego, ajusta suavemente su mapa interno para corregir el error antes de dar el paso. Es como un GPS que se da cuenta de que te saltaste un giro e instantáneamente recalcula la ruta antes de que conduzcas por la calle equivocada.
• El arreglo a "Nivel de Modelo": A veces, la capacidad de soñar despierto del robot no es lo suficientemente buena para una habitación extraña que nunca ha visto antes. Tal vez las paredes son de un color diferente o los muebles están dispuestos de forma extraña. En estos casos, el robot se da cuenta de: "¡Mi mapa interno está desactualizado!". Entonces activa un "modo de adaptación" especial. Actualiza rápidamente sus propias reglas cerebrales para comprender mejor este entorno específico. Es como un estudiante que se da cuenta de que su guía de estudio es incorrecta para este examen específico, así que reescribe rápidamente sus notas para que coincidan con las nuevas preguntas.

El artículo argumenta que confiar en recompensas externas (como que un humano diga "¡Buen trabajo!" solo al final) es demasiado lento y poco frecuente. En su lugar, SC sea utiliza retroalimentación interna. Escucha su propio "sentimiento visceral" (la diferencia entre lo que esperaba y lo que ve) para corregirse en tiempo real.

Lo que demostraron los experimentos

Los investigadores probaron este robot que "sueña despierto" en dos mundos digitales importantes: R2R-CE y RxR-CE. Estos son entornos 3D complejos llenos de muebles, pasillos e instrucciones complicadas. Compararon a SC2-WM con otros robots de alto nivel que no tienen esta capacidad de autocorrección.

Los resultados fueron bastante prometedores. En el conjunto de datos R2R-CE, cuando el robot tenía que navegar por habitaciones no vistas (como una casa nueva que nunca había visitado), SC2-WM mejoró su Tasa de Éxito (SR) en un 7,1% y su Éxito ponderado por la Longitud del Camino (SPL) en casi un 7,8% en comparación con el mejor método anterior. También recorrió trayectos más cortos, promediando 5 metros menos de distancia que los demás, lo que significa que no deambulaba tanto.

En el conjunto de datos RxR-CE, que es aún más difícil y tiene instrucciones más largas y complejas, el robot mejoró su tasa de éxito en un 9,1% y su eficiencia de trayectoria en un 7,1%. Los investigadores también probaron el robot en un robot físico real, un Unitree GO2 quadruped (un robot cuadrúpedo similar a un perro con cámara). En el mundo real, SC2-WM logró una tasa de éxito del 85%, superando el 70% del robot estándar. Esto sugiere que el truco de "soñar despierto" funciona no solo en simulaciones por computadora, sino también en habitaciones reales y desordenadas.

Por qué esto es importante

El artículo sugiere que, al dar a los robots la capacidad de comprobar sus propias predicciones internas, podemos hacerlos mucho más fiables. En lugar de ser máquinas rígidas que siguen un guion y fallan cuando las cosas salen ligeramente mal, SC2-WM actúa más como un explorador cauteloso que comprueba constantemente su brújula. No necesita que un humano le diga que se ha equivocado; él mismo lo descubre al darse cuenta de que su "sueño" no coincidía con la realidad.

Los autores advierten cuidadosamente que esto no es una solución mágica que lo resuelve todo instantáneamente. Encontraron que el robot funciona mejor cuando tiene una buena memoria de los pasos recientes (unos 4 pasos hacia atrás) y cuando solo actualiza sus reglas cerebrales cuando realmente lo necesita. También señalan que, mientras que otros métodos utilizan modelos de IA masivos y pesados, SC2-WM es "ligero", funcionando eficientemente en una sola tarjeta gráfica. Esto significa que eventualmente podría ponerse en robots pequeños del mundo real que necesiten navegar por nuestros hogares sin necesidad de una supercomputadora en la nube.

En resumen, SC2-WM enseña a los robots a ser un poco más conscientes de sí mismos. Al permitirles "pensar por adelantado" y corregir sus propios errores antes de que ocurran, podríamos finalmente obtener robots que puedan navegar por nuestro mundo complejo y desordenado sin perderse en el primer pasillo.