Latent World Models with Monotone Planning Costs for Image-Goal Navigation

Imagina que estás enseñando a un robot a encontrar su camino a través de un laberinto, pero no puedes darle un mapa, un GPS, ni siquiera una brújula. La única pista que tienes es una única fotografía del destino. Este es el desafío de la navegación con objetivo de imagen. Para resolverlo, un robot no puede simplemente mirar la foto y adivinar; necesita ser un poco soñador. Necesita un "modelo de mundo"—un simulador mental que le permita preguntarse: "¿Si doy un paso a la izquierda, cómo se verá el mundo? Si giro a la derecha, ¿dónde terminaré?". Al ejecutar miles de estas simulaciones mentales, el robot puede elegir la mejor ruta antes de mover siquiera una rueda. Sin embargo, hay un inconveniente: si el simulador mental del robot es malo adivinando el futuro, o si no puede distinguir entre un camino "bueno" y uno "malo", se perderá. El robot necesita una forma de clasificar sus ensueños, asegurando que el camino que realmente conduce a la foto reciba la puntuación más alta.

Este artículo aborda exactamente ese problema: cómo construir el simulador mental de un robot para que no solo prediga el futuro con precisión, sino que también sepa cómo "calificar" sus propias predicciones. Los investigadores descubrieron que simplemente entrenar a un robot para predecir el siguiente paso no es suficiente. Si el robot es entrenado para adivinar el futuro basándose en datos perfectos del mundo real (un método llamado "teacher forcing"), depende de una verdad externa y falla cuando tiene que adivinar el futuro basándose en sus propios cálculos imperfectos. Además, descubrieron que intentar que las predicciones del robot sean más "discriminativas" utilizando un tipo específico de aprendizaje contrastivo en realidad arruinaba la geometría de su mapa mental, dificultando la planificación. En su lugar, propusieron un nuevo método de entrenamiento que obliga al robot a practicar la predicción del futuro utilizando sus propios cálculos previos (despliegue autorregresivo) y añade una regla especial: cuanto más se aleje un camino del objetivo, mayor será el "costo" o la penalización que debe recibir. Esto crea un paisaje suave y monótono donde el robot puede deslizarse fácilmente hacia el mejor camino.

El problema de los ensueños del robot

Piensa en un robot que intenta navegar hacia una imagen objetivo como un excursionista que intenta llegar a la cima de una montaña específica usando solo una foto de la vista desde la cima. El excursionista no tiene mapa, no tiene brújula y no tiene idea de dónde se encuentra en este momento. Solo tiene sus ojos y una imagen mental del destino. Para llegar allí, el excursionista necesita imaginar: "Si camino al norte, ¿se parecerán los árboles a la foto? Si camino al sur, ¿veré un acantilado?".

En el mundo de la robótica, esta simulación mental se llama Modelo de Mundo. Es una red neuronal que actúa como una bola de cristal. Le dices: "Esto es lo que veo ahora, y esta es la acción que estoy pensando en tomar", y ella responde: "Esto es lo que verás después". Al encadenar estas predicciones, el robot puede simular todo un viaje en su cabeza.

Pero aquí está la parte difícil: La Planificación. Tener una bola de cristal no es suficiente; necesitas saber qué camino es el mejor. El robot prueba cientos de caminos imaginarios diferentes. Necesita una forma de puntuarlos. En este artículo, la puntuación se basa en la distancia de coseno, que es una forma elegante de medir qué tan similares son dos imágenes (o sus "huellas digitales" digitales). Si la simulación mental del robot sobre el final del camino se parece mucho a la foto del objetivo, la puntuación es buena. Si no se parece en nada al objetivo, la puntuación es mala.

El problema que encontraron los autores es que muchos robots existentes son terribles en este juego de puntuación. Pueden predecir el futuro con precisión para un paso, pero cuando intentan predecir diez pasos adelante, sus predicciones se descarrilan. Peor aún, incluso si predicen el futuro bien, el "costo" que asignan a los diferentes caminos puede ser caótico. Imagina a un excursionista donde el camino que lleva a un acantilado recibe una puntuación "excelente" y el camino a la cima de la montaña recibe una puntuación "terrible". ¡El excursionista caminaría directo al vacío! Esto sucede cuando la relación entre "qué tan lejos estás del objetivo" y "tu puntuación" no es suave o monótona.

La solución: Un mejor soñador

Los autores, Amirhosein Chahe, Siwei Cai y Lifeng Zhou de la Universidad de Drexel, construyeron un nuevo tipo de cerebro robótico para solucionar esto. Lo llaman un Modelo de Mundo Latente con Costos de Planificación Monótonos. Desglosemos lo que hicieron, usando algunas analogías lúdicas.

1. La lente congelada y el cerebro entrenable

Primero, utilizaron un "ojo" pre-entrenado (un codificador de la familia DINO) que es muy bueno convirtiendo imágenes en huellas digitales. Este ojo no cambia; solo ve el mundo con claridad. Luego, construyeron un "cerebro" (un predictor entrenable) que toma esas huellas digitales e intenta adivinar cómo se verán después de que el robot se mueva.

2. El entrenamiento de "la práctica hace al maestro" (Despliegue Autorregresivo)

La mayoría de los robots son entrenados como estudiantes en un aula donde el profesor les da la clave de respuestas después de cada pregunta. Esto se llama teacher forcing. El robot ve la imagen actual, el profesor dice "Te moviste a la izquierda" y el robot predice la siguiente imagen. El profesor luego lo corrige inmediatamente.

El problema es que, cuando el robot está en el mundo real, no hay profesor. Tiene que adivinar la siguiente imagen basándose en su propia predicción anterior. Si comete un pequeño error en el paso uno, ese error se agranda en el paso dos, y para el paso diez, el robot está soñando con un mundo completamente diferente. Esto se llama desajuste entre entrenamiento y prueba (train-test mismatch).

Los autores solucionaron esto entrenando al robot para que practique sus sueños por su cuenta. Hicieron que el robot predijera el paso 2 basándose en su propia predicción del paso 1, luego el paso 3 basado en el paso 2, y así sucesivamente. Lo llaman despliegue autorregresivo (autoregressive rollout). Es como un estudiante que tiene que hacer un examen sin la clave de respuestas, obligándolo a aprender cómo manejar sus propios errores. También usaron un "contra-currículo", comenzando con sueños cortos (2 pasos) y haciéndolos gradualmente más largos (hasta 8 pasos) a medida que el robot mejoraba, para que no se sintiera abrumado.

3. La regla del "Costo Monótono"

Incluso con mejores sueños, el robot todavía necesitaba una mejor forma de clasificar sus caminos. Los autores introdujeron una regla llamada Clasificación de Costo Monótono (MCR).

Imagina una colina donde la base es el objetivo. Cuanto más lejos estés de la base, más alto estarás en la colina. Este es un paisaje monótono: si te alejas del objetivo, tu "costo" (altura) siempre sube. Nunca baja y luego vuelve a subir.

En muchos modelos anteriores, la "colina" era irregular. Un camino que estaba ligeramente desviado podría parecer accidentalmente un "valle" (un costo bajo), engañando al robot haciéndole creer que estaba en el camino correcto. Los autores añadieron una pérdida de entrenamiento especial que obliga al robot a aprender: "Si te desvías del camino correcto, tu costo debe subir". Lo hicieron generando muchos caminos ligeramente alterados y diciéndole al robot: "Cuanto más te desvíes, mayor debe ser tu penalización". Esto suaviza el mapa mental, haciendo que sea fácil para el robot encontrar el punto más bajo (el objetivo) usando un método llamado Método de la Cruz de Entropía (CEM), que es básicamente una forma sofisticada de muestrear muchos caminos y elegir los mejores.

4. La sorprendente zona de "No-Go"

Los investigadores también probaron una idea que parecía buena: Aprendizaje de Contraste de Acción (Action-Contrastive Learning). Esta es una técnica donde intentas enseñar al robot a distinguir entre acciones "buenas" y "malas" mostrándole pares de ellas. Pensaron que esto haría el mapa mental del robot más nítido.

Sin embargo, encontraron lo contrario. Cuando usaron un tipo específico de entrenamiento contrastivo que mezclaba el orden de las acciones (negativos de permutación temporal), esto en realidad arruinó la capacidad de planificación del robot. Era como intentar afilar un cuchillo golpeándolo con un martillo; el mapa se distorsionó y el robot ya no pudo encontrar el objetivo. El artículo descarta explícitamente este método para esta tarea específica, demostrando que a veces hacer que una representación sea "discriminativa" (buena para distinguir cosas) rompe la "geometría" (la forma del mapa) necesaria para la planificación.

Los resultados: Un robot que realmente encuentra su camino

El equipo probó su nuevo cerebro robótico en un conjunto de datos llamado GNM, que contiene horas de metraje de seis tipos diferentes de robots navegando en entornos reales. Compararon su modelo contra varios competidores de primer nivel, incluyendo NWM (que predice fotogramas de video completos), DINO-WM (un modelo latente previo) y OmniVLA (una política reactiva masiva).

Los resultados fueron impresionantes. Su modelo, utilizando el codificador DINOv2, redujo el error de orientación (cuánto está mirando hacia el lado equivamente) en 2.7 veces en comparación con el mejor modelo latente anterior (DINO-WM). En palabras sencas, el robot fue mucho mejor en orientarse hacia la dirección correcta al llegar.

• Error de Orientación (AOE): Su mejor modelo obtuvo 7.63°, mientras que el mejor modelo latente anterior (DINO-WM con DINOv2) obtuvo 20.27°.
• Error de Desplazamiento (ADE): También redujeron la distancia a la que el robot terminó respecto al objetivo.

Lo que es más importante, probaron el robot en un robot físico real (un Clearpath Husky) en el mundo real, sin mostrarle ningún dato de entrenamiento de esa ubicación específica. Esto se llama despliegue zero-shot. El robot navegó con éxito a través de entornos interiores y exteriores no vistos, siguiendo rutas que eran mucho más lógicas y dirigidas al objetivo que las de sus competidores. Mientras que otros modelos a veces chocaban contra paredes o se detenían demasiado pronto, este modelo siguió moviéndose hacia la imagen objetivo.

Por qué esto es importante

Este artículo sugiere que, para que los robots naveguen eficazmente usando solo una imagen objetivo, necesitan algo más que un buen predictor; necesitan un predictor que esté entrenado para manejar sus propios errores y un sistema de puntuación que sea suave y confiable. Al arreglar el método de entrenamiento (despliegue autorregresivo) y dar forma al paisaje de costos (clasificación monótona), los autores crearon un sistema que supera tanto a las políticas reactivas (que solo adivinan el siguiente movimiento) como a los modelos de mundo anteriores.

Sin embargo, los autores advierten que esto no es una solución mágica para todas las situaciones. Su modelo funciona mejor en entornos estáticos o de poco tráfico. No ha sido probado en escenas caóticas con peatones o coches en movimiento. Además, debido a que el robot depende de sus propias predicciones para planificar, los viajes muy largos (horizontes muy largos) siguen siendo un desafío, ya que los pequeños errores pueden acumularse eventualmente. Pero por ahora, este enfoque representa un paso significativo adelante en la enseñanza de cómo los robots pueden soñar su camino hacia un destino.