🤖 AI

Robostral Navigate

Robostral Navigate es un modelo de lenguaje-visión de 8B que logra el estado del arte en navegación monocular a través de diversos encarnamientos robóticos mediante el aprovechamiento de una receta de entrenamiento escalable con 2.4 millones de trayectorias simuladas, eficiencia de caché de prefijo y predicción de puntos de ruta en el espacio de la imagen para eliminar la necesidad de sensores de profundidad o mapas preconstruidos.

Autores originales: Abdelaziz Bounhar, Abhijeet Somani, Aditi Kabra, Adrian Valente, Adrien Petralia, Adrien Sade, Alan Jeffares, Albert Jiang, Aleksandr Timashov, Alexandre Cahill, Alexandre Gavaudan, Alexandre Laval, AAbdelaziz Bounhar, Abhijeet Somani, Aditi Kabra, Adrian Valente, Adrien Petralia, Adrien Sade, Alan Jeffares, Albert Jiang, Aleksandr Timashov, Alexandre Cahill, Alexandre Gavaudan, Alexandre Laval, Alexandre Sablayrolles, Amelie Heliou, Amos You, Andre Jonasson, Andrew Bai, Andrew Ehrenberg, Andrew Zhao, Angele Lenglemetz, Anmol Agarwal, Antonia Calvi, Arata Suzuki, Arjun Majumdar, Arthur Fournier, Artjom Joosen, Avinash Sooriyarachchi, Aylin Guliz Akkus, Aysenur Karaduman, Baptiste Bout, Baptiste Roziere, Baudouin De Monicault, Benjamin Holzschuh, Benjamin Lefaudeux, Benjamin Tibi, Bernhard Stadlbauer, Blazej Osinski, Camille Le Scao, Chaoran Yu, Charlotte Cronjager, Chen-Yo Sun, Chris Bamford, Christian Wallenwein, Christophe Renaudin, Clemence Lanfranchi, Corentin Barreau, Corentin Sautier, Cristiana-Diana Diaconu, Cyprien Courtot, Daniel Marczak, Darius Dabert, Diego de Las Casas, Dominik Nuss, Dylan Rubini, Dzmitry Soupel, Elizaveta Demyanenko, Elliot Chane-Sane, Emilien Fugier, Emmanuel Gottlob, Erik Aas, Etienne Goffinet, Etienne Millon, Eujeong Choi, Fabian Paischer, Fabian Schlager, Faruk Ahmed, Federico Baldassarre, Filip Szatkowski, Florian Wiesner, Gabrielle Berrada, Gaetan Ecrepont, Gaetan Lepage, Gaspard Blanchet, Gaspard Donada-Vidal, Gauthier Delerce, Gauthier Guinet, Genevieve Hayes, Georgii Novikov, Giada Pistilli, Gianluca Galletti, Guillaume Breton, Guillaume Kunsch, Guillaume Lample, Guillaume Martin, Guillaume Raille, Gunjan Dhanuka, Gunshi Gupta, Han Zhou, Harshil Shah, Hasan Furkan Vural, Hedi Hadiji, Hope McGovern, Hugo Cisneros, Hugo Thimonier, Indraneel Mukherjee, Ivan Cuevas Salazar, Jacques Sun, Jan Ludziejewski, Jason Rute, Jean Quentin, Jean-Hadrien Chabran, Jean-Malo Delignon, Jie Zhang, Joachim Studnia, Joep Barmentlo, Johannes Brandstetter, John Harvill, Jonas Amar, Jonas Schweizer, Josephine Delas, Josselin Somerville, Julien Denize, Julien Tauran, Kartik Khandelwal, Khyathi Raghavi Chandu, Kilian Tep, Kush Jain, Larissa Laich, Laura Calem, Laurence Aitchison, Laurent Callot, Laurent Fainsin, Leo Cotteleer, Leonard Blier, Lingxiao Zhao, Louis Martin, Louis Serrano, Lucile Saulnier, Ludovic Ho Fuh, Luis Montero, Maarten Buyl, Manon Chossegros, Marcin Mozejko, Margaret Jennings, Markus Hennerbichler, Martin Alexandre, Mathieu Poiree, Mathieu Schmitt, Mathilde Guillaumin, Matthieu Andre, Matthieu Dinot, Matthieu Futeral, Maurits Bleeker, Mauro Comi, Max Mynter, Maxim Berman, Maxime Darrin, Maxime Louis, Maximilian Augustin, Maximilian Muller, Melina Jingting Laimon, Mert Unsal, Mia Chiquier, Michael Pilcer, Michal Pietruszka, Michal Zajac, Mikhail Biriuchinskii, Minh-Quang Pham, Minwoo Kang, Morgane Riviere, Namit Katariya, Nathan Grinsztajn, Nathan Simpson, Neeraj Aggarwal, Neha Gupta, Ola Mysiak, Oliver Leicht, Olivier Bousquet, Olivier Duchenne, Parag Jain, Patricia Wang, Patrick Blies, Patrick von Platen, Paul Jacob, Paul Wambergue, Paula Kurylowicz, Pavan Kumar Reddy, Pavel Kuksa, Philippe Pinel, Philomene Chagniot, Pierre Stock, Pierre-Andre Savalle, Piotr Milos, Prateek Gupta, Pravesh Agrawal, Quentin Desreumaux, Quentin Torroba, Quercus Hernandez, Ram Ramrakhya, Randall Isenhour, Ranjit Parva, Raul Perez Pelaez, Reinhard Sonnleitner, Remi Delacourt, Richard Kurle, Rishi Shah, Rob Romijnders, Rohin Arora, Romain Sauvestre, Roman Soletskyi, Rosalie Millner, Rupert Menneer, Sagar Vaze, Samuel Barry, Samuel Belkadi, Samuel Humeau, Sanchit Gandhi, Sandeep Subramanian, Sarthak Mittal, Saskia Adaime, Sean Cha, Sebastian Kaltenbach, Shashwat Dalal, Shashwat Verma, Sherif Waly, Shrimai Prabhumoye, Siddhant Waghjale, Siddharth Gandhi, Simon Lepage, Simon Sorg, Soham Ghosh, Sophie Marbach, Srijan Mishra, Stanislas Lange, Steve Hong, Sumukh Aithal, Szymon Antoniak, Tarun Kumar Vangani, Teven Le Scao, Theo Cachet, Thibaut Lavril, Thomas Chabal, Thomas Coste, Thomas Defard, Thomas Foubert, Thomas Robert, Thomas Wang, Tianyu Zhang, Tim Lawson, Timothee Lacroix, Tobias Kronlachner, Tom Bewley, Tom Edwards, Tomas Hodan, Tuhin Das, Tyler Wang, Ulrick BLE, Umar Jamil, Umberto Tomasini, Valentin Mace, Van Phung, Vedant Nanda, Victor Jouault, Victor Letzelter, Victor Paltz, Victor Poucheret, Vincent Maladiere, Vincent Pfister, Virgile Richard, Vladislav Bataev, Wassim Bouaziz, Wen Ding Li, William Havard, William Marshall, Xinghui Li, Xingran Guo, Xinyu Yang, Yann Dreze, Yassine El Ouahidi, Yassir Bendou, Yihan Wang, Yimu Pan, Yves Martin des Taillades, Zaccharie Ramzi, Zhenlin Xu, Zsofia Csakany

Publicado 2026-08-04

📖 3 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Abdelaziz Bounhar, Abhijeet Somani, Aditi Kabra, Adrian Valente, Adrien Petralia, Adrien Sade, Alan Jeffares, Albert Jiang, Aleksandr Timashov, Alexandre Cahill, Alexandre Gavaudan, Alexandre Laval, Alexandre Sablayrolles, Amelie Heliou, Amos You, Andre Jonasson, Andrew Bai, Andrew Ehrenberg, Andrew Zhao, Angele Lenglemetz, Anmol Agarwal, Antonia Calvi, Arata Suzuki, Arjun Majumdar, Arthur Fournier, Artjom Joosen, Avinash Sooriyarachchi, Aylin Guliz Akkus, Aysenur Karaduman, Baptiste Bout, Baptiste Roziere, Baudouin De Monicault, Benjamin Holzschuh, Benjamin Lefaudeux, Benjamin Tibi, Bernhard Stadlbauer, Blazej Osinski, Camille Le Scao, Chaoran Yu, Charlotte Cronjager, Chen-Yo Sun, Chris Bamford, Christian Wallenwein, Christophe Renaudin, Clemence Lanfranchi, Corentin Barreau, Corentin Sautier, Cristiana-Diana Diaconu, Cyprien Courtot, Daniel Marczak, Darius Dabert, Diego de Las Casas, Dominik Nuss, Dylan Rubini, Dzmitry Soupel, Elizaveta Demyanenko, Elliot Chane-Sane, Emilien Fugier, Emmanuel Gottlob, Erik Aas, Etienne Goffinet, Etienne Millon, Eujeong Choi, Fabian Paischer, Fabian Schlager, Faruk Ahmed, Federico Baldassarre, Filip Szatkowski, Florian Wiesner, Gabrielle Berrada, Gaetan Ecrepont, Gaetan Lepage, Gaspard Blanchet, Gaspard Donada-Vidal, Gauthier Delerce, Gauthier Guinet, Genevieve Hayes, Georgii Novikov, Giada Pistilli, Gianluca Galletti, Guillaume Breton, Guillaume Kunsch, Guillaume Lample, Guillaume Martin, Guillaume Raille, Gunjan Dhanuka, Gunshi Gupta, Han Zhou, Harshil Shah, Hasan Furkan Vural, Hedi Hadiji, Hope McGovern, Hugo Cisneros, Hugo Thimonier, Indraneel Mukherjee, Ivan Cuevas Salazar, Jacques Sun, Jan Ludziejewski, Jason Rute, Jean Quentin, Jean-Hadrien Chabran, Jean-Malo Delignon, Jie Zhang, Joachim Studnia, Joep Barmentlo, Johannes Brandstetter, John Harvill, Jonas Amar, Jonas Schweizer, Josephine Delas, Josselin Somerville, Julien Denize, Julien Tauran, Kartik Khandelwal, Khyathi Raghavi Chandu, Kilian Tep, Kush Jain, Larissa Laich, Laura Calem, Laurence Aitchison, Laurent Callot, Laurent Fainsin, Leo Cotteleer, Leonard Blier, Lingxiao Zhao, Louis Martin, Louis Serrano, Lucile Saulnier, Ludovic Ho Fuh, Luis Montero, Maarten Buyl, Manon Chossegros, Marcin Mozejko, Margaret Jennings, Markus Hennerbichler, Martin Alexandre, Mathieu Poiree, Mathieu Schmitt, Mathilde Guillaumin, Matthieu Andre, Matthieu Dinot, Matthieu Futeral, Maurits Bleeker, Mauro Comi, Max Mynter, Maxim Berman, Maxime Darrin, Maxime Louis, Maximilian Augustin, Maximilian Muller, Melina Jingting Laimon, Mert Unsal, Mia Chiquier, Michael Pilcer, Michal Pietruszka, Michal Zajac, Mikhail Biriuchinskii, Minh-Quang Pham, Minwoo Kang, Morgane Riviere, Namit Katariya, Nathan Grinsztajn, Nathan Simpson, Neeraj Aggarwal, Neha Gupta, Ola Mysiak, Oliver Leicht, Olivier Bousquet, Olivier Duchenne, Parag Jain, Patricia Wang, Patrick Blies, Patrick von Platen, Paul Jacob, Paul Wambergue, Paula Kurylowicz, Pavan Kumar Reddy, Pavel Kuksa, Philippe Pinel, Philomene Chagniot, Pierre Stock, Pierre-Andre Savalle, Piotr Milos, Prateek Gupta, Pravesh Agrawal, Quentin Desreumaux, Quentin Torroba, Quercus Hernandez, Ram Ramrakhya, Randall Isenhour, Ranjit Parva, Raul Perez Pelaez, Reinhard Sonnleitner, Remi Delacourt, Richard Kurle, Rishi Shah, Rob Romijnders, Rohin Arora, Romain Sauvestre, Roman Soletskyi, Rosalie Millner, Rupert Menneer, Sagar Vaze, Samuel Barry, Samuel Belkadi, Samuel Humeau, Sanchit Gandhi, Sandeep Subramanian, Sarthak Mittal, Saskia Adaime, Sean Cha, Sebastian Kaltenbach, Shashwat Dalal, Shashwat Verma, Sherif Waly, Shrimai Prabhumoye, Siddhant Waghjale, Siddharth Gandhi, Simon Lepage, Simon Sorg, Soham Ghosh, Sophie Marbach, Srijan Mishra, Stanislas Lange, Steve Hong, Sumukh Aithal, Szymon Antoniak, Tarun Kumar Vangani, Teven Le Scao, Theo Cachet, Thibaut Lavril, Thomas Chabal, Thomas Coste, Thomas Defard, Thomas Foubert, Thomas Robert, Thomas Wang, Tianyu Zhang, Tim Lawson, Timothee Lacroix, Tobias Kronlachner, Tom Bewley, Tom Edwards, Tomas Hodan, Tuhin Das, Tyler Wang, Ulrick BLE, Umar Jamil, Umberto Tomasini, Valentin Mace, Van Phung, Vedant Nanda, Victor Jouault, Victor Letzelter, Victor Paltz, Victor Poucheret, Vincent Maladiere, Vincent Pfister, Virgile Richard, Vladislav Bataev, Wassim Bouaziz, Wen Ding Li, William Havard, William Marshall, Xinghui Li, Xingran Guo, Xinyu Yang, Yann Dreze, Yassine El Ouahidi, Yassir Bendou, Yihan Wang, Yimu Pan, Yves Martin des Taillades, Zaccharie Ramzi, Zhenlin Xu, Zsofia Csakany

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás enseñando a un robot a ser un guía turístico. En el mundo de la robótica, esto se llama "navegación encarnada" (embodied navigation): la capacidad de una máquina para entender un comando hablado como "ve a la cocina" y realmente caminar hacia allí sin chocar con las paredes. Durante mucho tiempo, los mejores guías turísticos fueron como astronautas de alta gama: necesitaban equipo costoso y pesado para hacer su trabajo. Usaban gafas 3D especiales (sensores de profundidad), cargaban con múltiples cámaras como un equipo de seguridad o dependían de mapas pre-dibujados de todo el edificio. Aunque estos robots eran buenos, también eran caros, frágiles y difíciles de adaptar a un simple dron de entrega o a una rueda de almacén pequeña. La gran pregunta que los científicos se han estado haciendo es: ¿Podemos construir un robot que sea igual de inteligente pero que utilice la herramienta más simple y común disponible? La respuesta reside en una única cámara estándar —el tipo de cámara que se encuentra en casi todos los teléfonos y robots de hoy en día— y un cerebro lo suficientemente potente como para descifrar el resto.

Este artículo presenta Robostral Navigate, un nuevo tipo de cerebro robótico diseñado para resolver el rompecabezas de la navegación utilizando únicamente esa cámara estándar. Piensa en él como un robot que no necesita un mapa 3D o un escáner láser; en su lugar, aprende a "señalar" el siguiente paso en un viaje con solo mirar una imagen. Los investigadores construyeron un "modelo de visión y lenguaje" de 8 mil millones de parámetros (una IA superinteligente que puede leer y ver) y le enseñaron a navegar mostrándole millones de ejemplos en una simulación similar a un videojico. En lugar de calcular matemáticas complejas sobre cuántos metros moverse, el modelo simplemente señala hacia donde quiere ir a continuación en la pantalla. Si el destino está oculto detrás de una esquina, cambia a un plan de respaldo de avanzar una cantidad específica.

El equipo descubrió que este enfoque simple es increíblemente poderoso. Al entrenar el modelo en 2.4 millones de trayectos simulados a través de 350,000 escenas diferentes, crearon un sistema que no solo es más barato y fácil de construir, sino también más inteligente que muchos robots con sensores sofisticados. En las pruebas estándar, Robostral Navigate logró una tasa de éxito del 77.4% al encontrar su camino, superando por un amplio margen a los mejores robots de una sola cámara previos e incluso superando a algunos robots que utilizaban sensores de profundidad o múltiples cámaras. El ingrediente secreto no fue solo el señalar; fue un nuevo truco de entrenamiento que hizo que el proceso de aprendizaje fuera 22 veces más rápido y una fase de aprendizaje por refuerzo que le enseñó al robot cómo recuperarse cuando se perdía. El resultado es un robot que puede saltar de un carro con ruedas a una máquina caminante o a un dron volador sin necesidad de ser reentrenado, demostando que no se necesita un conjunto de sensores de un millón de dólares para construir un robot verdaderamente de propósito general.

Resumen Técnico: Robostral Navigate

Planteamiento del Problema

El despliegue de sistemas de navegación incorporada a escala enfrenta barreras significativas: los métodos actuales de vanguardia suelen depender de modalidades de sensores privilegiados (sensores de profundidad, LiDAR, sistemas de cámaras múltiples) o mapas preconstruidos. Estas dependencias aumentan los costos de hardware, limitan la compatibilidad con diversas morfologías robóticas (ruedas, patas, aéreos) y requieren una calibración específica para cada entorno. Además, el entrenamiento de estos sistemas suele requerir una recolección de datos en el mundo real extensa y costosa. El desafío consiste en desarrollar una receta de navegación que minimice las suposiciones sensoriales, se generalice a través de diferentes morfologías de robots y se entrene eficientemente utilizando únicamente simulación.

Metodología

Robostral Navigate es un modelo de lenguaje-visión (VLM) de 8 mil millones de parámetros diseñado para resolver la navegación incorporada utilizando solo un flujo de imágenes RGB monoculares. El sistema descompone la navegación en dos etapas distintas: planificación de alto nivel mediante un VLM y control de bajo nivel mediante una política de difusión.

1. Arquitectura del Modelo

Planificador de Lenguaje-Visión (VLM de 8B): El modelo central se inicializa a partir de un VLM denso diseñado para la localización espacial (señalamiento, conteo, localización). Toma una instrucción en lenguaje natural y un historial de fotogramas RGB monoculares como entrada.
Navegación mediante Señalamiento (Pointing): En lugar de predecir desplazamientos métricos vinculados a una geometría robótica específica, el VLM predice puntos de referencia (waypoints) "señalando" la siguiente ubicación objetivo en la vista de la cámara actual (coordenadas de imagen $u, v$ ) y el cambio de rumbo deseado ( $\Delta\theta$ ). Esta formulación en el espacio de la imagen asegura la robustez ante las intrínsecas de la cámara y la escala de la escena.
Reserva de Desplazamiento (Fallback): Para manejar casos donde el destino está fuera del campo de visión (por ejemplo, requiriendo un giro), el modelo predice conjuntamente desplazamientos métricos ( $\Delta x, \Delta y, \Delta\theta$ ) junto con las coordenadas de señalamiento. Si el destino es invisible, omite las coordenadas de la imagen y confía únicamente en el desplazamiento métrico.
Política de Difusión (121M de Parámetros): Los puntos de referencia inferidos por el VLM se convierten en comandos de motor de bajo nivel mediante un transformador de difusión ligero. Esta política emite una trayectoria densa de desplazamientos 2D relativos y rotaciones 1D a 10 Hz, que luego se traduce en torques de actuadores de alta frecuencia mediante un controlador de seguimiento de movimiento.

2. Estrategia de Entrenamiento

El flujo de entrenamiento está diseñado para la máxima eficiencia y escalabilidad, apoyándose enteramente en la simulación.

Generación de Datos: El sistema se entrena en aproximadamente 2.4 millones de trayectorias expertas a través de 350,000 escenas simuladas (interiores y exteriores). La generación de datos emplea el muestreo de punto más lejano (farthest-point sampling) para asegurar posiciones de inicio/meta diversas y variadas complejidades de escena.
Almacenamiento de Prefijos (Prefix-Caching) y Máscara de Atención: Para abordar la ineficiencia computacional del entrenamiento secuencial estándar (donde la complejidad de los tokens escala como $O(T^2)$ ), los autores emplean una técnica de almacenamiento de prefijos (prefix-caching). Episodios enteros se empaquetan en secuencias de entrenamiento únicas. Se utiliza una máscara de atención basada en árboles para evitar que el modelo se condicione a acciones de verdad de terreno (ground-truth) previas durante el entrenamiento. Esto es necesario porque las acciones previas de verdad de terreno suelen ser muy informativas de las acciones futuras (notablemente debido al paradigma de waypoint visible más lejano), y el modelo de otro modo dependería de ellas en lugar de aprender la predicción fundamentada visualmente. Esto reduce los tokens de entrenamiento en 22×, reduciendo el tiempo de entrenamiento de meses a días.
Generalización entre Robots: Durante la generación de datos, se aleatorizan las configuraciones del robot (altura, radio, colocación de la cámara, cabeceo). Esto permite que las políticas aprendidas se transfieran a diferentes morfologías sin necesidad de reentrenamiento.
Aprendizaje por Refuerzo (RL) en Línea: Tras el ajuste fino supervisado (SFT), el modelo se somete a RL en línea utilizando CISPO (un método de estimación de ventaja relativa de grupo). El agente interactúa con un simulador en un subconjunto curado de trayectorias "difíciles" donde la política de SFT falló. La función de recompensa se define como $-\max(2, \text{dist\_to\_goal})$ , incentivando al agente a alcanzar la meta y emitir una acción STOP mientras evita maniobras innecesarias cerca del objetivo.

Contribuciones Clave

Dependencia Sensorial Mínima: Demuestra que un VLM de 8B puede lograr un rendimiento de navegación de vanguardia utilizando solo una cámara RGB, eliminando la necesidad de sensores de profundidad, LiDAR o configuraciones de cámaras múltiples.
Señalamiento en el Espacio de la Imagen: Introduce un mecanismo de predicción de puntos de referencia basado en señalamiento que opera en el espacio de la imagen en lugar de coordenadas métricas, lo que permite naturalmente la generalización entre diferentes robots sin recalibración.
Receta de Entrenamiento Eficiente: Desarrolla un método de entrenamiento de almacenamiento de prefijos que reduce la complejidad de los tokens en 22×, permitiendo el entrenamiento de políticas de navegación a gran escala en días en lugar de meses utilizando únicamente datos de simulación.
Integración de Aprendizaje por Refuerzo: Aplica con éxito el RL en línea para mejorar las capacidades de exploración y recuperación, cerrando la brecha entre el clonación de comportamiento y la navegación robusta de largo horizonte.

Resultados

El sistema fue evaluado en los entornos de referencia Room-to-Room in Continuous Environments (R2R-CE) y Room-Across-Room (RxR-CE).

R2R-CE (Validación No Vista): Robostral Navigate logró una Tasa de Éxito (SR) del 77.4% y un Éxito ponderado por la Longitud del Camino (SPL) de 74.2%.
- Esto supera al mejor baseline de cámara única (Qwen-RobotNav-4B, 66.9% SR) por 10.5 puntos.
- También supera al mejor sistema de profundidad/múltiples cámaras (Qwen-RobotNav-8B, 72.1% SR) por 5.3 puntos, a pesar de no utilizar sensores auxiliares.
RxR-CE (Validación No Vista): El modelo alcanzó un 75.1% SR y un 68.7% SPL, superando a todos los baselines de cámara única y demostrando una eficiencia de trayectoria superior comparado con modelos asistidos por profundidad.
Despliegue entre Robots: Los mismos pesos del modelo se desplegaron con éxito en dos plataformas distintas (Galaxea R1 y Hiwonder JetAuto) con diferentes morfologías y configuraciones de cámara, validando las afirmaciones de generalización entre robots.

Significancia

El artículo postula que Robostral Navigate representa una receta escalable para la robótica de propósito general. Al combinar simulación a gran escala, algoritmos de entrenamiento eficientes (almacenamiento de prefijos) y aprendizaje por refuerzo, los autores demuestran que la navegación de alto rendimiento no requiere sensores privilegiados. El trabajo sugiere que un enfoque de sensores mínimos, cuando se combina con metodologías de entrenamiento robustas, puede superar a sistemas que utilizan hardware complejo, reduciendo así la barrera para el despliegue de agentes corporales de propósito general a través de diversos hardware y entornos novedosos.