💻 computer science

CrossTracer: Cross-Embodiment Navigation via VLA Model Reasoning and Trace Residuals Adapting

CrossTracer es un marco jerárquico que permite la navegación de robots de múltiples encarnaciones mediante la combinación de un proponente de trazas basado en VLA con un adaptador residual condicionado por la encarnación, entrenado mediante CE-RRT* automatizado, para generar planes de navegación físicamente factibles en el espacio de píxeles que superan significativamente a los modelos base del estado del arte.

Autores originales: Yao Wang, Siyuan Wang, Zhirui Sun, Wenzheng Chi, Liang Lin, Jiankun Wang, Wenjun Xu

Publicado 2026-08-10

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Yao Wang, Siyuan Wang, Zhirui Sun, Wenzheng Chi, Liang Lin, Jiankun Wang, Wenjun Xu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un robot a caminar a través de una habitación llena de gente y desorden. Podrías decirle: "Ve a buscar la taza roja que está sobre la mesa". Un cerebro de robot súper inteligente (llamado modelo de Visión-Lenguaje-Acción) puede entender esa frase perfectamente. Sabe qué es una "taza roja", dónde suelen estar las "mesas" y qué significa "ir a buscar". Pero aquí está la parte difícil: el cerebro del robot no sabe si el robot es un caminante de dos piernas tambaleante, un carro suave de cuatro ruedas o una máquina saltarina tipo perro. Para el cerebro inteligente, un pequeño escalón hacia arriba parece un camino simple. Pero para un robot con ruedas, ese escalón es un muro; para un robot con patas, es un salto divertido. Si el robot intenta seguir un camino que no se ajusta a su cuerpo, choca. Este artículo aborda exactamente ese problema: cómo tomar una idea general y brillante de un camino y ajustarla para que realmente funcione para el robot específico que intenta recorrerlo.

Los investigadores detrás de este artículo, CrossTracer, se dieron cuenta de que la mejor manera de solucionar esto no es obligar al cerebro inteligente a aprender el cuerpo de cada robot a la vez. En su lugar, construyeron un equipo de dos pasos. Primero, un "Propositor de Trazos de Visión-Lenguaje" (llamémoslo el Soñador) observa la habitación y el objetivo y dibuja un camino ideal y tosco en un papel. Este camino es perfecto para la idea del viaje, pero no le importa si el robot tiene ruedas o patas. Luego, un segundo miembro del equipo, el "CE-Adapter" (el Verificador de Realidad), observa ese dibujo tosco y el cuerpo específico del robot. Dice: "Oye, al Soñador se le olvidó que las ruedas no pueden subir escaleras", y dibuja pequeñas flechas rojas para empujar el camino lejos de las escaleras y hacia el suelo plano. Ellos llaman a estos empujones "residuales de trazo".

Para enseñar al Verificador de Realidad a hacer esto sin necesidad de que los humanos dibujen miles de caminos perfectos a mano, el equipo inventó un truco de entrenamiento ingenioso llamado CE-RRT*. Imagina un robot virtual que puede ver instantáneamente toda la habitación y sabe exactamente qué suelos son seguros para las ruedas y cuáles son seguros para las patas. Este robot virtual realiza una búsqueda rápida y computarizada para encontrar el camino más seguro posible para cada tipo de robot y utiliza esos caminos generados por computadora como las "respuestas correctas" para enseñar al Verificador de Realidad. Es como tener un simulador súper rápido que hace el trabajo duro de descifrar la física, para que la IA pueda aprender de sus errores sin llegar a estrellar un robot real.

Cuando probaron este sistema, los resultados fueron bastante impresionantes. En una prueba estándar llamada benchmark NaviTrace, CrossTracer obtuvo 45.68 puntos. Esto superó al modelo de IA de propósito general más fuerte con el que lo compararon (Gemini-2.5-Pro) por un margen significativo: unos 10 puntos, lo que representa una mejora del 28%. El artículo sugiere que este gran salto proviene de la capacidad del Verificador de Realidad para corregir los errores del Soñador. Cuando eliminaron el Verificador de Realidad y simplemente dejaron que el Soñador dibujara el camino, la puntuación cayó drásticamente a 22.56, demostrando que el paso de "empujar" es esencial.

No se detuvieron solo en pruebas computacionales; también lo probaron en robots reales en el mundo real. Pusieron el sistema tanto en un robot con ruedas como en un robot con patas. Los resultados mostraron que CrossTraser ayudó a los robots a alcanzar sus objetivos con más frecuencia y rapidez. Para el robot con ruedas, la tasa de éxito pasó del 40% al 65%, y para el robot con patas, saltó del 45% al 70%. El artículo indica que este método hace que los robots sean mucho más confiables, ayudándoles a evitar choques y a encontrar rutas más fluidas que se ajusten a sus cuerpos específicos. Aunque el sistema todavía depende de la capacidad de la computadora para "ver" el suelo correctamente (si la computadora identifica erróneamente una alfombra como un muro, el robot podría confundirse), el enfoque sugiere que separar el "qué hacer" del "cómo hacerlo" es una forma poderosa de hacer a los robots más inteligentes y seguros.

Resumen Técnico: CrossTracer

Planteamiento del Problema

La navegación de robots en el mundo real requiere políticas que comprendan objetivos semánticos de alto nivel mientras se adhieren estrictamente a las restricciones de movilidad física de implementaciones robóticas específicas. Aunque los modelos recientes de Visión-Lenguaje-Acción (VLA) proporcionan fuertes sesgos semánticos para la toma de decisiones, sus salidas suelen carecer de una base en la movilidad específica del robot. Un camino semánticamente plausible para un robot con patas (por ejemplo, atravesar un terreno accidentado) puede ser físicamente inviable para un robot con ruedas, que debe desviarse. Los enfoques existentes luchan contra este "gap de la implementación" (embodiment gap): las políticas VLA de extremo a extremo suelen entrelazar el razonamiento semántico con las restricciones de control, lo que dificulta la adaptación a diferentes plataformas, mientras que los métodos jerárquicos que seleccionan entre candidatos finitos de trayectorias pueden fallar si todos los candidatos contienen segmentos localmente inviables. Además, el entrenamiento de modelos de refinamiento conscientes de la implementación suele requerir una costosa anotación manual de trazas a través de diversos escenarios y tipos de robots.

Metodología

Los autores proponen CrossTracer, un marco jerárquico diseñado para cerrar la brecha entre la intención semántica y el fundamento físico mediante residuos de traza adaptativos. El sistema opera bajo la idea de que una traza de navegación en el espacio de píxeles 2D sirve como una representación intermedia unificada, desacoplando la propuesta semántica de la adaptación específica de la implementación.

El marco consta de tres componentes principales:

Propositor de Trazas de Visión-Lenguaje (VL-Tracer):
- Adaptado de un modelo VLA preentrenado (OmniVLA), este módulo genera una traza de navegación semántica inicial, independiente de la implementación ( $T_{init}$ ), a partir de observaciones RGB egocéntricas y especificaciones de lenguaje flexibles (lenguaje, coordenadas de píxeles, o ambos).
- Genera una secuencia normalizada de waypoints 2D en el plano de la imagen, preservando la estructura a nivel de escena inferida por el VLA sin comprometerse con los espacios de control de bajo nivel de robots específicos.
- Se ajusta mediante Low-Rank Adaptation (LoRA) utilizando datos de trazas de navegación existentes (VAMOS).
CE-Adapter (Módulo de Refinamiento Consciente de la Implementación):
- Este módulo refina la traza inicial prediciendo correcciones residuales ( $\Delta T_e$ ) condicionadas a la identidad del robot, pistas visuales de transitabilidad y la traza inicial.
- Emplea una arquitectura multimodal donde la identidad del robot se mapea a un embedding aprendible ( $z_e$ ). Este embedding modula las características visuales mediante capas de Modulación Lineal por Características (FiLM).
- Un mecanismo de atención cruzada permite que las consultas de la traza atiendan a los tokens visuales condicionados por la implementación, permitiendo al modelo razonar sobre qué regiones son factibles para el robot específico.
- La traza final se calcula como $T_e = T_{init} + \Delta T_e$ .
CE-RRT (Etiquetado Supervisado por Planificador Automatizado):*
- Para evitar la costosa anotación manual, los autores introducen el RRT de Implementación Cruzada* (CE-RRT*), un flujo de trabajo automatizado que genera trazas de referencia para el entrenamiento.
- CE-RRT* convierte las máscaras de segmentación panóptica en mapas de costo de transitabilidad condicionados al robot. Se asignan costos a diferentes categorías semánticas basados en las restricciones de movilidad específicas del robot objetivo (por ejemplo, las escaleras tienen un costo alto para robots con ruedas pero bajo para robots con patas).
- Aplica el algoritmo RRT* en el plano de la imagen para generar trazas en el espacio de píxeles libres de colisiones y que minimicen el costo ( $T^*_e$ ), las cuales sirven como señales de supervisión para el CE-Adapter.

Objetivo de Entrenamiento: El CE-Adapter se optimiza utilizando una función de pérdida compuesta que incluye:

Pérdida de Traza: Minimiza la distancia entre la traza refinada y la traza de referencia supervisada por el planificador.
Reconstrucción de Transitabilidad: Incentiva al codificador visual a predecir el mapa de costos condicionado a la implementación.
Pérdida de Costo: Penaliza los waypoints que se encuentran en regiones de alto costo, ponderados por un coeficiente de sensibilidad de la implementación.
Pérdida de Suavidad: Regulariza la traza para evitar cambios bruscos de dirección.

Contribuciones Clave

Marco CrossTracer: Un marco de navegación jerárquico que utiliza trazas normalizadas en el espacio de píxeles como una interfaz unificada entre el razonamiento semántico basado en VLA y el fundamento físico condicionado al robot.
CE-Adapter & CE-RRT:* El desarrollo de un módulo de refinamiento consciente de la implementación que predice residuos de traza adaptativos, entrenado mediante un flujo automatizado (CE-RRT*) que sintetiza trazas de referencia específicas de la implementación a partir de segmentación semántica y mapas de costo, eliminando la necesidad de anotación manual de trazas.
Validación Empírica: Evaluación exhaustiva en el benchmark NaviTrace y despliegues en el mundo real en robots con ruedas y con patas, demostrando que el refinamiento de la traza consciente de la implementación mejora significamente la calidad de la navegación y la fiabilidad de la ejecución.

Resultados

Benchmark NaviTrace

CrossTracer fue evaluado en el benchmark NaviTrace, el cual pone a prueba la capacidad de generar trazas consistentes con la implementación a partir de observaciones egocéntricas, lenguaje y tipo de robot.

Rendimiento General: CrossTracer alcanzó una puntuación total de 45.68, superando al baseline de propósito general más fuerte (Gemini-2.5-Pro, 35.67) por 10.01 puntos (una mejora relativa del 28.1%). También superó al baseline de implementación más fuerte (Robobrain-2.5-8B) por 17.72 puntos.
Estudio de Ablación: Eliminar el CE-Adapter (CrossTracer sin CE-Adapter) causó que la puntuación cayera a 22.56, resaltando el papel crítico de la etapa de refinamiento. La mejora fue más pronunciada en categorías que requieren fundamento físico, como "Accesibilidad" (de -3.18 a 33.79) y "Normas Sociales" (de 1.28 a 37.87).
Entrada de Pose de Objetivo: Cuando se proporcionó una coordenada de píxel objetivo adicional, la puntuación del sistema aumentó a 63.91, demostrando la efectividad de la interfaz en el espacio de píxeles cuando se dispone de señales geométricas precisas.

Despliegue en el Mundo Real

El sistema se desplegó en dos plataformas heterogéneas: un robot con ruedas y un robot con patas.

Métricas: Evaluado mediante Tasa de Éxito (SR), Éxito ponderado por Longitud de Trayectoria (SPL) y Éxito ponderado por Tiempo de Tarea (STT).
Rendimiento: CrossTracer superó consistentemente al baseline OmniVLA.
- Robot con Ruedas: El SR mejoró de 0.40 a 0.65; el SPL de 0.37 a 0.59.
- Robot con Patas: El SR mejoró de 0.45 a 0.70; el SPL de 0.31 a 0.58.
Análisis Cualitativo: Las comparaciones visuales mostraron que CrossTracer generó caminos que seguían más de cerca las referencias de expertos humanos y convergían de forma más suave hacia los objetivos, particularmente en entornos complejos con obstáculos o variaciones de terreno.

Significado y Reivindicaciones

El artículo afirma que CrossTracer aborda con éxito el "gap de la implementación" en la navegación de robots al desacoplar la propuesta de la ruta semántica del refinamiento de la viabilidad física. Al utilizar una representación de traza unificada en el espacio de píxeles, el marco permite que un único plan semántico sea adaptado a diferentes morfologías de robot sin necesidad de reentrenar toda la política.

Los autores enfatizan que su enfoque permite el entrenamiento escalable de modelos conscientes de la implementación sin anotación manual de trazas, aprovechando las señales supervisadas por planificadores generadas vía CE-RRT*. Los resultados sugieren que el refinamiento explícito de la traza consciente de la implementación es crítico para fundamentar las intenciones de navegación semántica en las restricciones físicas de robots heterogéneos, lo que conduce a mejores tasas de éxito y eficiencia de ejecución en escenarios del mundo real.

Limitaciones y Trabajo Futuro

Los autores reconocen que el flujo actual de generación de datos depende de la segmentación panóptica, lo que significa que los errores de segmentación podrían propagarse a los mapas de costo y a las trazas de entrenamiento. Además, las configuraciones de los mapas de costo para diferentes implementaciones se especifican manualmente, requiriendo experiencia para nuevas plataformas. El trabajo futuro apunta a aprender la transitabilidad dependiente de la implementación directamente desde los datos de interacción del robot, extender la representación a estructuras de escena 3D e integrar el replanificado de bucle cerrado para entornos dinámicos.