Resumen Técnico: VEGA – Aprendizaje de Navegación de VLA mediante Navegación de Navegación de VLA a partir de Vídeos Egocéntricos en el Mundo Real con Supervisión de Trayectorias Geométricas

Declaración del Problema

Los modelos de Visión-Lenguaje-Acción (VLA) han mostrado una promesa significativa en la manipulación robótica al aprovechar conjuntos de datos diversos y a gran escala. Sin embargo, escalar estos modelos a la navegación de robots móviles terrestres sigue siendo un cuello de botella crítico. Los conjuntos de datos de navegación existentes son escasos, proporcionando típicamente solo una trayectoria por escena hacia un objetivo implícito o explícito. Esta falta de supervisión densa impide enseñar a las políticas cómo varían las trayectorias factibles según diferentes objetivos, configuraciones de obstáculos y ubicaciones de inicio dentro del mismo entorno. Consecuentemente, las políticas aprendidas suelen exhibir un débil anclaje de objetivos, una pobre evitación de obstáculos a corta distancia y comportamientos inseguros en escenas congestionadas.

Aunque los conjuntos de datos de conducción autónoma ofrecen escala, están dirigidos a entornos estructurados y no capturan el desorden centrado en objetos y de corto alcance típico de los robots móviles generales. Por el contrario, recolectar suficientes datos de teleoperación de robots para cubrir el vasto espacio de entornos, objetivos y disposiciones de obstáculos no es escalable. Aunque los vídeos egocéntricos a gran escala (por ejemplo, recorridos a pie, grabaciones domésticas) son abundantes y contienen observaciones visuales ricas de la navegación en el mundo real, carecen de las acciones robóticas explícitas, el condicionamiento de objetivos y las trayectorias conscientes de los obstáculos requeridos para el aprendizaje de políticas.

Metodología: VEGA

Los autores proponen VEGA (Navegación de Visión-Lenguaje desde Vídeo Egocéntrico con supervisión de Acción Geométrica), un marco que transforma vídeos egocéntricos sin etiquetas de acción en una señal de supervisión escalable para entrenar VLAs de navegación. La innovación central es el uso de la geometría de la escena reconstruida exclusivamente durante el entrenamiento para generar trayectorias conscientes de los obstáculos, que luego se destilan en una política basada en visión que requiere únicamente observaciones RGB y objetivos durante la inferencia.

1. Pipeline de Generación de Datos

VEGA procesa vídeos egocéntricos sin etiquetas a través de los siguientes pasos:

• Reconstrucción de Geometría Monocular: Utilizando el modelo fundacional MoGe-2, el sistema reconstruye un mapa de puntos 3D métrico denso ($P_t$) de cada fotograma RGB. Se ajusta un plano de suelo local mediante RANSAC, y los puntos se rotan para alinearlos con el marco de coordenadas del robot.
• Construcción de ESDF con Conciencia de Visibilidad: El sistema proyecta el mapa de puntos nivelado sobre un dominio de Vista de Pájaro (BEV). Distingue entre espacio libre conocido ($X_{free}$), espacio ocupado ($X_{occ}$) y espacio no observado ($X_{unk}$) mediante trazado de rayos. Se computa un Campo de Distancia Signado Euclidiano (ESDF), donde los valores positivos indican un margen de seguridad y los negativos marcan obstáculos o regiones desconocidas.
• Anclaje de Objetivos Multimodales:
  • Objetivos de Objetos: Florence-2 detecta objetos y genera cajas delimitadoras. Estos se proyectan sobre el plano del suelo para crear puntos de referencia espaciales ($g_{wp}$), alineados con objetivos de texto y regiones de imagen.
  • Objetivos de Espacio Libre: Se muestrean puntos de referencia auxiliares a partir del espacio libre observado para proporcionar supervisión para ubicaciones transitables arbitrarias.
• Generación de Trayectorias: Un planificador de Integración de Trayectorias de Punto de Camino Predictivo (MPPI) genera trayectorias de puntos de referencia conscientes de los obstáculos hacia estos objetivos. El planificador optimiza el alcance del objetivo, la evitación de colisiones, el margen de seguridad, el esfuerzo de control y la suavidad utilizando el ESDF. Si un objetivo es inalcanzable, se selecciona la mejor trayectoria parcial.

2. Arquitectura del Modelo y Entrenamiento

VEGA entrena un VLA de flujo de coincidencia (flow-matching) para predecir fragmentos de puntos de referencia 2D locales.

• Arquitectura: Basada en la arquitectura VLA $\pi_{0.5}$, combina un backbone de visión-lenguaje preentrenado con un experto de flujo de coincidencia de acciones. Soporta objetivos de texto, imagen y puntos de referencia mediante codificadores específicos.
• Objetivo de Entrenamiento: El modelo aprende a predecir un campo vectorial que transforma muestras de ruido en trayectorias objetivo. A diferencia de los métodos que predicen una única salida determinista, el flujo de coincidencia permite a la política modelar distribuciones de acción multimodales, capturando el hecho de que múltiples rutas distintas pueden ser factibles para un mismo par observación-objetivo.
• Inferencia: En el despliegue, la política requiere solo observaciones RGB y una especificación de objetivo. No necesita sensores de profundidad en línea, LiDAR o mapeo geométrico explícito, ya que el razonamiento geométrico ha sido destilado en los pesos de la política durante el entrenamiento.

Contribuciones Clave

1. Entrenamiento de VLA Supervisado por Geometría: Un paradigma que destila el comportamiento de navegación consciente de los obstáculos a partir de vídeo egocéntrico en el mundo real, sin necesidad de etiquetas de acción manuales o demostraciones robóticas.
2. Conjunto de Datos de Trayectorias Multimodales a Gran Escala: Un conjunto de datos construido que contiene aproximadamente 5 millones de trayectorias condicionadas por objetivos alineadas con anotaciones de texto, regiones de imagen y puntos de referencia espaciales, acompañadas de nubes de puntos 3D reconstruidas y ESDFs.
3. VEGA-Bench: Un nuevo conjunto de evaluación que comprende 250k escenas y 5 millones de objetivos multimodales, diseñado para evaluar rigurosamente el progreso del objetivo, las tasas de colisión y el margen de los obstáculos.
4. Validación en el Mundo Real: Evidencia empírica que demuestra la transferibilidad del enfoque a robots físicos.

Resultados y Evaluación

Los autores evaluaron VEGA frente a baselines de vanguardia (OmniVLA, NaVILA y $\pi_{0.5}$) en VEGA-Bench y en ensayos en el mundo real.

• Rendimiento en VEGA-Bench: VEGA logró un progreso de objetivo comparable al de los baselines, pero redujo significativamente las tasas de colisión y mejoró el margen de los obstáculos. Específicamente, redujo las colisiones en un 33.0% y mejoró el margen de los obstáculos en un 17.9% respecto al baseline más fuerte.
• Ensayos con Robots en el Mundo Real: Desplegado en un robot cuadrúpedo en entornos congestionados con obstáculos estáticos y dinámicos, VEGA demostró mejoras sustanciales:
  • Tasa de Éxito: Mejoró al menos un 150.0%.
  • Evitación de Colisiones: Redujo las colisiones al menos un 66.7%.
  • Margen de Obstáculos: Mejoró al menos un 60.0%.
• Anclaje de Objetivos: El análisis cualitativo y cuantitativo mostró que VEGA se condiciona con éxito a objetivos específicos (texto, imagen o punto de referencia), evitando el "colapso de modo" visto en los baselines donde las políticas generan rutas similares independientemente del objetivo.

Significado y Reivindicaciones

El artículo afirma que la supervisión geométrica derivada de vídeo proporciona una señal escalable y efectiva para entrenar VLAs de navegación conscientes de los obstáculos. Al aprovechar la abundancia de vídeo egocéntrico y utilizar la geometría solo como un profesor durante el entrenamiento, VEGA cierra la brecha entre las capacidades de razonamiento semántico de los VLAs y los requisitos de seguridad geométrica del planeamiento clásico. Este enfoque elimina la necesidad de una recolección de datos robóticos costosa y a gran escala, permitiendo al mismo tiempo políticas que se generalizan a entornos complejos y congestionados del mundo real.

Limitaciones y Trabajo Futuro

Los autores reconocen dos limitaciones principales:

1. Falta de Memoria: La política actual carece de memoria, dependiendo únicamente de la observación RGB actual y el objetivo. Esto puede ser frágil cuando los objetivos u obstáculos salen del campo de visión de la cámara. El trabajo futuro podría incorporar atención temporal o memoria latente.
2. Suposición de Geometría Estática: El ESDF local no modela explícitamente el movimiento de los obstáculos dinámicos. Aunque el replanteamiento gestiona los nuevos obstáculos observados, el planificador no predice los movimientos futuros de objetos en movimiento. Las iteraciones futuras podrían integrar la predicción de trayectorias o campos de distancia indexados por tiempo.