VLD: Visual Language Goal Distance for Reinforcement Learning Navigation

1. El Problema

El entrenamiento de políticas de navegación robótica end-to-end (de extremo a extremo) a partir de datos visuales presenta desafíos fundamentales:

• Brecha Sim-to-Real: Las políticas entrenadas en simuladores a menudo fallan al transferirse al mundo real debido a la falta de realismo fotográfico y diferencias en la física.
• Escasez de Datos Etiquetados: Los enfoques de aprendizaje por imitación requieren trayectorias de expertos con etiquetas de acción (waypoints), que son costosas y difíciles de obtener a gran escala.
• Limitaciones de los Enfoques Actuales: Los métodos existentes (como ViNT o VIP) a menudo dependen de señales de distancia temporales que no se generalizan bien por sí solas, o requieren modelos de lenguaje-visión-acción (VLA) masivos que son computacionalmente costosos y difíciles de escalar.

El objetivo es crear un marco de navegación escalable que combine la comprensión semántica de datos del mundo real con un control robusto, superando la dependencia de anotaciones manuales y mejorando la transferencia del simulador a la realidad.

2. Metodología Propuesta: VLD (Visual Language Distance)

Los autores proponen un marco desacoplado que separa el aprendizaje de la percepción del aprendizaje de la política de control. El sistema consta de dos componentes principales:

A. Aprendizaje del Predictor de Distancia (VLD)

En lugar de entrenar la política directamente con imágenes, primero se entrena un predictor de distancia "distancia-objetivo" de manera auto-supervisada.

• Datos: Se utiliza una escala masiva de datos de video (3,000 horas) que incluye trayectorias sintéticas (Habitat), videos de internet ("in-the-wild") y datos de robots reales.
• Entradas Multimodales: El modelo acepta objetivos tanto visuales (imágenes) como lingüísticos (texto). Utiliza encoders congelados: DINOv2 para imágenes y CLIP para texto.
• Arquitectura: Un decodificador Transformer que consulta tokens de observación actual contra tokens de objetivo (imagen/texto) para predecir la distancia temporal (número de pasos) hasta el objetivo.
• Función de Pérdida: Se utiliza una mezcla de Gaussianas (inlier-outlier) para predecir no solo la distancia ($\hat{t}$) sino también una confianza ($\hat{c}$). Esto permite al modelo identificar casos ambiguos (donde la distancia es incierta) y reducir su peso durante el entrenamiento.
• Evaluación: Se introduce la consistencia ordinal (medida por la correlación de rangos de Kendall $\tau$) para evaluar si el predictor ordena correctamente las distancias (cerca vs. lejos), en lugar de buscar precisión absoluta.

B. Entrenamiento de la Política de Navegación (RL)

La política de control se entrena exclusivamente en simulación utilizando señales geométricas privilegiadas, pero preparada para la incertidumbre del predictor VLD.

• Señal de Entrada: La política recibe información sensorial básica (obstáculos, estado interno) y una señal de "distancia al objetivo".
• Inyección de Ruido Geométrico: Dado que el predictor VLD es ruidoso, la política se entrena en simulación con una señal de distancia geométrica perfecta que ha sido perturbada por un modelo de ruido aprendido. Este modelo de ruido simula la distribución de errores del VLD basándose en características de superposición visual (Projection Success Ratio - PSR) y pose relativa.
• Despliegue: En la fase de despliegue (simulación o realidad), la señal geométrica privilegiada se reemplaza por las predicciones del modelo VLD entrenado. La política no necesita ser reentrenada.

3. Contribuciones Clave

1. Marco Escalable VLD: Un sistema que entrena predictores de distancia visión-lenguaje en datos de internet a gran escala, superando a enfoques anteriores como ViNT y VIP en consistencia ordinal.
2. Evaluación de Consistencia Ordinal: Una nueva metodología para evaluar funciones de distancia de manera aislada, verificando que el modelo entienda la relación "cerca-lejos" sin depender del éxito final de la política.
3. Desacoplamiento Percepción-Control: Una arquitectura que permite entrenar la comprensión semántica ("dónde ir") en datos masivos del mundo real, mientras que el control motor ("cómo ir") se entrena en simulación con señales geométricas robustas. Esto facilita una transferencia sim-to-real efectiva.
4. Modelo de Ruido Geométrico: Una técnica para inyectar ruido estructurado en el entrenamiento de RL que imita la incertidumbre del predictor de percepción, mejorando la robustez del agente.

4. Resultados Experimentales

• Rendimiento del Predictor (VLD):
  • VLD supera significativamente a ViNT y VIP en consistencia ordinal (Kendall's $\tau$) en datasets sintéticos (Habitat) y del mundo real.
  • Logra una alta consistencia incluso en horizontes largos donde no hay superposición visual directa con el objetivo.
  • Funciona bien con objetivos de texto, aunque con un poco más de ruido que con imágenes, demostrando capacidad de navegación semántica.
• Navegación en Simulación (Gibson):
  • Las políticas entrenadas con ruido geométrico y luego desplegadas con VLD alcanzan una tasa de éxito del 73.1%, una caída mínima (~17%) respecto a la política privilegiada perfecta (95.8%).
  • Esto demuestra que la política aprende comportamientos robustos que no dependen del realismo visual del simulador.
• Transferencia Sim-to-Real (TurtleBot4):
  • Este es el resultado más destacado. Al desplegar la política en un robot físico real:
    • VLD: Logra una tasa de éxito del 93.3%.
    • FGPrompt-EF (Estado del Arte basado en imágenes): Logra solo un 60.0%.
  • La política VLD muestra un comportamiento más estable, realizando escaneos de 360° para encontrar señales visuales débiles, mientras que los enfoques basados en imágenes fallan al no encontrar coincidencias visuales perfectas en el mundo real.

5. Significado e Impacto

El trabajo de VLD representa un avance significativo hacia la navegación robótica robusta y escalable.

• Superación de la Brecha Sim-to-Real: Al desacoplar la percepción (entrenada en datos reales masivos) del control (entrenado en simulación con señales abstractas), el sistema es menos sensible a las diferencias visuales entre el simulador y la realidad.
• Escalabilidad: Elimina la necesidad de costosas anotaciones de trayectorias de expertos, utilizando en su lugar señales de distancia temporales extraídas automáticamente de videos.
• Multimodalidad: Permite especificar objetivos mediante texto o imagen, lo cual es crucial para la interacción humana natural en entornos reales.
• Eficiencia: Demuestra que no es necesario entrenar modelos VLA masivos y costosos para lograr una navegación robusta; una señal escalar de distancia aprendida es suficiente para guiar políticas de control eficientes.

En resumen, VLD ofrece una vía práctica y escalable para dotar a los robots de la capacidad de navegar en entornos complejos y no estructurados, utilizando la riqueza de los datos de internet para la percepción y la simulación para el control seguro.