Resumen Técnico: Seeing-to-Experiencing (S2E)

Planteamiento del Problema

Los modelos fundacionales de navegación entrenados con datos masivos de la web a escala offline han demostrado una fuerte generalización en diversos entornos. Sin embargo, estos modelos dependen principalmente de la imitación visual pasiva, capturando correlaciones estadísticas en lugar de causalidad fundamentada. En consecuencia, carecen de la capacidad para razonar sobre las consecuencias de las acciones, adaptarse a escenarios contrafácticos o exhibir comportamientos reactivos necesarios para una navegación urbana segura (por ejemplo, evitar obstáculos dinámicos o peatones). Si bien el Aprendizaje por Refuerzo (RL) ofrece un paradigma para el aprendizaje interactivo, los intentos previos de escalar el RL para la navegación han tenido dificultades debido a la baja eficiencia de muestreo, la falta de sesgos inductivos y la dificultad de entrenar agentes desde cero en entornos sintéticos estrechos. Además, el simple escalado de datos supervisados offline suele conducir a rendimientos decrecientes en el rendimiento.

Metodología: El Marco de Trabajo S2E

Los autores proponen Seeing-to-Experiencing (S2E), un marco de aprendizaje híbrido que combina el preentrenamiento offline a gran escala con el aprendizaje por refuerzo online en simulación. El objetivo del marco es retener las representaciones visuales generalizables aprendidas de videos del mundo real mientras se adquieren capacidades interactivas mediante RL.

1. Preentrenamiento: Anchor-Guided Distribution Matching (AGDM)

Para abordar la naturaleza multimodal de la navegación (donde existen múltiples acciones válidas para una sola observación), los autores introducen una estrategia de Emparejamiento de Distribución Guiada por Anclas (Anchor-Guided Distribution Matching).

• Arquitectura: En lugar de utilizar contenedores (bins) discretos o Gaussianas unimodales, el modelo predice un Modelo de Mezcla Gaussiana (GMM) donde los componentes de la mezcla son guiados por "anclas".
• Mecanismo: Se muestrean $M$ puntos de intención representativos (anclas) mediante K-Means en el conjunto de datos unificado. Estas anclas sirven como consultas en un mecanismo de atención cruzada. Cada ancla corresponde a un modo Gaussiano con puntuaciones, medias, desviaciones estándar y correlaciones aprendidas.
• Beneficio: Este enfoque proporciona una distribución multimodal estructurada que equilibra la expresividad con la estabilidad del entrenamiento. Permite al modelo capturar comportamientos diversos (por ejemplo, ir recto, girar, ceder el paso) manteniendo al mismo tiempo un núcleo confiable para la adaptación posterior.

2. Postentrenamiento: Módulo de Atención Residual (RAM)

Para inyectar capacidades interactivas sin borrar el conocimiento preentrenado o sufrir un cambio de dominio (sim-to-real), los autores proponen un Módulo de Atención Residual para el ajuste fino mediante RL.

• Motivación: El ajuste fino de todos los parámetros con RL conlleva el riesgo de "Olvido de Capacidades Preentrenadas" (FPC) y provoca que el codificador visual se sobreajuste a las texturas del simulador, degradando el rendimiento en el mundo real.
• Mecanismo: Se congelan los parámetros originales de la atención cruzada preentrenada. Se introduce una copia paralela y entrenable del bloque de atención, regulada por capas lineales inicializadas en cero.
• Dinámica de Entrenamiento: La inicialización en cero asegura que, al inicio del ajuste fino, la rama residual no aporte nada ($Q' = \psi_{pre}(Q)$). A medida que el entrenamiento progresa, las ponderaciones de la compuerta se activan gradualmente, permitiendo que el modelo aprenda selectivamente comportamientos reactivos (por ejemplo, la evasión de obstáculos) a partir de la señal de RL, preservando al mismo tiempo las representaciones visuomotoras generalizables del preentrenamiento offline.
• Eficiencia: Este enfoque es eficiente en parámetros, actualizando solo un complemento ligero en lugar de todo el modelo, y evita actualizar el codificador de visión para prevenir el cambio de dominio.

3. Benchmark de Evaluación: NavBench-GS

Los autores establecen NavBench-GS, un benchmark exhaustivo de extremo a extremo.

• Características: Construido sobre reconstrucciones de Gaussian Splatting 3D fotorealistas de escenas del mundo real, incorpora interacciones físicas y dinámicas precisas.
• Alcance: Incluye 26 escenarios con cuatro variaciones de tareas: entornos vacíos, obstáculos estáticos, peatones en movimiento y combinación de obstáculos/peatones.
• Métricas: Tasa de Éxito (SR), Completitud de la Ruta (RC) y Tiempos de Colisión (CT).

Resultados Clave

Rendimiento de Escalamiento

Los experimentos demuestran que S2E mitiga los rendimientos decrecientes asociados con el escalado de datos offline por sí solos.

• RL vs. Escalamiento de Datos: Aumentar los datos offline de 250k a 750k muestras produjo solo una mejora del 2% en la tasa de éxito. En contraste, aplicar el ajuste fino de RL a un modelo entrenado con 100 horas de datos resultó en una mejora del 15% en la tasa de éxito sin necesidad de datos offline adicionales.
• RL vs. SFT: Comparado con el Ajuste Fino Supervisado (SFT), que sufre de un sobreajuste severo a medida que los costos de entrenamiento aumentan, el RL mantiene o mejora las tasas de éxito y demuestra una mayor eficiencia de muestreo.

Rendimiento del Benchmark (NavBench-GS)

S2E superó a los modelos fundacionales de navegación de vanguardia (incluyendo GNM, ViNT, NoMaD, MBRA y CityWalker) en todos los escenarios de prueba.

• Eficiencia: S2E, entrenado con solo 100 horas de datos, superó a CityWalker, que fue entrenado con más de 2000 horas de datos.
• Seguridad: S2E logró las tasas de éxito más altas y los tiempos de colisión más bajos, particularmente en escenarios complejos que involucran tanto obstáculos estáticos como peatones en movimiento.

Despliegue en el Mundo Real

El marco fue desplegado en dos plataformas robóticas distintas: un robot con ruedas y un robot cuadrúpedo Unitree GO2.

• Generalización Zero-Shot: S2E logró la transferencia zero-shot a escenarios urbanos del mundo real no vistos previamente.
• Rendimiento: En pruebas del mundo real, S2E-Full alcanzó una tasa de éxito de 0.51 (ruedas) y 0.55 (cuadrúpedo), superando significativamente a las líneas base como NoMaD y CityWalker, que tuvieron dificultades con la evasión de colisiones.

Significado y Reivindicaciones

El artículo afirma que la integración de experiencias interactivas online vía Aprendizaje por Refuerzo es crucial para escalar los modelos fundacionales en robótica. Las contribuciones clave son:

1. Cerrar la Brecha: S2E logra cerrar con éxito la brecha entre la amplia generalización del preentrenamiento offline y la seguridad reactiva de la interacción online.
2. Innovación Técnica: El Emparejamiento de Distribución Guiada por Anclas estabiliza el aprendizaje de distribuciones multimodales complejas, mientras que el Módulo de Atención Residual permite un aprendizaje incremental y seguro de comportamientos interactivos sin olvido catastrófico ni cambio de dominio.
3. Nuevo Paradigma: El trabajo desafía la noción de que el escalado de datos offline es el principal motor del rendimiento, demostando que el postentrenamiento mediante RL ofrece un camino más eficiente hacia políticas de navegación robustas y seguras.
4. Reproducibilidad: Los autores proporcionan un nuevo benchmark (NavBench-GS) y se comprometen a liberar el código y los modelos para facilitar la verificación de la comunidad.

Los autores reconocen las limitaciones, señalando que los sistemas actuales dependen de entradas visuales 2D y carecen de percepción 3D explícita, lo que aún puede derivar en colisiones con estructuras 3D complejas. Sugieren que el trabajo futuro podría integrar la predicción de profundidad u ocupación.