Resumen Técnico: RoamFlow

Planteamiento del Problema

La navegación con objetivo de imagen es un desafío fundamental en la robótica corpórea, que requiere que un agente alcance una ubicación objetivo especificada únicamente mediante una imagen de meta utilizando observaciones sensoriales a bordo. Los enfoques de aprendizaje por refuerzo (RL) existentes suelen mapear observaciones perceptivas directamente a acciones de un solo paso. Aunque son robustos al ruido, estos métodos tienen dificultades con las dependencias de largo horizonte, lo que a menudo resulta en comportamientos miopes y trayectorias subóptimas en entornos complejos.

Los marcos generativos recientes (por ejemplo, políticas basadas en difusión o de coincidencia de flujo/flow-matching) abordan esto sintetizando secuencias de acciones coherentes de múltiples pasos, lo que permite un razonamiento a nivel de trayectoria. Sin embargo, estos métodos enfrentan dos limitaciones críticas:

1. Eficiencia de Inferencia: Dependen de procesos de generación iterativos (múltiples pasos de eliminación de ruido o integración numérica), lo que introduce latencia computacional que dificulta el despliegue en tiempo real en robots con recursos limitados.
2. Alineación de la Política: La mayoría se basa principalmente en el aprendizaje por imitación (IL). Si bien el IL proporciona priors útiles, no puede corregir comportamientos expertos subóptimos ni adaptarse a entornos no vistos, lo que conduce a errores acumulados de largo horizonte y desalineación con objetivos de la tarea como la evitación de colisiones y el alcance eficiente del objetivo.

Metodología

Los autores proponen RoamFlow, un marco de navegación generativa que combina la generación de trayectorias de un solo paso eficiente con una estrategia de entrenamiento de dos etapas (Aprendizaje por Imitación + Aprendizaje por Refuerzo).

1. Arquitectura

El sistema consta de tres componentes principales:

• Codificación de Observaciones: Las observaciones RGB-D actuales y la imagen RGB de la meta se codifican utilizando backbones EfficientNet-B0 y se fusionan mediante un bloque Transformer para crear una representación latente conjunta ($C_t$).
• Política RoamFlow (Generador de MeanFlow): En lugar de predecir la velocidad instantánea (como en la coincidencia de flujo estándar), la política aprovecha el MeanFlow para predecir el campo de velocidad promedio sobre un intervalo de tiempo. Esto modela el desplazamiento a nivel de intervalo en lugar de cambios instantáneos. Al hacer esto, la política puede mapear ruido gaussiano directamente a una secuencia de trayectoria completa ($A_t$) en un solo paso hacia adelante (forward pass), reduciendo significativamente los pasos de transporte.
• Evaluador de Trayectorias: Una cabeza de Perceptrón Multicapa (MLP) ligera evalúa las trayectorias candidatas generadas por la política. Califica las trayectorias basándose en el despeje geométrico (seguridad) y la suavidad, seleccionando la trayectoria con la puntuación más alta para su ejecución. Esto actúa como un filtro de seguridad para mitigar la inestabilidad en las predicciones multimodales.

2. Estrategia de Entrenamiento

RoamFlow emplea un pipeline de optimización de dos etapas:

• Etapa I: Aprendizaje por Imitación Offline (IL): El generador MeanFlow y el evaluador de trayectorias se pre-entrenan en conjuntos de datos de expertos (generados mediante Hybrid A* en grafos topológicos). El generador minimiza el error entre los campos de velocidad promedio predichos y los del experto. El evaluador se entrena mediante regresión para predecir puntuaciones de seguridad y suavidad basadas en campos de distancia.
• Etapa II: Aprendizaje por Refuerzo Online (RL): Para refinar la política para objetivos específicos de la tarea, la política pre-entrenada se ajusta finamente en el entorno de simulación Habitat. Los autores introducen una red de ruido aprendible para convertir el transporte determinista de MeanFlow en una cadena de Markov estocástica, permitiendo la optimización basada en verosimilitud. La política se optimiza mediante PPO (Optimización de Política Próxima) con una función de recompensa que comprende éxito, holgura (penalización de tiempo), progreso y términos de colisión.

Principales Contribuciones

1. Política Generativa Basada en MeanFlow: Los autores introducen una política que predice campos de velocidad promedio para permitir la generación de trayectorias eficientes de pocos pasos (efectivamente un solo paso). Esto reduce la latencia de inferencia mientras preserva la calidad de la trayectoria, abordando el cuello de botella computacional de los modelos generativos iterativos.
   2.Marco de Entrenamiento de Dos Etapas: Un pipeline novedoso que combina IL offline para una inicialización estable con RL online para el refinamiento impulsado por la tarea. Este enfoque permite que el agente aprenda primero los priors de expertos y luego alinee la generación de trayectorias con objetivos de navegación específicos (por ejemplo, evitación de colisiones) a través de señales de recompensa.
2. Evaluador de Trayectorias: Un mecanismo para reordenar las trayectorias candidatas durante la inferencia, mejorando la robustez y la seguridad sin una sobrecarga computacional significativa.

Resultados Experimentales

El marco fue validado tanto en la simulación Habitat como en experimentos robóticos en el mundo real (cuadrúpedo Unitree Go2).

• Desempeño en Simulación (Habitat):

  • En el conjunto de datos Gibson, RoamFlow logró una Tasa de Éxito (SR) del 68.7% y un SPL de 61.9%, superando bases sólidas como NavDP (SR 59.3%, SPL 47.5%).
  • Redujo significativamente la Tasa de Colisión (CR) a 10.9% en comparación con el 11.6% de NavDP.
  • Tiempo de Inferencia: RoamFlow logró una latencia de 19.6 ms, una mejora sustancial sobre las bases de difusión (por ejemplo, NaviDiffusor con 89.5 ms) e incluso sobre versiones destiladas de otros métodos.
  • Generalización de Dominio Cruzado: En el conjunto de datos MP3D no visto, RoamFlow mantuvo un fuerte desempeño (SR 56.1%) sin ajuste fino, demostrando una generalización robusta.

• Despliegue en el Mundo Real:

  • Desplegado en un robot Unitree Go2 con una NVIDIA Jetson Orin NX, RoamFlow logró una Tasa de Éxito del 100% en 20 ejecuciones en tres escenarios distintos.
  • Registró la tasa de colisión más baja (0.10 colisiones/ejecución) y el tiempo de inferencia más rápido (37.2 ms), satisfaciendo las restricciones de tiempo real (bucle de control de 10 Hz).

• Estudios de Ablación:

  • Eliminar la etapa de pre-entrenamiento de IL resultó en una caída drástica en la SR (de 68.7% a 13.2%), confirmando la necesidad de los priors de expertos.
  • Eliminar la etapa de RL redujo la SR (a 51.3%) e incrementó la CR (a 25.9%), resaltando el papel del RL en el refinamiento de la seguridad y la alineación de la tarea.
  • Reemplazar el Evaluador de Trayectorias con selección aleatoria aumentó la tasa de colisión, validando el papel del evaluador como filtro de seguridad.

Significancia y Reivindicaciones

El artículo afirma que RoamFlow ofrece una solución práctica para desplegar políticas de navegación generativas en sistemas integrados con recursos limitados. Al cambiar del modelado de velocidad instantánea al modelado de desplazamiento a nivel de intervalo (MeanFlow), el método logra una generación de un solo paso eficiente sin sacrificar la calidad de la trayectoria. Además, la estrategia de entrenamiento de dos etapas cierra la breancia entre el aprendizaje por imitación estático y los requisitos dinámicos de la tarea, asegurando que la política no solo sea estable, sino también alineada con objetivos del mundo real como la seguridad y la eficiencia. Los autores sostienen que esta combinación de modelado generativo, inferencia eficiente y alineación por refuerzo permite una navegación con objetivo de imagen robusta tanto en simulación como en entornos del mundo real.