Resumen Técnico: De la Imitación al Alineamiento: Políticas de Flujo de Preferencia Humana para la Navegación en Aceras de Largo Alcance

Declaración del Problema

La navegación autónoma en aceras de largo alcance es crítica para aplicaciones de micromovilidad como la entrega robótica de alimentos y las sillas de ruedas asistenciales. A diferencia de la conducción en carretera, la navegación en aceras implica terrenos impredecibles, interacciones densas con peatones y normas sociales estrictas, todo ello operando bajo restricciones severas de computación integrada y vida útil de la batería. Los autores identifican tres desafíos primarios en los enfoques existentes:

1. Errores Acumulativos y Desplazamiento de Distribución: Las políticas de Aprendizaje por Imitación (IL) estándar entrenadas en datos offline a gran escala suelen fallar al recuperarse de errores en entornos de bucle cerrado, lo que conduce a errores acumulativos.
2. Falta de Cumplimiento Social: Las políticas entrenadas puramente mediante demostraciones pueden no adherirse a las normas sociales implícitas (por ejemplo, ceder el paso a peatones) o manejar eficazmente los estados críticos de seguridad.
3. Limitaciones de la Representación de la Acción: Las parametrizaciones de acción comunes luchan con la naturaleza multimodal de la navegación en aceras (por ejemplo, pasar un obstáculo por un lado u otro). Las Gaussianas unimodales son demasiado restrictivas, mientras que las políticas de difusión o de emparejamiento de flujo (flow-matching) pueden introducir un exceso de aleatoriedad o inconsistencia temporal.
4. Dilema de Generalización-Precisión: Si bien el entrenamiento en datos diversos mejora la generalización en distintos entornos, esto suele comprometer la precisión requerida para instancias de robots específicos con parámetros de cámara y atributos mecánicos únicos.

Metodología: FlowPilot

El artículo propone FlowPilot, una política de navegación sin mapas que utiliza únicamente una cámara RGB monocular y GPS. El marco cierra la brecha entre la imitación a gran escala y el alineamiento específico del robot a través de un proceso de dos etapas.

1. Emparejamiento de Flujo Anclado para el Pre-entrenamiento

Para abordar la naturaleza multimodal de la navegación en aceras, los autores introducen el emparejamiento de flujo anclado (anchored flow matching) como la representación de la acción.

• Generación de Anclas: Se aplica un agrupamiento K-means restringido a los espacios de acción normalizados de los datos de demostración para generar un conjunto de $K$ acciones ancla. Estas anclas sirven como comportamientos multimodales prototípicos.
• Emparejamiento de Flujo (Flow Matching): La política aprende un campo de velocidad para generar trayectorias. En lugar de regredir directamente a una única trayectoria, el modelo interpola entre el ruido y una trayectoria experta condicionada a un ancla específica. Esto permite al modelo capturar distribuciones multimodales diversas y complejas, asegurando al mismo tiempo trayectorias futuras suaves y temporalmente consistentes.
• Atención Cruzada con Compuerta (Gated Cross-Attention): Para evitar que el modelo dependa excesivamente de las coordenadas del objetivo (lo que puede llevar a comportamientos de "atajo" que ignoran los obstáculos), la arquitectura emplea un mecanismo de atención cruzada con compuerta. Esto mitiga el "sumidero de atención" (attention sink) en el objetivo, obligando a la política a fundamentar sus decisiones en el contexto de la escena (obstáculos, límites de la acera) en lugar de solo en el destino.
• Pre-entrenamiento: El modelo se pre-entrena en un conjunto de datos a gran escala (SideWalks-300, 300 horas de datos de teleoperación de 281 instancias de robots) combinado con otros conjuntos de datos de visión-acción. Esta etapa utiliza pérdidas supervisadas para odometría visual, clasificación de modo (asignación de anclas) y regresión de trayectoria.

2. Alineamiento de Preferencia con el Humano en el Bucle

Para cerrar la brecha entre la imitación general y la precisión específica del robot, FlowPilot emplea un esquema de aprendizaje de preferencia libre de recompensas.

• Recolección de Datos: Durante el despliegue, un operador humano monitorea al robot a través de una plataforma de teleoperación. Cuando la política predice una acción insegura o socialmente no conforme, el operador interviene con un comando correctivo.
• Pares de Preferencia: Estas intervenciones crean pares de preferencia $(x^+, x^-)$, donde $x^+$ es la acción corregida por el humano y $x^-$ es la predicción original (no deseada) de la política.
• Objetivo de Alineamiento: La política se ajusta utilizando una pérdida de preferencia que aumenta la probabilidad de la acción preferida ($x^+$) mientras suprime la acción rechazada ($x^-$).
  • Alineamiento a Nivel de Puntuación (Score-Level): Se entrena una cabeza de puntuación para asignar una mayor probabilidad al modo ancla preferido que al modo rechazado, regularizado por un término de divergencia KL para preservar el prior pre-entrenado.
    im Alineamiento a Nivel de Velocidad: Se utiliza un objetivo de trayectoria asimétrico a nivel de velocidad. La acción preferida sirve como objetivo de regresión positivo. Crucialmente, la acción rechazada no es empujada directamente (lo que podría desestabilizar los gradientes en el emparejamiento de flujo continuo); en su lugar, se regula hacia su prior de ancla. Esto preserva la continuidad del espacio de acción mientras se desalientan comportamientos específicos no deseados.

Contribuciones Clave

1. Política de Emparejamiento de Flujo Anclado: Una representación de acción novedosa que combina priors de comportamiento discretos (anclas) con refinamiento de flujo continuo para modelar distribuciones de acción multimodales y complejas para la navegación de largo alcance.
2. Mecanismo de Condicionamiento con Compuerta: Un diseño arquitectónico que mitiga los atajos impulsados por el objetivo, fomentando que la política utilice el contexto de la escena sobre las coordenadas directas del objetivo.
3. Aprendizaje de Preferencia Libre de Recompensas: Un algoritmo de ajuste fino con el humano en el bucle que alinea la política con las normas sociales y los requisitos de seguridad específicos del robot utilizando datos de intervención, sin requerir funciones de recompensa explícitas.
4. Evaluación Exhaustiva: Validación extensa tanto en simulación como en entornos del mundo real a través de diversos escenarios de aceras y diversas implementaciones de robots.

Resultados Experimentales

Evaluación de Bucle Abierto (Open-Loop)

En un conjunto de evaluación de retención (held-out), FlowPilot-Base logró un rendimiento de vanguardia en la precisión de la predicción de trayectoria:

• minMOE: 6.63 (el más bajo entre las líneas base)
• mAP: 0.87 (mayor confianza en los modos correctos)
• Error L2: 1.04 (menor error de punto final)

Simulación de Bucle Cerrado (Closed-Loop)

En un benchmark de simulación de bucle cerrado con 300 ensayos por escenario:

• Tasa de Éxito (SR): FlowPilot-Base logró un 42%, superando significativamente a las líneas base como S2E (35%) y ViNT (27%).
• Completitud de Ruta (RC): Logró un 66%.
• Tasa de Colisión (CR): Se redujo a 0.43, comparado con el 0.61 de la ablación sin la Atención Cruzada con Compuerta.
• Trans-Embodiment (Entre Implementaciones): FlowPilot-HP (con ajuste de preferencia) mantuvo un alto rendimiento (SR 0.44–0.55) a través de nuevas configuraciones de robots (R1, R2) con cambios en la dinámica y parámetros de cámara, superando métodos de adaptación estándar como DAgger.

Despliegue en el Mundo Real

Evaluado en robots con ruedas y perros robóticos a lo largo de 2.8 km de rutas diversas (incluyendo noche y luz compleja):

• Tasa de Intervención (IR): FlowPilot-HP redujo la IR en un 40.0% y la Tasa de Intervención Normalizada (NIR) en un 52.1% en comparación con el modelo base (FlowPilot-Base).
• Cumplimiento Social: El modelo demostró tasas de cumplimiento de distancia (DCR) y de tiempo (TCR) significativamente más altas que las líneas base, manteniendo una separación más segura de peatones y obstáculos.
• Robustez: El sistema navegó con éxito rutas de largo alcance (segmentos de más de 100 m) y condiciones desafiantes, incluyendo entornos de baja iluminación.

Significado y Reivindicaciones

El artículo afirma que FlowPilot representa un paso significativo hacia adelante en la navegación autónoma en aceras al abordar las limitaciones del aprendizaje por imitación puro. Los autores argumentan que:

1. El Emparejamiento de Flujo Anclado proporciona una representación necesaria para capturar la naturaleza multimodal y sensible al control de la navegación en aceras, con la que las políticas estándar de Gaussiana o de difusión tienen dificultades.
2. El Alineamiento vía Aprendizaje de Preferencia es esencial para la transición de una política de propósito general ampliamente capaz a un controlador específico de un robot, preciso, socialmente conforme y seguro. Los resultados demuestan que incluso una pequeña cantidad de datos de intervención humana, cuando se procesan a través de su marco de aprendizaje de preferencia, puede reducir drásticamente los comportamientos inseguros y mejorar el cumplimiento social.
3. Escalabilidad y Robustez: El marco escala con éxito desde el pre-entrenamiento a gran escala hasta el despliegue específico, manteniendo la robustez a través de diferentes implementaciones de robots y condiciones ambientales sin requerir sensores pesados o mapeo explícito.

Los autores concluyen que, si bien su enfoque monocular tiene limitaciones respecto a la ambigüedad de escala y pistas 3D finas, el marco propuesto equilibra eficazmente el compromiso entre generalización y precisión, ofreciando una solución práctica para aplicaciones de micromovilidad en el mundo real.