Resumen Técnico: FlowR2A

Planteamiento del Problema

La planificación de conducción multimodal enfrenta una tensión fundamental entre dos paradigmas existentes: los métodos basados en puntuación (scoring-based) y los métodos basados en anclas (anchor-based).

• Los métodos basados en puntuación utilizan un vocabulario de acciones grande y fijo, y entrenan a un evaluador para calificar candidatos utilizando etiquetas de recompensa densas basadas en simulación. Si bien esto proporciona una supervisión rica sobre la relación entre acciones y resultados, estos métodos son fundamentalmente discriminativos ($p(r|a)$). No pueden generar nuevas propuestas fuera de su vocabulario fijo, lo que limita su adaptabilidad a escenarios del mundo real dinámicos.
• Los métodos basados en anclas decodifican dinámicamente propuestas a partir de un conjunto de anclas de acción, permitiendo una generación adaptable a la escena. Sin embargo, suelen depender de una supervisión dispersa, utilizando frecuentemente una pérdida de tipo "el ganador se lleva todo" (winner-takes-all) que supervisa solo la propuesta más cercana a una única trayectoria de referencia (ground-truth o GT). Esto conduce a propuestas de baja calidad o degeneradas para las anclas que no reciben señales de entrenamiento e hereda patologías del aprendizaje por imitación, como el aprendizaje de atajos (shortcut learning) a partir del estado del ego y una falta de conciencia respecto a las consecuencias de las acciones.

El desafío central es que la supervisión de recompensa densa y el modelado generativo de propuestas han sido históricamente mutuamente excluyentes.

Metodología: FlowR2A

Los autores proponen FlowR2A, un marco que redefine las recompensas basadas en simulación de objetivos discriminativos a condiciones generativas. En lugar de aprender a predecir recompensas dadas las acciones, FlowR2A aprende la distribución de acciones condicionada por la recompensa $p(a|r)$ utilizando un decodificador de flujo (flow-matching).

1. Formulación Central

• Pares Acción-Recompensa Densos: El método construye un vocabulario de acciones denso ($V_a$) de 8,192 trayectorias agrupadas a partir de datos de nuPlan. Para cada escena de entrenamiento, cada trayectoria es simulada para generar una etiqueta de recompensa, creando pares $(a, r)$ densos que abarcan el espacio de acción.
• Modelado Generativo: El modelo trata estas recompensas como condiciones para aprender la distribución generativa $p(a|r)$. Esto obliga al modelo a interiorizar la correlación entre una acción y sus resultados (seguridad, progreso, comodidad, cumplimiento de reglas) en lugar de simplemente clasificarlos.
• Flow Matching (Emparejamiento de Flujo): Se entrena un decodificador de acción basado en flujo para recuperar trayectorias limpias a partir de ruido bajo condicionamiento de recompensa, utilizando una pérdida de emparejamiento de velocidad (velocity-matching loss).

2. Construcción de Recompensas y Condicionamiento

Para equilibrar las restricciones de seguridad estrictas con los objetivos de progreso suaves, los autores introducen una ingeniería de recompensas específica:

• Señales de Grano Fino: En lugar de una única puntuación escalar, el sistema expone submétricas que incluyen: No Colisiones Culposas (NC), Cumplimiento de Área Conducible (DAC), Cumplimiento de Dirección de Conducción (DDC), Cumplimiento de Semáforos (TLC), Progreso del Ego (EP), Tiempo para la Colisión (TTC), Mantenimiento de Carril (LK) y Confort Histórico (HC).
• Condicionamiento por Paso de Tiempo: Las etiquetas binarias para seguridad (TTC) y cumplimiento (DAC) se reemplazan con arreglos por paso de tiempo (por ejemplo, tiempo proyectado de colisión, banderas de estar en la vía/en la ruta). Esto proporciona una mayor resolución temporal para las restricciones estrictas.
• Aumento de Ruido de Recompensa: Las recompensas continuas (EP y puntuación PDM) se corrompen con un ruido Gaussiano menor durante el entrenamiento. Esto actúa como un suavizado de etiquetas, evitando que el decodificador dependa excesivamente de valores de recompensa precisos como identificadores de trayectoria y ayudándolo a generalizar hacia regiones de alta recompensa sin cruzar hacia estados inviables.

3. Arquitectura

• Codificador de Percepción: Utiliza Transfuser para codificar imágenes de múltiples vistas y características de LiDAR en BEV (Bird's Eye View) en contexto de la escena y tokens de agentes.
• Codificador de Recompensa: Mapea señales de recompensa heterogéneas en un embedding de condición. Soporta el guiado libre de clasificador (classifier-free guidance) al eliminar aleatoriamente los embeddings de recompensa durante el entrenamiento (reemplazándolos con tokens nulos).
• Decodificador de Acción basado en Flujo: Un decodificador basado en transformadores que predice trayectorias limpias a partir de entradas ruidosas. Utiliza normalización de capa adaptativa (AdaLN) para inyectar la condición de recompensa y los embeddings de tiempo.
• Selector de Modos: Un transformador ligero que clasifica las propuestas generadas basándose en las sub-puntuaciones predichas, seleccionando la salida final.

4. Estrategia de Inferencia

FlowR2A soporta el muestreo controlable en tiempo de prueba:

• Guiado por Recompensa: Utiliza el Guiado Libre de Clasificador (CFG) para dirigir el decodificador hacia regiones de alta recompensa de la distribución.
• Muestreo Anclado: Permite el muestreo cero-disparos (zero-shot) desde cualquier trayectoria de referencia (por ejemplo, una salida de aprendizaje por imitación) inicializando el proceso de eliminación de ruido en un paso de tiempo intermedio $t_{init}$, preservando la estructura tosca del ancla mientras se refina bajo las condiciones de recompensa.

Principales Contribuciones

1. Nuevo Paradigma: Un marco de planificación multimodal que unifica la supervisión densa de los métodos basados en puntuación con la capacidad generativa de los métodos basados en anclas mediante el aprendizaje de $p(a|r)$.
2. Receta de Construcción de Recompensas: Un método para equilibrar objetivos conflictivos utilizando el condicionamiento de recompensa de grano fino por paso de tiempo y el aumento de ruido de recompensa, manejando eficazmente la tensión entre las restricciones de seguridad estrictas y los objetivos de progreso suaves.
3. Rendimiento de Vanguardia: Logró los mejores resultados en los benchmarks NAVSIM v1 y v2, produciendo propuestas multimodales de calidad sustancialmente mayor que métodos anteriores.

Resultados Experimentales

Evaluado en los benchmarks NAVISIM v1 y v2:

• NAVISIM v1: FlowR2A alcanzó un 92.8 PDMS de vanguardia, superando al mejor anterior (Hydra-MDP++) por $\ge 1.1$ puntos. Mostró márgenes significativos en las métricas de seguridad (TTC) y progreso (EP).
• NAVISIM v2: Alcanzó 88.9 EPDMS, liderando en las submétricas de seguridad y progreso.
• Calidad de la Propuesta: Al evaluar la calidad de todas las propuestas generadas (no solo la seleccionada), FlowR2A demostró un PDMS promedio significativamente mayor y una desviación estándar menor en comparación con las líneas base basadas en anclas como iPad y DiffusionDrive. Esto indica que FlowR2A genera propuestas consistentes y dentro de la distribución, en lugar de candidatos dispersos.
• Eficiencia: El modelo soporta compromisos entre velocidad y calidad ajustando los pasos de eliminación de ruido y el nivel de ruido inicial, permitiendo tiempos de inferencia de tan solo 44 ms por cuadro con una degradación mínima del rendimiento.

Significado y Reivindicaciones

El artículo afirma que FlowR2A resuelve el compromiso de larga data entre la supervisión densa y el modelado generativo. Al reformular las recompensas como condiciones generativas, el modelo aprende una distribución donde cada propuesta muestreada es probablemente factible, en lugar de depender de un clasificador para filtrar malas candidatas de un conjunto fijo.

Los autores enfatizan que la alta calidad de las propuestas proviene de que el modelo interioriza la correlación entre las acciones y sus resultados a través de todo el espacio de acción. Aunque la implementación actual depende de la simulación basada en reglas para la generación de recompensas, la formulación generativa está diseñada para ser compatible con modelos de recompensa aprendidos por aprendizaje automático u otros mecanismos de puntuación en el futuro. El trabajo sugiere que modelar la distribución completa de la acción condicional es un enfoque superior para la planificación multimodal en comparación con la selección de vocabularios fijos o la regresión hacia trayectorias únicas de referencia.