Resumen Técnico: CoIRL-AD

1. Planteamiento del Problema

Los modelos de conducción autónoma de extremo a extremo (E2E) dependen predominantemente del Aprendizaje por Imitación (IL), entrenados para imitar demostraciones de expertos. Aunque son efectivos en escenarios comunes, estos modelos sufren de una pobre generalización en situaciones de "cola larga" (long-tail) donde los datos de expertos son escasos. Los pequeños errores de predicción pueden acumularse con el tiempo, desplazando al agente hacia estados no vistos (desplazamiento de distribución).

El Aprendizaje por Refuerzo (RL) ofrece una solución potencial al aprender de señales de recompensa en lugar de solo de demostraciones. Sin embargo, aplicar RL a la conducción autónoma en el mundo real en un entorno offline (sin simuladores interactivos) presenta desafíos significativos:

• Sesgo de Datos: Los conjuntos de datos del mundo real están dominados por trayectorias de expertos casi óptimas, lo que proporciona una cobertura limitada de comportamientos subóptimos o alternativos, dificultando el aprendizaje de las diferencias de valor.
• Conflicto de Objetivos: La optimización conjunta de IL (clonación de comportamiento) y RL (maximización de recompensa) dentro de una sola política suele generar conflictos de gradiente.
• Sesgo del Modelo: En entornos offline, los modelos de mundo entrenados con datos de expertos pueden producir predicciones sesgadas para acciones fuera de la distribución, lo que conduce a estimaciones de valor excesivamente optimistas e inestabilidad en el entrenamiento si se utilizan para la exploración de RL.

Los enfoques existentes dependen de simuladores externos (convirtiendo el problema en RL online) o utilizan estrategias de dos etapas (preentrenamiento con IL, ajuste fino con RL) que son propensas a la inestabilidad en datos reales offline.

2. Metodología: CoIRL-AD

Los autores proponen CoIRL-AD (Aprendizaje de Imitación-Refuerzo Colaborativo-Competitivo), un marco que integra IL y RL bajo un régimen de entrenamiento offline unificado utilizando un Modelo de Mundo Latente compartido.

Arquitectura Central

El marco emplea una arquitectura de política dual que consiste en dos actores separados:

1. Actor de IL: Optimizado mediante clonación de comportamiento (pérdida de imitación) para imitar trayectorias de expertos.
2. Actor de RL: Optimizado mediante aprendizaje por refuerzo para maximizar las recompensas acumuladas.
   Ambos actores comparten un módulo de percepción y un modelo de mundo latente, pero se actualizan por separado para aislar el ruido de exploración de RL del aprendizaje por imitación.

Componentes Técnicos Clave

A. Modelo de Mundo Latente y Planificación hacia Atrás

• Modelo de Mundo Latente: En lugar de la generación a nivel de píxeles, el modelo opera en el espacio latente para predecir estados futuros ($\hat{s}'$) dado el estado actual ($s$) y una secuencia de acciones ($\tau_a$). Esto sirve como un "simulador reactivo" para que el actor de RL imagine ejecuciones futuras.
• Planificación hacia Atrás (Causalidad Inversa): A diferencia de la planificación causal hacia adelante estándar, los autores proponen una estrategia de planificación hacia atrás donde la $i$-ésima acción está condicionada por características de puntos de ruta (waypoints) actuales y futuros ($\pi_i(a_i | s_{w,i}, ..., s_{w,n})$). Este razonamiento de "objetivo a acción" proporciona a las acciones tempranas información contextual más rica, lo cual los autores encontraron beneficioso para el objetivo del actor de RL de maximizar las recompensas acumuladas.

B. Formulación de RL para Datos Offline

• Muestreo de Grupo (Inspirado en GRPO): Para abordar la falta de diversidad conductual en conjuntos de datos dominados por expertos, el actor de RL muestrea $G$ trayectorias de acción de su política estocástica.
• Función de Recompensa: Las recompensas se calculan utilizando señales basadas en reglas derivadas de las anotaciones del conjunto de datos (mapas y cajas delimitadoras), incluyendo:
  • Recompensa de Imitación: Proximidad a las acciones del experto.
  • Recompensa de Colisión: Evitación de obstáculos estáticos y dinámicos.
• Estimación de Ventaja: El marco utiliza el modelo de mundo latente para predecir estados futuros para las trayectorias muestreadas. Una red crítica estima el valor de los estados actuales e imaginados futuros. La ventaja se calcula utilizando una normalización Z-score de la recompensa total (incluyendo el valor futuro descontado) dentro del grupo.
• Política Estocástica: El actor de RL genera una distribución Gaussiana para las acciones para permitir la exploración, con un mecanismo de "conciencia de paso" (step-aware) que asegura la suavidad de la trayectoria al hacer que solo una acción por secuencia sea estocástica mientras las otras siguen la moda.

C. Mecanismo de Política Dual Competitiva

Para resolver la inestabilidad del RL offline y los conflictos de gradiente de la optimización conjunta, los dos actores participan en un mecanismo de aprendizaje competitivo:

• Comparación Periódica: Cada $k$ iteraciones, se compara el rendimiento (recompensa acumulada) de los actores de IL y RL.
• Transferencia Adaptativa:
  • Si el rendimiento es similar, ambos permanecen sin cambios.
  • Si la brecha es moderada, una "fusión suave" (soft merge) transfiere el conocimiento del ganador al perdedor.
  • Si la brecha es grande, los parámetros del perdedor son reemplazados directamente por los del ganador.
• Rol: Este mecanismo ancla al actor de RL a una conducción similar a la del experto (evitando la divergencia catastrófica debido al sesgo del modelo de mundo) mientras permite que el actor de RL transfiera selectivamente comportamientos exploratorios beneficiosos de vuelta al actor de IL.

3. Contribuciones Clave

1. Marco de RL Offline para Conducción E2E: Un enfoque novedoso para integrar RL en la conducción E2E sin simuladores externos, utilizando un modelo de mundo latente entrenado en datos reales para ejecuciones imaginadas.
2. Entrenamiento de Política Dual Desacoplado: Un marco de política dual que separa IL y RL en actores distintos para evitar conflictos de gradiente, conectados mediante un mecanismo competitivo que estabiliza el entrenamiento y facilita el intercambio de conocimientos.
3. Estrategia de Planificación hacia Atrás: La introducción de enmascaramiento de causalidad inversa en la cabeza de planificación, que mejora el rendimiento de RL al alinear la política con el razonamiento orientado a objetivos.
4. Muestreo de Grupo para Datos Offline: Una adaptación del muestreo de grupo (GRPO) para generar diversidad conductual a partir de conjuntos de datos dominados por expertos, permitiendo una estimación de valor efectiva.

4. Resultados Experimentales

Los experimentos se realizaron en el conjunto de datos nuScenes.

• Benchmarks Principales: CoIRL-AD supera consistentemente a los fuertes baselines basados en IL (por ejemplo, LAW) tanto en el error de desplazamiento L2 como en las tasas de colisión. Logra el mejor métrica combinada ($L2 \cdot Col$) y mantiene una baja latencia de inferencia.
• Generalización entre Ciudades: Al ser entrenado en nuScenes-Singapur y probado en nuScenes-Boston, CoIRL-AD demostró una robustez significativamente mayor (reducción del 77% en la métrica $L2 \cdot Col$ en comparación con el baseline), atribuido a las capacidades de exploración del actor de RL.
• Escenarios de Cola Larga: En subconjuntos de datos con altas tasas de colisión o altos errores L2 (casos raros/desafiantes), CoIRL-AD mostró mejoras sustanciales sobre el baseline, mientras que el baseline presentaba dificultades.
• Estudios de Ablación:
  • Desacoplamiento y Competencia: Solo los actores desacoplados con el mecanismo competitivo mejoraron tanto la precisión como la seguridad. Las estrategias de dos etapas y de fusión de pérdidas fallaron o tuvieron un desempeño inferior.
  • Modelo de Mundo: Eliminar el modelo de mundo latente degradó significativamente el rendimiento, particularmente en la evitación de colisiones de largo horizonte.
  • Causalidad Inversa: La estrategia de planificación hacia atrás benefició específicamente al actor de RL; aplicarla a IL puro degradó el rendimiento, resaltando su utilidad específica para la maximización de la recompensa.

5. Significado y Reivindicaciones

El artículo afirma que CoIRL-AD demuestra que el aprendizaje por refuerzo puede mejorar eficazmente los sistemas de conducción autónoma de extremo a extremo offline cuando se estructuran adecuadamente.

• Estabilidad sobre Simuladores: Al utilizar un modelo de mundo latente aprendido en lugar de un simulador externo, el método evita las brechas sim-to-real y las suposiciones específicas del simulador.
• Resolución del Desafío Offline: El marco de política dual competitiva aborda la inestabilidad específica del RL offline (causada por el sesgo del modelo de mundo y la falta de datos diversos) utilizando al actor de IL como un ancla estabilizadora.
• Mejora Dirigida: Los autores enfatizan que el RL proporciona los beneficios más significativos en escenarios desafiantes, subrepresentados y de cola larga donde las demostraciones de expertos son escasas, manteniendo al mismo tiempo el rendimiento en escenarios estándar.
• Generalizabilidad: El enfoque se presenta como un marco de propósito general para combinar aprendizaje de imitación y de refuerzo en la IA con cuerpo (embodied AI), ofreciendo una dirección prometedora para mejorar la generalización sin depender de la simulación interactiva.