Resumen Técnico: Las Intenciones de Conducción Amplifican el Aprendizaje por Refuerzo Orientado a la Planificación (DIAL)

1. Declaración del Problema

El artículo identifica el colapso de modos como el principal cuello de botella para aplicar el Aprendizaje por Refuerzo (RL) basado en preferencias a políticas de conducción de acción continua entrenadas con una única trayectoria demostrada por escena.

• La Limitación del Ajuste Fino Supervisado (SFT) de una sola demostración: Cuando las políticas se entrenan mediante Ajuste Fino Supervisado (SFT) sobre una única trayectoria registrada, la distribución de muestreo resultante se agrupa estrechamente alrededor de esa maniobra específica. Incluso con cabezas de acción expresivas (por ejemplo, coincidencia de flujo o difusión), la política falla al representar alternativas semánticamente distintas (por ejemplo, frenar antes vs. después, cambiar de carril vs. mantener carril).
• El Fracaso del RL basado en Preferencias: La evaluación basada en preferencias (por ejemplo, Mejor-de-$N$) depende de que la política genere candidatos diversos para seleccionar el de mayor calificación. Sin embargo, si la distribución de muestreo colapsa alrededor de un único modo, la "selección por oráculo" no puede recuperar trayectorias de alta calidad que nunca fueron muestreadas. En consecuencia, el rendimiento de Mejor-de-$N$ se estanca por debajo de la calidad de la demostración humana original, independientemente del presupuesto de muestras ($N$).
• La Idea Central: El cuello de botella no es el mecanismo de actualización de la política en sí, sino la distribución de muestreo. La Optimización de Política Relativa de Grupo Estándar (GRPO) falla porque los recorridos extraídos de una única intención (o semillas de ruido) vuelven a colapsar el grupo, proporcionando ventajas relativas al grupo poco informativas (bajo contraste de preferencia).

2. Metodología: Marco DIAL

Los autores proponen DIAL (Aprendizaje Amplificado por Intención de Conducción), un marco de dos etapas diseñado para primero expandir la distribución de muestreo y luego preservar esa expansión durante el RL basado en preferencias.

Etapa 1: Guía Libre de Clasificadores Condicionada a la Intención (CFG)

• Objetivo: Romper el colapso de modos de una sola demostración expandiendo la distribución de muestreo a lo largo de modos de maniobra semánticamente distintos.
• Mecanismo:
  • La cabeza de acción de coincidencia de flujo se condiciona en una etiqueta de intención discreta $c$.
  • El conjunto de intenciones consta de ocho categorías derivadas de reglas: cruzar, cambio de carril (I/D), giro (I/D), giro en U, acelerar, desacelerar.
  • Guía Libre de Clasificadores (CFG): Durante el entrenamiento, las etiquetas de intención se descartan aleatoriamente (reemplazadas por un marcador de posición incondicional) con probabilidad $p_{drop}$. Esto enseña al modelo a generar tanto distribuciones de acción condicionales (específicas de la intención) como incondicionales.
  • Inferencia: Un clasificador de prefijo ligero predice la intención a partir del contexto visual. El generador luego decodifica la trayectoria utilizando la intención predicha, combinando predicciones de velocidad condicionales e incondicionales.
• Resultado: Esta etapa permite que la política genere trayectorias diversas (por ejemplo, un giro a la izquierda vs. mantener carril) para la misma escena, en lugar de solo perturbaciones a nivel de coordenadas de una única ruta. El muestreo condicionado a la intención por sí solo eleva significativamente el techo de Mejor-de-$N$.

Etapa 2: Optimización de Política Relativa de Grupo Multi-Intención (GRPO)

• Objetivo: Preservar la diversidad expandida durante el ajuste fino de RL y optimizar la política hacia las preferencias humanas.
• Mecanismo:
  • Recorridos Equilibrados por Intención: Para cada escena, el sistema muestrea $S$ trayectorias para cada una de las $C=8$ intenciones, creando un grupo de $K = C \times S$ propuestas (por ejemplo, $K=16$ con $S=2$).
  • Ventaja Relativa de Grupo: Se calcula la Puntuación de Retroalimentación de Recompensa (RFS) para todas las $K$ trayectorias. Las ventajas se normalizan a través de todo el grupo agrupado. Dado que el grupo abarca todas las clases de intención, la actualización de RL recibe una señal de preferencia significativa a través de diferentes modos de maniobra, evitando que el grupo se vuelva a colapsar alrededor de un único modo preferido.
  • Conciencia de la Manipulación de Recompensas: La recompensa de entrenamiento modifica el RFS estándar para evitar el sobreajuste:
    • Reemplaza el máximo duro sobre las trayectorias de los calificadores con una agregación softmax de etiquetas.
    • Densifica los anclajes de puntuación de $\{3s, 5s\}$ a $\{1s, 2s, 3s, 4s, 5s\}$ para penalizar el movimiento intermedio poco plausible.
• Actualización de la Política: Utiliza un objetivo GRPO recortado con una penalización de política de referencia (divergencia KL) contra el punto de control SFT de la Etapa 1.

3. Contribuciones Clave

1. Identificación del Colapso de Modos: El artículo establece que para las políticas de acción continua, el techo del RL basado en preferencias está limitado por la distribución de muestreo. Las líneas base competitivas de SFT se saturan por debajo de la demostración humana (RFS Mejor-de-128 < 8.13) porque no pueden muestrear modos de maniobra distintos.
2. CFG Condicionado a la Intención: Demuestra que condicionar la cabeza de acción en intenciones discretas rompe el techo de muestreo. El muestreo condicionado a la intención logra un RFS Mejor-de-128 de 9.14, superando por primera vez tanto al planificador anterior más avanzado (RAP, 8.5) como a la demostración humana (8.13).
3. Marco DIAL: Introduce una tubería de dos etapas que combina la expansión CFG por intención con GRPO multi-intención. Esto preserva la diversidad establecida en la Etapa 1, mejorando el RFS de una sola trayectoria retenida de 7.681 a 8.211.
4. Validación Empírica de la Diversidad: Muestra que las variantes de una sola intención (incluso con selección óptima de intención) no logran igualar el rendimiento de DIAL y eventualmente se degradan, demostrando que abarcar el conjunto completo de intenciones dentro del grupo de preferencia es necesario para un RL estable.

4. Resultados Experimentales

Evaluado en el conjunto de datos WOD-E2E utilizando la referencia RFS (Waymo Open Dataset End-to-End):

• Rendimiento de la Línea Base: Cuatro líneas base competitivas de SFT (WAM-Flow, Curious-VLA, AutoVLA, ReCogDrive) mostraron ganancias mínimas del RL en la partición retenida (por ejemplo, ReCogDrive +0.315, WAM-Flow +0.087). Su rendimiento de Mejor-de-$N$ permaneció por debajo de la demostración humana.
• Rendimiento de DIAL:
  • RFS Retenido: Mejoró de 7.696 (inicialización SFT) a 8.211 (+0.515), la ganancia más alta entre todos los sistemas entrenados con RL.
  • RFS de Partición Completa: Mejoró de 7.369 a 8.631.
  • Mejor-de-128: El muestreo condicionado a la intención alcanzó 9.14, superando la demostración humana (8.13) y el planificador anterior de última generación RAP (8.5).
• Hallazgos de Ablación:
  • Multi-Intención vs. Una Intención: Las variantes de GRPO de una sola intención (usando $K=16$ semillas de ruido para una intención) alcanzaron un pico más bajo (máximo 7.992) y se degradaron al final del entrenamiento.
  • Muestras por Intención ($S$): $S=2$ (total $K=16$) se identificó como el "punto óptimo" para el rendimiento máximo.
  • Formulación de Recompensa: El uso de agregación softmax y anclajes densos evitó la manipulación de recompensas y mejoró la estabilidad.

5. Significado y Afirmaciones

El artículo afirma que el desafío fundamental en la conducción de acción continua alineada con preferencias no es meramente cómo actualizar la política, sino cómo expandir y preservar la distribución de muestreo que se está optimizando.

• Cambio de Paradigma: El trabajo argumenta que el RL basado en preferencias es ineficaz si la política no puede generar alternativas semánticamente distintas. El "cuello de botella" es el mecanismo de propuesta, no el optimizador.
• Impacto Práctico: Al modelar explícitamente las intenciones de conducción y preservar esta diversidad a través de GRPO multi-intención, DIAL logra escapar exitosamente del colapso de modos, permitiendo que la política alcance y supere la calidad de las demostraciones humanas en un escenario de Mejor-de-$N$, y mejorando significativamente el rendimiento de despliegue de una sola trayectoria.
• Modestia: Los autores reconocen limitaciones, señalando que las ocho intenciones se derivan de reglas geométricas codificadas a mano (potencialmente omitiendo comportamientos de cola larga) y que los datos de entrenamiento de RL (438 secuencias) son pequeños en relación con la partición completa de Waymo.

En resumen, DIAL demuestra que las propuestas diversas en intención son un prerrequisito para la optimización de preferencias exitosa en la conducción de extremo a extremo, permitiendo que las políticas exploren todo el espacio de maniobras admisibles en lugar de colapsar en una única imitación geométrica.