Resumen Técnico: DecisionPerceiver para la Toma de Decisiones de Alto Nivel en la Conducción Autónoma

Declaración del Problema

La toma de decisiones de alto nivel basada en aprendizaje para la conducción autónoma (específicamente cambios de carril y control de velocidad) enfrenta dos desafíos primarios:

1. Dimensiones de Entrada Variables: Las escenas de tráfico del mundo real involucran un número dinámicamente variable de agentes circundantes, lo que requiere políticas neuronales que puedan manejar entradas de tamaño no fijo sin sensibilidad al orden de entrada (sensibilidad a la permutación).
2. Modelado de Interacción vs. Escalabilidad: Los enfoques existentes luchan por equilibrar el modelado explícito de la interacción de tráfico con la eficiencia computacional.
   • DeepSets y sus variantes manejan entradas variables mediante codificadores compartidos y agregación invariante a la permutación (por ejemplo, pooling), pero sufren de "colapso de características" (feature collapse), perdiendo los detalles explícitos de interacción entre agentes que son cruciales en escenarios de alta negociación como las intersecciones.
   • Los métodos basados en atención (por ejemplo, Transformers) capturan eficazmente las dependencias globales e interacciones, pero incurren en una complejidad computacional y de memoria cuadrática respecto al tamaño de la entrada, lo que limita su despliegue en tiempo real. Además, ofrecen un control limitado sobre la granularidad de la representación de las características.

Metodología

El artículo propone DecisionPerceiver, una arquitectura basada en atención y consciente de la interacción, diseñada para proyectar características dinámicas de agentes en un espacio latente de tamaño fijo. El sistema se entrena utilizando un marco de Aprendizaje por Refuerzo (RL).

1. Arquitectura: DecisionPerceiver

Inspirado en Perceiver IO, la red desacopla el costo computacional del tamaño de la entrada:

• Codificación de Entrada: Los estados dinámicos de los agentes se codifican mediante un Perceptrón de Capa Lineal (MLP) y Normalización de Capas para generar Claves ($K$) y Valores ($V$). El estado del vehículo propio (ego-vehicle) se trata como una entrada estática.
• Cuello de Botella Latente: En lugar de atender directamente a todos los agentes, la red proyecta estas características en un espacio latente de tamaño fijo ($z \in \mathbb{R}^{N \times D}$) utilizando un conjunto de consultas de tokens latentes ($Q$).
• Mecanismo de Atención: La atención de múltiples cabezales se calcula entre las consultas latentes y las características codificadas de los agentes. Esto permite al modelo regular la granularidad de las características mediante el número de consultas latentes ($N$), limitando la complejidad a la dimensión latente en lugar del número de agentes.
• Fusión y Salida: La representación latente consciente de la interacción resultante se fusiona con el estado del vehículo propio mediante un MLP adicional. Cabezales de red separados regresan la función de valor ($V_\theta$) y la política ($\pi_\theta$).
• Sin Pooling: A diferencia de DeepSets, no se utilizan operadores de colapso invariantes a la permutación (como el pooling), preservando la capacidad de aprender interacciones entre agentes.

2. Marco de Entrenamiento

• Algoritmo: La política se optimiza utilizando Optimización de Política de Proximidad Cercana (PPO) dentro de un marco de Actor-Crítico.
• Objetivo: La función de pérdida combina un objetivo subrogado recortado para la política, una pérdida de error cuadrático para la función de valor y un término de regularización de entropía para fomentar la exploración.
• Entorno: El entrenamiento y la evaluación se realizan en el simulador highway-env a través de tres escenarios: Autopista (adelantamiento), Intersección (giros a la izquierda no protegidos) y Rotonda (incorporación/salida).

3. Conjunto de Acciones Discretas Refinado

Para reducir la carga sobre los controladores laterales y longitudinales de bajo nivel, el conjunto estándar de acciones discretas se extiende con una discretización más fina:

• Las acciones estándar (por ejemplo, "girar a la izquierda") se dividen en niveles intermedios (por ejemplo, "girar medio a la izquierda", "girar totalmente a la izquierda").
• Esto resulta en un espacio de acciones aumentado ($A_{new}$) de nueve meta-acciones discretas.
• Este refinamiento tiene como objetivo mejorar el seguimiento de la trayectoria al proporcionar referencias intermedias, reduciendo el esfuerzo de control y creando un espacio de búsqueda más compacto con una varianza de gradiente reducida.

Contribuciones Clave

1. Arquitectura DecisionPerceiver: Una novedosa arquitectura de planificación de comportamiento que mapea entradas de tamaño dinámico en un espacio latente compacto. Esto permite un modelado de interacción escalable evitando el crecimiento de la complejidad cuadrática asociado con los mecanismos de atención estándar.
2. Discretización de Acciones Más Fina: La introducción de un conjunto de acciones discretas expandido con referencias laterales y de velocidad intermedias. Esto mejora el rendimiento del control de bajo nivel y la estabilidad de la inferencia del planificador sin sacrificar las capacidades de tiempo real.

Resultados Experimentales

El método propuesto fue comparado con líneas base de vanguardia: DeepSet, LFFDS (una variante de DeepSet) y Ego-attention.

Métricas de Desempeño

• Escenario de Autopista: DecisionPerceiver logró la mayor velocidad promedio (29.25 m/s), superando a DeepSet en aproximadamente un 6.2% y a LFFDS en un 4.2%. Demostró una convergencia rápida, alcanzando un rendimiento estable en $1 \times 10^5$ pasos, mientras que Ego-attention requirió $5 \times 10^5$ pasos.
• Escenario de Intersección: DecisionPerceiver alcanzó la mayor velocidad promedio (8.243 m/s), una ganancia relativa del 15.4% sobre la siguiente mejor línea base (LFFDS). Aunque Ego-attention logró una recompensa ligeramente superior y una menor tasa de terminación temprana, DecisionPerceiver mantuvo una política de alta velocidad más agresiva.
• Escenario de Rotonda: DecisionPerceiver logró una velocidad de 9.951 m/s. Aunque fue ligeramente inferior en velocidad a DeepSet y LFFDS (por un ~5% y ~1% respectivamente), registró una tasa de terminación temprana significativamente menor (cercana a cero en comparación con el ~5% de los otros) y una puntuación de recompensa más alta, lo que indica una política más segura.

Estudios de Ablación

• Discretización de Acciones: En el escenario de la Autopista, la discretización más fina condujo a un aumento constante en la recompensa acumulada y velocidades promedio más altas en comparación con el conjunto de acciones original, atribuido a la reducción de los tiempos de reacción y la probabilidad de colisión en el controlador de bajo nivel.
• Escalabilidad: El modelo mantuvo un desempeño estable y competitivo a medida que el número de vehículos observables aumentó de 5 a 20. Aunque la velocidad promedio disminuyó entre un 15 y 30% debido al aumento de la densidad de tráfico y el riesgo de colisión, la arquitectura no sufrió una degradación catastrófica, demostrando escalabilidad hacia tráfico más denso.

Significado y Reivindicaciones

El artículo afirma que DecisionPerceiver ofrece una solución equilibrada para la planificación de comportamiento de alto nivel al:

• Permitir un Modelado de Interacción Escalable: Al proyectar las interacciones en un espacio latente fijo, el modelo captura dependencias de tráfico complejas sin las prohibiciones computacionales de los mecanismos de atención completa.
• Mejorar la Eficiencia de Control: La discretización de acciones más fina cierra la brecha entre la planificación de alto nivel y la ejecución de bajo nivel, reduciendo el esfuerzo de control y mejorando el seguimiento de la trayectoria.
• Demostrar Robustez: El método supera consistentemente o iguala a las líneas base de conjuntos y de atención de vanguardia en diversas condiciones operativas, mostrando una fuerza particular en escenarios de negociación intensiva (intersecciones) y adelantamiento de alta velocidad (autopistas).

Los autores concluyen que el enfoque ofrece un rendimiento superior en entornos de tráfico complejos, ofreciendo una mejor escalabilidad y flexibilidad de representación en comparación con los métodos existentes.