Reward-Conditioned Attention: How Reward Design Shapes What Autonomous Driving Agents See

Resumen Técnico: Atención Condicionada por Recompensa en la Conducción Autónoma

Planteamiento del Problema
Si bien el Aprendizaje por Refuerzo (RL) ha alcanzado un rendimiento de nivel experto en simulaciones de conducción autónoma (AD), los mecanismos internos que impulsan estas políticas siguen siendo opacos. Existe una brecha crítica en la comprensión de cómo la función de recompensa —la señal principal que guía a los agentes de RL— moldea los patrones de atención interna del agente. Aunque la validez de los pesos de atención como explicaciones post-hoc para las decisiones del modelo es objeto de debate, este artículo plantea una pregunta distinta: ¿determina el diseño de la recompensa de manera predecible a qué presta atención el codificador? Comprender esta relación es esencial para verificar que las funciones de recompensa enseñan a los agentes a monitorear los aspectos correctos de la escena de conducción y para avanzar en la ingeniería de recompensas basada en principios en sistemas críticos para la seguridad.

Metodología
El estudio utiliza el marco V-Max, empleando tres agentes de Actor-Crítico Suave (SAC) entrenados con el Waymo Open Motion Dataset (WOMD). Los tres agentes comparten una arquitectura de codificador de Consulta-Latente (LQ) basado en Perceiver idéntica, la cual procesa 280 tokens de entrada (que representan el vehículo propio, otros agentes, la geometría de la carretera, semáforos y puntos de ruta GPS) en una representación latente compacta mediante atención cruzada.

El diseño experimental central aísla el efecto del diseño de la recompensa comparando tres agentes entrenados con los mismos datos, con semillas de inicialización idénticas, pero con configuraciones de recompensa diferentes:

1. Básica (Basic): Penaliza únicamente las violaciones de seguridad (colisión, salida de vía, semáforo en rojo).
2. Mínima (Minimal): Añade incentivos de navegación (adherencia a la ruta y progreso hacia adelante).
3. Completa (Complete): Añade penalizaciones continuas de proximidad basadas en el Tiempo de Colisión (TTC), límites de velocidad y confort.

Innovación Metodológica Clave: Correlación Intra-episodio
Una contribución metodológica central es el rechazo del "agrupamiento ingenuo" (naïve pooling) —agregar todos los pasos de tiempo a través de todos los episodios— para analizar la relación entre atención y riesgo. Los autores demuesten que el agrupamiento confunde la dinámica intra-episodio con la heterogeneidad entre episodios (por ejemplo, perfiles de riesgo urbanos frente a suburbanos), lo que conduce a una subestimación significativa del vínculo entre atención y riesgo.

En su lugar, el estudio emplea la correlación de rango de Spearman intra-episodio ($\rho_i$) entre el riesgo de colisión ($R$) y la atención dirigida por el agente para cada escenario de forma individual. Estas correlaciones se agregan a través de los escenarios utilizando la transformada z de Fisher. Este enfoque maneja correctamente la varianza inherente a los episodios de RL heterogéneos y revela señales estadísticas robustas que las métricas agrupadas ocultan.

Resultos Clave
El análisis, realizado en 50 escenarios del mundo real (3,676 pasos de tiempo para el modelo completo), arroja tres hallazgos principales:

1. Validación del Análisis Intra-episodio:
   Para el modelo de recompensa completa, la correlación intra-episodio entre el riesgo de colisión y la atención hacia "Otros Agentes" es robustamente positiva ($\bar{\rho} = +0.291$, IC del 95% $[+0.125, +0.442]$). En los 16 escenarios con mayor reactividad al riesgo, esta correlación se fortalece significativamente ($\bar{\rho} = +0.522$), con los agentes incrementando la atención hacia las amenazas dinámicas en un 77% bajo amenaza. En contraste, el agrupamiento ingenuo produce una correlación de solo $+0.088$, una subestimación de 3.3×.

2. El Contenido de la Recompensa Moldea las Líneas Base de Atención:
   Los componentes específicos de la función de recompensa dictan directamente la asignación de recursos de atención. Los agentes entrenados con recompensas de navegación (Modelos Mínimo y Completo) asignan significativamente más atención a los tokens de la ruta GPS que aquellos entrenados con penalizaciones de seguridad básicas.

   • Mínimo vs. Completo: El modelo Mínimo asigna un 33.5% de atención a las rutas GPS, comparado con el 16.4% del modelo Completo (una diferencia de 2.0×).
   • Básico vs. Mínimo: El rango va desde el 7.1% (Básico) hasta el 33.5% (Mínimo), una diferencia de 4.7×.
     Esto confirma que el contenido de la recompensa determina qué elementos de la escena prioriza el codificador.

3. Las Recompensas de Seguridad Continua Crean un Prior de Vigilancia:
   La inclusión de penalizaciones de proximidad continuas basadas en el TTC en el modelo Completo establece un "prior de vigilancia aprendido". Incluso durante las fases libres de colisión, el modelo Completo mantiene una vigilancia de "reposo" elevada sobre otros agentes en comparación con el modelo Mínimo.

   • En 16 de 26 escenarios calificables, el modelo Completo mantiene una media de +151% más de vigilancia de reposo de agentes que el modelo Mínimo.
   • Esta línea base elevada está presente desde el primer paso de tiempo, lo que sugiere que el agente aprende un estado de preparación constante en lugar de reaccionar solo cuando el riesgo aumenta.

4. Reversión Cualitativa de la Estrategia:
   En varios escenarios, los modelos Completo y Mínimo exhiben direcciones opuestas de la correlación atención-riesgo. Esto demuestra que el diseño de la recompensa puede revertir cualitativamente la estrategia de atención de un agente, no solo modular la magnitud de su respuesta.

Significancia y Reivindicaciones
El artículo sostiene que el análisis de la atención sirve como una herramienta de diagnóstico práctica para verificar que una función de recompensa produce el comportamiento representacional deseado en sistemas de RL críticos para la seguridad. Al establecer que el diseño de la recompensa moldea directamente los patrones de atención interna, los autores argumentan que:

• Los profesionales pueden utilizar las métricas de atención para verificar si un agente está monitoreando los elementos de la escena correctos.
• La "correlación intra-episodio con la transformada z de Fisher" es el estándar estadístico apropiado para el análisis de la atención en entornos de RL heterogéneos, ya que las métricas agregadas ocultan la heterogeneidad conductual crítica.
• La ingeniería de recompensas debe tener en cuenta cómo los componentes de la recompensa alteran no solo las acciones de la política, sino también el enfoque representacional fundamental del agente.

El estudio concluye que, si bien los pesos de atención pueden no explicar siempre por qué se tomó una decisión, revelan de manera fiable qué es lo que el agente fue entrenado para observar, convirtiéndolos en un componente vital para la validación del diseño de la recompensa.