Resumen Técnico: Conduciendo en la Dirección Incorrecta: Aprovechando la Interpretabilidad en Modelos de Conducción Autónoma de Extremo a Extremo (End2End)

Declaración del Problema

La creciente adopción del aprendizaje de extremo a extremo (E2E) para la conducción autónoma ha llevado a un rendimiento de vanguardia en benchmarks como NAVSIM. Sin embargo, esta unificación arquitectónica de la percepción, predicción y planificación en modelos unificados basados en transformers resulta en una mayor complejidad y opacidad. A diferencia de los pipelines modulares, los modelos E2E carecen de interfaces claras para las pruebas a nivel de módulo, lo que dificulta el análisis de los procesos de toma de decisiones internos. Esta opacidad complica la identificación de los modos de fallo, lo que deriva en ciclos de depuración costosos impulsados por "suposiciones informadas" en lugar de un análisis sistemático. Específicamente, el campo carece de soluciones generalizables para describir holísticamente el comportamiento del modelo, descubrir aprendizajes erróneos (como correlaciones espurias) y ofrecer perspectivas exhaustivas sobre los modos de fallo sin comprometer la capacidad de representación del modelo.

Metodología

Los autores proponen un marco estructurado de múltiples pasos que integra el aprendizaje de diccionarios no supervisado mediante Autoencoders Dispersos (SAEs, por sus siglas en inglés) como un módulo de interpretabilidad post-hoc en modelos de conducción E2E de vanguardia (específicamente GTRS e iPAD). El marco opera a través de las siguientes etapas:

1. Selección del Espacio Latente: El SAE se inyecta en la representación del espacio latente inmediatamente antes del módulo de puntuación. Esta ubicación se elige porque contiene un resumen denso de la comprensión de la escena e informa directamente la puntuación de la trayectoria, lo que permite un vínculo entre las características extraídas y las salidas del modelo.
2. Desentrelazamiento de Direcciones de Características: Un SAE se entrena sobre las representaciones latentes del modelo congelado para descomponer las activaciones entrelazadas en características dispersas y monosemánticas (conceptos). El entrenamiento minimiza la pérdida de reconstrucción mientras impone la dispersión mediante funciones de activación top-$k$. Para evitar los "neuronas muertas", se añade un término de reanimación a la función de pérdida. Los autores evalúan diversas arquitecturas de SAE (TopK, Matryoshka, Archetypal) y encuentran que las variantes TopK con tamaños de latencia moderados (por ejemplo, 256 neuronas) ofrecen el mejor equilibrio entre la fidelidad de reconstrucción, el desentrelazamiento de características y la evitación de la memorización de escenarios.
3. Asignación Semántica: Los autores asignan un significado comprensible para los humanos a las neuronas del SAE utilizando tres estrategias:
   • Maximización de Activación/Atribución: Identificación de muestras de conjuntos de datos de referencia que activan al máximo una neurona específica o un puntaje de atribución.
   • Agrupamiento de Neuronas (Clustering): Agrupar neuronas con comportamientos de activación similares para identificar conceptos semánticos compartidos (por ejemplo, "coche delante", "intersección").
   • Propagación de Relevancia de Conceptos (CRP): Uso de métodos basados en LRP para rastrear la relevancia desde la puntuación de la trayectoria hacia atrás a través del SAE hasta el espacio de entrada (imágenes de cámara y estado del ego), generando mapas de atribución que visualizan qué características de entrada impulsan las activaciones de las neuronas específicas.
4. Descubrimiento de Circuitos: El marco emplea el análisis de circuitos para mapear las relaciones causales entre las neuronas del SAE y las salidas específicas del modelo (sub-puntuaciones del PDM). Esto implica un pipeline de cuatro etapas:
   • Parcheo de Atribución (Attribution Patching): Estimación de la influencia causal mediante diferencias de activación ponderadas por gradiente.
   • Parcheo de Activación (Activation Patching): Realización de intervenciones causales exactas mediante el parcheo de neuronas a su media del conjunto de datos.
   • Poda ACDC (ACDC Pruning): Dispersión de la matriz de influencia para retener solo los bordes significativos.
   • Especificidad de Neurona: Cuantificación de qué tan específica es una neurona para una cabeza de predicción particular utilizando el coeficiente de Gini.
5. Intervención Dirigida: Basándose en los circuitos causales identificados, los autores realizan intervenciones dirigidas mediante la anulación (ablación) de las activaciones de neuronas específicas del SAE asociadas con comportamientos erróneos. Esto permite la manipulación de las decisiones de conducción durante la inferencia sin necesidad de reentrenar el modelo.

Principales Contribuciones

El artículo realiza cuatro contribuciones primarias:

1. Marco de Interpretabilidad Estructurado: Presenta el primer enfoque estructurado para interpretar las decisiones de conducción E2E, proporcionando explicaciones a nivel de concepto para la puntuación de trayectorias individuales candidatas.
2. Descomposición Basada en Conceptos: Introduce una descomposición de las representaciones latentes que identifica los factores más influyentes en los escenarios de conducción, permitiendo una atribución detallada de las decisiones del modelo.
3. Correspondencia Directa: Establece un vínculo directo entre los conceptos aprendidos y las puntuaciones de calidad predichas (sub-puntuaciones del PDM), revelando qué conceptos influyen en comportamientos específicos como la evitación de colisiones, el cumplimiento de las luces de tráfico y el progreso.
4. Adaptación Dirigida: Demuestra que los conceptos identificados pueden aprovecharse para manipular la inferencia del modelo en el tiempo de prueba, permitiendo mejoras en el rendimiento descendente sin la necesidad de un reentrenamiento costoso o la curación de datasets.

Resultados

Los autores evaluaron su enfoque en los modelos GTRS e iPAD utilizando el dataset NAVSIM:

• Rendimiento del SAE: Los SAEs TopK con 2 de 256 neuronas lograron una alta fidelidad de reconstrucción (Similitud de Coseno: 0.9975, Varianza Explicada: 0.9951) y una fuerte alineación con las características del estado del ego (Correlación del Ego: 0.8454), superando a los SAEs Archetypal que tendían a sobreajustarse a las correlaciones específicas de los escenarios.
• Descubrimiento de Conceptos: El marco identificó con éxito grupos semánticamente significativos, como neuronas correspondientes a "coches delante", "marcas de carril" e "intersecciones". El análisis de circuitos reveló que, si bien las neuronas de "coche delante" influyen en todas las cabezas de puntuación, su influencia específica varía; por ejemplo, se correlacionan con el cumplimiento de los semáforos debido a la co-ocurrencia de datos (coches deteniéndose ante semáforos) en lugar de un razonamiento causal.
• Impacto de la Intervención: Mediante la ablación de tres neuronas específicas (177, 59, 71) identificadas como poseedoras de influencias negativas o espurias, los autores lograron una mejora medible en el Modelo de Conductor Predictivo Extendido (EPDMS).
  • El modelo manipulado mejoró el EPDMS de 0.4963 (con el SAE no modificado) a 0.5926.
  • Este puntaje superó al modelo base original sin el SAE (0.524).
  • Se observaron mejoras significativas en el cumplimiento del área de conducción (+0.1298) y en el cumplimiento de la dirección de conducción (+0.0702).
  • La intervención resultó en un comportamiento de conducción más conservador, sacrificando el progreso rápido por una mayor seguridad, como lo evidencia una disminución en el puntaje de progreso del ego (-0.1000).

Significado y Reivindicaciones

El artículo afirma que la interpretabilidad no es meramente una herramienta analítica, sino un mecanismo para la mitigación dirigida y la mejora del rendimiento. Al descomponer el espacio latente opaco en conceptos semánticamente significativos, los autores demuestran que:

• Reducción de la Opacidad: La interpretabilidad puede descubrir eficazmente comportamientos erróneos y correlaciones espurias (por ejemplo, asociar un coche delante con el cumplimiento de un semáforo) que los modelos E2E estándar aprenden.
• Comprensión Causal: El marco distingue entre artefactos correlacionales y componentes funcionalmente relevantes, permitiendo el aislamiento de la lógica de decisión específica.
• Impulso de Rendimiento: Las intervenciones dirigidas a nivel de concepto pueden corregir el comportamiento del modelo y mejorar las métricas generales de conducción sin reentrenamiento. Los autores argumentan que este enfoque ofrece un camino hacia sistemas de conducción autónoma más transparentes, confiables y controlables, abordando el desafío crítico de la validación de modelos y el análisis de errores en el campo.

Los autores mantienen la modestia respecto al alcance, reconociendo que, si bien el marco proporciona una base para el análisis basado en conceptos, comprender plenamente los conceptos semánticos y sus complejas interacciones en el proceso de toma de decisiones sigue siendo un problema de investigación abierto.