Beyond Fixed Thresholds and Domain-Specific Benchmarks for Explainable Multi-Task Classification in Autonomous Vehicles

Este artículo propone una metodología de selección de umbrales adaptativos para superar las limitaciones de los umbrales fijos en la percepción de conducción autónoma de múltiples tareas e introduce el conjunto de datos IUST-XAI-AD para habilitar la explicabilidad intercultural y una evaluación más robusta de los sistemas de vehículos autónomos.

Lo esencial

Imagina que estás enseñando a un robot a conducir un automóvil. Quieres que el robot no solo sepa qué hacer (como "detenerse" o "girar a la izquierda"), sino también explicar por qué lo hace (como "porque hay un peatón" o "porque el semáforo está en rojo"). Este es el objetivo de la Inteligencia Artificial Explicable en los vehículos autónomos.

Sin embargo, los autores de este artículo identificaron dos grandes problemas:

1. La regla de "talla única": La mayoría de los robots están programados con una regla rígida: "Si tienes más del 50% de certeza, toma una decisión". Los autores llaman a esto un "umbral fijo". Argumentan que esto es como decirle a un humano: "Si tienes un 50% de certeza de que está lloviendo, coge un paraguas". ¡Eso no funciona bien! A veces necesitas tener un 90% de certeza antes de actuar (como detenerte por un niño), y otras veces el 50% es suficiente. El artículo demuestra que usar una única regla del 50% para cada situación hace que el robot cometa más errores.
2. El "sesgo occidental" en el entrenamiento: La mayoría de los robots se entrenan con datos de lugares como California o Alemania. Pero conducir en Teherán, Irán, es muy diferente. Hay más motocicletas, hábitos de tráfico distintos y diseños de carreteras diferentes. Si solo entrenas a un robot en carreteras occidentales, podría confundirse al ver una calle caótica de Oriente Medio.

Así es como los autores solucionaron estos problemas, explicado de forma sencilla:

1. Ajustar el "mando de confianza" (El umbral)

Piensa en el cerebro del robot como si tuviera un mando de volumen para cada decisión.

• La forma antigua: Todos giraban el mando exactamente a "5" (50% de confianza) y nunca lo volvían a tocar.
• La forma nueva: Los autores probaron el mando en cada ajuste, del 1 al 10. Descubrieron que para algunas tareas (como decidir "detenerse"), el robot funciona mejor cuando el mando está en "3" (30% de confianza). Para otras tareas (como explicar por qué se detuvo), "4" (40%) es mejor.

La analogía: Imagina que eres un guardia de seguridad revisando identificaciones.

• Si eres demasiado estricto (umbral alto), no dejas entrar a nadie, incluso si son amables (pierdes buenas oportunidades).
• Si eres demasiado laxo (umbral bajo), dejas entrar a todos, incluidos los malintencionados (cometes errores peligrosos).
• Los autores descubrieron que para diferentes tipos de "malintencionados" (diferentes tareas de conducción), necesitas un nivel de estricto diferente. Al ajustar el "mando de estricto" para cada trabajo específico, el robot se volvió mucho más inteligente y seguro.

2. La nueva "escuela de conducción de Oriente Medio" (El conjunto de datos)

Los autores se dieron cuenta de que los conjuntos de datos de conducción existentes eran como una escuela de conducción que solo te enseñaba a conducir en autopistas vacías y rectas de Europa. No te enseñaban a manejar en una calle de mercado bulliciosa y caótica de Irán.

• La solución: Crearon un nuevo conjunto de datos llamado IUST-XAI-AD.
• Qué contiene: 958 fotos reales tomadas en Qom, Irán.
• Por qué es especial: Es como un nivel de "modo difícil" en un videojuego. Tiene muchas más motocicletas, más peatones y patrones de tráfico más complejos que los conjuntos de datos estándar.
• El resultado: Cuando probaron su robot en este nuevo "modo difícil", le costó más trabajo que en las carreteras europeas fáciles. Esto demuestra que el nuevo conjunto de datos es una prueba mejor y más dura para ver si un robot está realmente listo para el mundo real.

3. El "por qué" importa tanto como el "qué"

El robot tiene que hacer dos cosas a la vez:

1. Acción: "Detener el coche".
2. Razón: "Porque una persona está cruzando".

Los autores descubrieron que el robot es en realidad mejor adivinando la acción (Detener/Avanzar) que adivinando la razón (¿Por qué?). Es como un estudiante que puede responder preguntas de "Verdadero/Falso" con facilidad, pero le cuesta escribir el ensayo explicando por qué la respuesta es verdadera. Al usar sus nuevos "mandos ajustados" (umbrales), ayudaron al robot a mejorar tanto en la acción como en la explicación.

La conclusión

El artículo dice:

• Deja de usar la misma regla del 50% para todo. Ajusta tus niveles de confianza según la tarea específica.
• No pruebes los robots solo en carreteras occidentales. Necesitas probarlos en carreteras diversas y caóticas (como las de Oriente Medio) para ver si son realmente seguros.
• La explicabilidad es clave. Un vehículo autónomo no es solo una máquina; necesita poder decirte por qué tomó una decisión para que los humanos puedan confiar en él.

Al ajustar los "mandos" y probar en "carreteras más difíciles", los autores han construido una base mejor para los vehículos autónomos que pueden ser confiables en cualquier lugar del mundo, no solo en lugares que se parecen a California.

Resumen técnico

Resumen Técnico: Más Allá de Umbrales Fijos y Puntos de Referencia Específicos de Dominio para la Clasificación Multi-Tarea Explicable en Vehículos Autónomos

Planteamiento del Problema
Los sistemas de conducción autónoma dependen de modelos de aprendizaje profundo que a menudo son "cajas negras", careciendo de la transparencia necesaria para su despliegue en situaciones críticas para la seguridad y para generar confianza humana. Aunque han surgido marcos de aprendizaje multi-tarea para predecir simultáneamente las acciones de conducción y su razonamiento subyacente (Inteligencia Artificial Explicable o XAI), los enfoques actuales enfrentan dos limitaciones principales. En primer lugar, dependen predominantemente de umbrales de confianza fijos (típicamente 0.5) para convertir las salidas continuas del modelo en predicciones discretas. Este enfoque de "talla única" ignora la complejidad variable y los desequilibrios de clases inherentes a diferentes tareas de predicción, lo que puede conducir a un rendimiento subóptimo o a riesgos de seguridad. En segundo lugar, los puntos de referencia de evaluación existentes, como Berkeley Deep Drive (BDD-OIA) y nuScenes Action and Reasons (nu-AR), están fuertemente sesgados hacia contextos de conducción occidentales. Esta falta de diversidad cultural limita la evaluación de la generalización del modelo a través de diferentes patrones de tráfico, infraestructuras viales y comportamientos de conducción encontrados a nivel global, particularmente en regiones de Oriente Medio.

Metodología
Los autores proponen un avance metodológico de dos frentes para abordar estas brechas:

1. Análisis de Sensibilidad del Umbral de Confianza:
   En lugar de utilizar un umbral estático, los autores introducen un marco sistemático para optimizar los límites de decisión para la clasificación multi-tarea. Definen umbrales de confianza separados ($\tau_A$ para acción y $\tau_R$ para razón) y realizan una búsqueda en cuadrícula en el rango [0, 1] con un tamaño de paso de 0.1. El marco evalúa cuatro métricas distintas: F1-acción-general, F1-acción-media, F1-razón-general y F1-razón-media. Esto permite la identificación de pares de umbrales óptimos que maximizan el rendimiento para tareas específicas, reconociendo que las predicciones de acción y razón pueden requerir diferentes niveles de confianza.

2. Construcción del Conjunto de Datos IUST-XAI-AD:
   Para abordar la falta de puntos de referencia culturalmente diversos, los autores presentan el conjunto de datos IUST-XAI-AD. Recopilado en Qom, Irán, este conjunto de datos comprende 958 imágenes de cámaras de salpicadero capturadas bajo diversas condiciones de iluminación. Cada imagen está anotada manualmente por expertos con:

   • Etiquetas de Acción: 4 categorías (Avanzar, Detenerse/disminuir velocidad, Girar a la izquierda, Girar a la derecha).
   • Etiquetas de Razón: 21 categorías que explican la decisión de conducción (por ejemplo, "Obstáculo: persona", "Semáforo en verde").
     El conjunto de datos se analiza en términos de complejidad utilizando una puntuación ponderada ($C$) que tiene en cuenta la densidad de peatones, motociclistas y vehículos, asignando pesos más altos a los usuarios vulnerables de la vía (peatones y motociclistas) para reflejar su perfil de riesgo más alto.

Contribuciones Clave
El artículo presenta tres contribuciones interconectadas:

• Optimización Sistemática de Umbrales: Una demostración de que los umbrales fijos son subóptimos para escenarios multi-tarea. Los autores proporcionan una metodología para identificar umbrales óptimos específicos de la tarea, revelando que los picos de rendimiento varían significativamente entre las tareas de acción y razón.
• Nuevo Punto de Referencia (IUST-XAI-AD): La introducción de un conjunto de datos diseñado específicamente para la visión por computadora explicable en contextos de conducción persas. Este conjunto de datos aborda el sesgo cultural y regional en los puntos de referencia existentes, ofreciendo un entorno más desafiante con mayor densidad de objetos y patrones de tráfico distintos.
• Validación Exhaustiva Transversal al Contexto: Una evaluación extensa de un modelo multi-tarea basado en atención propuesto anteriormente en tres conjuntos de datos (BDD-OIA, nu-AR e IUST-XAI-AD). Esto incluye un análisis comparativo del rendimiento del modelo, métricas de complejidad y embebidos de características para evaluar la robustez en diferentes entornos culturales.

Resultados Experimentales

• Sensibilidad del Umbral: El análisis en el conjunto de datos BDD-OIA revela que el umbral convencional de 0.5 no es óptimo. La puntuación máxima F1-acción-general ocurre en un umbral de 0.3 (71.85%), mientras que la puntuación máxima F1-razón-general ocurre en 0.4 (54.77%). El estudio identifica una "región de operación robusta" entre 0.3 y 0.5 donde todas las métricas permanecen dentro del 1% de sus valores máximos, lo que sugiere que, aunque el ajuste es beneficioso, un rango de umbrales puede producir resultados casi óptimos.
• Complejidad del Conjunto de Datos: El conjunto de datos IUST-XAI-AD exhibe una complejidad significativamente mayor (puntuación de 2.0038) en comparación con BDD-OIA (0.8062) y nu-AR (0.5752). Esto se debe a una mayor densidad de vehículos (1.66 por imagen frente a 0.70 en BDD-OIA) y una densidad drásticamente mayor de motociclistas (0.164 por imagen, que es de 19 a 24 veces mayor que en los conjuntos de datos occidentales), reflejando condiciones de tráfico mixto comunes en las ciudades de Oriente Medio.
• Rendimiento del Modelo: Cuando se probó en IUST-XAI-AD, el modelo basado en atención de los autores superó a la línea base NLE-DM en 9 de 12 métricas. Sin embargo, las métricas de rendimiento general (puntuaciones F1) disminuyeron significativamente en IUST-XAI-AD en comparación con BDD-OIA, lo que indica que las diferencias culturales y ambientales presentan desafíos fundamentalmente nuevos que los modelos actuales luchan por generalizar sin una adaptación específica.
• Análisis de Características: Las visualizaciones t-SNE de las características aprendidas muestran que el modelo agrupa con éxito los datos por clases de acción y contexto ambiental (por ejemplo, separando la infraestructura de tráfico de los obstáculos dinámicos), aunque persiste cierta superposición.

Significado y Afirmaciones
El artículo afirma que su trabajo avanza el estado del arte en el aprendizaje multi-tarea explicable para la conducción autónoma al proporcionar tanto herramientas metodológicas como recursos de evaluación prácticos.

• Metodológico: Cuestiona la práctica estándar de la fijación de umbrales, argumentando que la selección del umbral debe ser una elección de diseño basada en prioridades operativas específicas (por ejemplo, equilibrar precisión y recuperación) en lugar de un problema de optimización fijo.
• Práctico: El conjunto de datos IUST-XAI-AD sirve como una herramienta crítica para evaluar la generalización transcultural de los sistemas autónomos, destacando brechas sistemáticas en la robustez del modelo que las evaluaciones de un solo dominio pasan por alto.
• Impacto Más Amplio: Los autores afirman que sus contribuciones combinadas aceleran el desarrollo de sistemas de conducción autónoma más fiables, explicables y culturalmente adaptables, adecuados para un despliegue global. Enfatizan que la validación exhaustiva en diversos contextos es esencial para evaluar la verdadera seguridad y robustez de estos sistemas.

El artículo concluye señalando que, si bien el trabajo actual establece una línea base para la diversidad cultural y la optimización de umbrales, la investigación futura debería investigar el ajuste fino y la sensibilidad de los umbrales específicamente para condiciones climáticas adversas y ampliar aún más la evaluación a una gama más amplia de conjuntos de datos geográficamente diversos.