Resumen Técnico: Evaluación de Métricas de Explicabilidad Local para Modelos de Aprendizaje Automático en Datos Tabulares

Declaración del Problema

Si bien las técnicas de explicabilidad se utilizan ampliamente para interpretar modelos de Inteligencia Artificial (IA), la fiabilidad de las explicaciones generadas sigue siendo un desafío abierto. Las explicaciones a menudo parecen plausibles para los seres humanos, pero no logran capturar con precisión el razonamiento interno de modelos complejos, particularmente cuando se aplican a datos tabulares. La literatura actual carece de una evaluación sistemática y reproducible de las técnicas de explicabilidad local en un amplio rango de conjuntos de datos y tipos de modelos. Específicamente, existe la necesidad de determinar si la calidad de la explicación se correlaciona con el rendimiento predictivo del modelo o si otros factores, como la complejidad del conjunto de datos, desempeñan un papel más dominante.

Metodología

Los autores realizaron una evaluación comparativa integral para evaluar la fiabilidad de las técnicas de explicabilidad local aplicadas a tareas complejas de clasificación en datos tabulares. El estudio utilizó los siguientes componentes:

• Conjuntos de datos: La evaluación abarcó 32 conjuntos de datos de clasificación curados del repositorio TabArena, que cubren diversos dominios, tamaños de muestra, conteos de características (desde 4 hasta 1.776) y distribuciones de clases. El preprocesamiento de datos incluyó normalización, codificación one-hot e imputación.
• Modelos: Se entrenaron y ajustaron finamente tres familias distintas de modelos utilizando Optuna y se rastrearon mediante MLflow:
  • Regresión Logística: Una línea base lineal.
  • Bosque Aleatorio: Un método de árbol de ensamble.
  • XGBoost: Un modelo de árbol impulsado con alta capacidad predictiva.
• Técnicas de Explicabilidad: Se implementaron tres técnicas locales agnósticas al modelo y ampliamente utilizadas mediante la biblioteca Captum:
  • LIME (Explicaciones Agnósticas al Modelo Interpretables Localmente): Utiliza muestras perturbadas y un sustituto lineal.
  • Kernel SHAP (Explicaciones Aditivas de Shapley de Kernel): Una aproximación de los valores de Shapley utilizando muestreo y ponderación específicos.
  • Ablación de Características: Elimina o reemplaza sistemáticamente características para medir los cambios en la salida.
• Métricas de Evaluación: El estudio empleó la biblioteca Quantus para calcular cinco métricas centradas en tres propiedades principales:
  • Fidelidad: Estimación de Fidelidad (correlación entre la atribución y el comportamiento del modelo) y Selectividad (impacto de eliminar las características mejor clasificadas).
  • Robustez: Sensibilidad Promedio (cambio medio bajo perturbación) y Sensibilidad Máxima (cambio en el peor de los casos).
  • Complejidad: Complejidad (entropía de Shannon de la distribución de atribución de características).
• Diseño Experimental: Los modelos se evaluaron en conjuntos de prueba de retención utilizando puntuaciones F1. Las muestras se categorizaron en dos grupos de consenso: Consenso-Correcto (todos los modelos predijeron correctamente) y Consenso-Incorrecto (todos los modelos predijeron incorrectamente). Se seleccionaron cinco muestras por clase objetivo para cada grupo para garantizar una evaluación consistente entre técnicas y modelos.

Resultados Clave

Los resultados de la evaluación comparativa, agregados en intervalos de puntuación F1 (del 50% al 100%), revelaron varios patrones críticos:

1. Correlación Débil con el Rendimiento Predictivo: No existe una correlación directa fuerte entre la puntuación F1 de un modelo y la fiabilidad de sus explicaciones. En algunos casos, puntuaciones F1 más altas se correlacionaron con una mayor sensibilidad (menor robustez) y mayor complejidad, lo que sugiere que los modelos con mejor rendimiento en conjuntos de datos complejos pueden producir explicaciones más distribuidas y menos estables.
2. Impacto de la Complejidad del Conjunto de Datos: El número de características en un conjunto de datos mostró una correlación positiva con los valores de las métricas, particularmente para la complejidad (correlación de 0,71). Esto indica que la estructura del conjunto de datos y la dimensionalidad de las características son los principales impulsores del comportamiento de la explicación, a menudo superando el rendimiento del modelo.
3. Comportamientos Específicos de la Técnica:
   • Ablación de Características: Logró consistentemente valores altos de Estimación de Fidelidad (a menudo >0,98), probablemente debido a la lógica de perturbación compartida entre la técnica y la métrica. Sin embargo, mostró una inestabilidad significativa en la Sensibilidad Máxima, con valores atípicos extremos (por ejemplo, valores que alcanzaron 72,610).
   • LIME: Demostró la mayor robustez (menor Sensibilidad Promedio) pero mostró la fidelidad más baja e inestable, con altas desviaciones estándar. Su rendimiento fue altamente sensible a los hiperparámetros de localidad.
   • Kernel SHAP: Mostró una fidelidad moderada pero una Sensibilidad Promedio consistentemente más alta en comparación con LIME, lo que indica una menor robustez ante perturbaciones de entrada.
4. Grupos de Consenso: Aunque las muestras de Consenso-Correcto generalmente produjeron valores de métrica ligeramente diferentes a las muestras de Consenso-Incorrecto, la distinción no reveló una correlación directa entre la clasificación correcta y la fiabilidad de la explicación. Las explicaciones podían parecer estables incluso cuando la predicción subyacente era incorrecta.

Significado y Afirmaciones

El artículo afirma que la fiabilidad de las técnicas de explicabilidad local en datos tabulares no está determinada principalmente por el rendimiento predictivo del modelo subyacente. En cambio, la complejidad del conjunto de datos y las distribuciones de características parecen ser los factores principales que afectan la calidad y la fiabilidad de la explicación.

Los autores enfatizan que:

• Una alta precisión del modelo no garantiza explicaciones de alta calidad.
• Las métricas existentes, muchas diseñadas originalmente para datos de imágenes, requieren una interpretación cuidadosa cuando se aplican a datos tabulares, ya que propiedades como la "localización" son menos significativas sin una estructura espacial.
• La elección de la técnica de explicación implica compensaciones: la Ablación de Características ofrece alta fidelidad pero arriesga inestabilidad; LIME ofrece robustez pero menor fidelidad; Kernel SHAP se sitúa en el medio pero puede ser sensible a las perturbaciones.

El estudio concluye que evaluar la fiabilidad de la explicación requiere mirar más allá de la precisión del modelo y considerar las características específicas del conjunto de datos, particularmente el número de características y la complejidad de los límites de decisión. Se sugiere trabajo futuro para investigar más a fondo la correlación entre el recuento de características y los valores de las métricas, potencialmente entrenando modelos en conjuntos de características reducidos para probar la consistencia de la explicación.