WISCA: A Consensus-Based Approach to Harmonizing Interpretability in Tabular Datasets

A continuación se presenta un resumen técnico detallado del artículo "WISCA: Un enfoque basado en consenso para armonizar la interpretabilidad en conjuntos de datos tabulares."

1. Planteamiento del Problema

Aunque los modelos de Aprendizaje Automático (ML) logran una alta precisión predictiva, su naturaleza de "caja negra" plantea desafíos significativos en dominios de alto riesgo como la atención médica y las finanzas, donde la transparencia y la interpretabilidad son legal y éticamente requeridas.

• El Conflicto Central: Los algoritmos existentes de IA Explicable (XAI) (por ejemplo, SHAP, LIME, Importancia por Permutación) a menudo producen explicaciones contradictorias para la misma predicción del modelo. Diferentes algoritmos pueden resaltar características distintas o asignar magnitudes de importancia variables.
• Limitaciones de los Métodos de Consenso Actuales: Para resolver estos conflictos, los investigadores han intentado agregar explicaciones utilizando funciones de consenso simples (por ejemplo, media aritmética, votación, media geométrica). Sin embargo, estos métodos tradicionales adolecen de fallas críticas:
  • A menudo ignoran la precisión del modelo (tratando una predicción fiable igual que una conjetura aleatoria).
  • No logran normalizar las escalas de atribución entre diferentes algoritmos (por ejemplo, valores SHAP frente a importancia por permutación).
  • No distinguen entre explicaciones globales (a nivel de conjunto de datos) y locales (específicas de la muestra), lo que genera sesgos al agregarlas.
  • Tienen dificultades con valores negativos o atribuciones cero, lo que puede distorsionar los resultados (por ejemplo, la media geométrica colapsa a cero si un valor es cero).

2. Metodología

Los autores proponen un marco novedoso para evaluar y mejorar el consenso en la interpretabilidad.

A. Configuración Experimental

• Conjuntos de Datos: Se crearon seis conjuntos de datos sintéticos con verdades terrenales conocidas (características específicas utilizadas para generar la variable objetivo). Esto permite una evaluación objetiva de si una explicación identifica correctamente las características relevantes.
  • 2 Clasificación Binaria, 2 Clasificación Multiclase, 2 Regresión.
  • Las características incluían variables relevantes y ruido significativo (variables irrelevantes).
• Modelos de ML: Se entrenaron seis modelos diversos: Regresión Logística (LR), Vecinos Más Cercanos (KNN), Bosques Aleatorios (RF), Máquinas de Vectores de Soporte (SVM), Gradient Boosting Extremo (XGB) y Redes Neuronales Artificiales (ANN).
• Algoritmos de Interpretabilidad: Se utilizó una mezcla de métodos agnósticos al modelo, globales y locales:
  • Globales: Disminución Media de la Impureza (MDI), Importancia por Permutación.
  • Locales: LIME, SHAP, Gradientes Integrados, Explicaciones Contrafactuales.

B. La Solución Propuesta: WISCA

Los autores introducen WISCA (Atribuciones de Consenso Escaladas Ponderadas), una nueva función de consenso diseñada para armonizar las explicaciones abordando las limitaciones de los métodos existentes.

Componentes Clave de WISCA:

1. Escala Min-Max: Todas las atribuciones de diferentes algoritmos se normalizan a un rango de $[0, 1]$ para garantizar una comparación justa.
2. Diferenciación entre Global y Local:
   • Los métodos globales proporcionan un valor por característica.
   • Los métodos locales proporcionan valores por muestra. WISCA agrega las atribuciones locales dividiéndolas por el número total de muestras ($N$) para asegurar que contribuyan proporcionalmente a los métodos globales.
3. Ponderación por Precisión (Factores de Corrección):
   • Clasificación: Se ponderan las atribuciones basándose en la probabilidad de clase ($\pi$). Las predicciones con alta confianza (probabilidades cercanas a 0 o 1) se ponderan fuertemente, mientras que las predicciones inciertas (probabilidad cercana a 0.5) se penalizan. Los autores seleccionaron una función parabólica ($1 - 4p(1-p)$) para esta corrección.
   • Regresión: Se ponderan las atribuciones basándose en el error de predicción ($|y - \hat{y}|$). Las predicciones con bajo error (alta fiabilidad) mantienen su peso de atribución, mientras que las predicciones con alto error se penalizan utilizando un factor de decaimiento exponencial ($e^{-\alpha|y-\hat{y}|}$).

Formulación:
$$\phi(f) = \sum_{s \in S} \frac{\phi'(f)}{N} \times \text{FactorDeCorrección}$$
Donde $\phi'(f)$ es la atribución escalada, y el factor de corrección depende del tipo de problema (probabilidad de clasificación o error de regresión).

C. Métricas de Evaluación

• Métrica de Tasa de Aciertos: Una métrica personalizada que calcula la precisión de la clasificación de características. Asigna puntuaciones más altas si las características de "verdad terrenal" aparecen en la parte superior de la lista de consenso.
• Distancia de Separación: Mide la brecha entre la atribución mínima de las características esperadas y la atribución máxima de las características de ruido.
• Correlación Estadística: Se utilizaron la correlación de Spearman y la divergencia Jensen-Shannon para comparar WISCA con algoritmos individuales.

3. Contribuciones Clave

1. Función de Consenso Novel (WISCA): Un método robusto que integra la precisión del modelo (a través de probabilidad o error) y escala las atribuciones, superando los sesgos del promediado simple o la votación.
2. Evaluación Exhaustiva: Una evaluación sistemática de cinco funciones de consenso existentes (Media Aritmética, Media Armónica, Media Geométrica, Votación, Posición Relativa) frente a WISCA en diversos escenarios sintéticos.
3. Identificación de Fallas en Métodos Existentes: El estudio demuestra que:
   • La Media Armónica es inadecuada ya que pondera inversamente la importancia.
   • La Media Geométrica falla cuando cualquier atribución es cero o negativa.
   • La Votación es altamente sensible a la precisión del modelo e ignora la magnitud de las contribuciones.
4. Validación en Datos Reales: Aplicación de WISCA a conjuntos de datos del mundo real (Riesgo de Cáncer de Cuello Uterino, Origen del Vino, Alquiler de Bicicletas) para demostrar la consistencia lógica en la selección de características.

4. Resultados

• Conjuntos de Datos Sintéticos: WISCA superó consistentemente a otros métodos de consenso.
  • En conjuntos de datos de Regresión, WISCA fue la única función que identificó correctamente todas las características esperadas en todos los modelos.
  • En conjuntos de datos de Clasificación, WISCA y la Votación funcionaron bien, pero WISCA mostró una desviación estándar más baja (atribuciones más compactas/consistentes) y un mejor rendimiento en escenarios complejos de multiclase.
  • Los métodos tradicionales como las medias Geométrica y Armónica funcionaron mal.
• Correlación con la Verdad Terrenal: WISCA mostró una alta correlación de Spearman con el algoritmo de interpretabilidad individual "mejor" para cada modelo específico, indicando que sintetiza eficazmente las señales más fiables.
• Comparación con Modelos Lineales: Las clasificaciones de características de WISCA fueron comparables a, y en algunos casos mejores que, las de un modelo de Regresión Logística (que es inherentemente interpretable), validando su capacidad para extraer características causales verdaderas.
• Aplicación en el Mundo Real:
  • Cáncer de Cuello Uterino: Identificó correctamente la prueba "Schiller" como un marcador clave.
  • Vino: Identificó correctamente la "Prolina" como un marcador para el origen del vino.
  • Alquiler de Bicicletas: Identificó correctamente a los "Usuarios Registrados" como el principal impulsor de los alquileres.

5. Significado y Conclusión

El artículo establece que el consenso es esencial para una XAI fiable, pero que el promediado simple es insuficiente. Al incorporar la confianza del modelo y la normalización, WISCA proporciona una explicación más confiable de los modelos de caja negra.

• Impacto: Este enfoque reduce la incertidumbre para las partes interesadas en campos críticos (medicina, finanzas) al proporcionar explicaciones que no solo son consistentes entre algoritmos, sino que también están ponderadas por la fiabilidad de la predicción subyacente.
• Trabajo Futuro: Los autores sugieren extender WISCA para manejar probabilidades específicas de multiclase y explorar el uso de modelos de ML para predecir atribuciones de características basadas en interpretaciones existentes.

En resumen, WISCA representa un paso significativo hacia la armonización de la interpretabilidad, pasando de explicaciones subjetivas o contradictorias a un consenso robusto y ponderado por la precisión que se alinea estrechamente con la lógica real de toma de decisiones de los modelos de ML.