A New Technique for AI Explainability using Feature Association Map

Resumen Técnico: FAMeX – Una Nueva Técnica para la Explicabilidad de la IA mediante Mapa de Asociación de Características

Planteamiento del Problema
La creciente adopción de la Inteligencia Artificial (IA) en aplicaciones críticas de la vida real —desde la detección de enfermedades y la predicción meteorológica hasta la predicción de precios de acciones— ha puesto de manifiesto un desafío significativo: la opacidad de los sistemas de "caja negra". Aunque los algoritmos de aprendizaje complejos suelen ofrecer una alta precisión predictiva, sus procesos de toma de decisiones a menudo carecen de transparencia. Esta falta de interpretabilidad dificulta determinar si las decisiones se basan en hechos científicos o en coincidencias espurias, obstaculizando así la confianza, la responsabilidad y la fiabilidad en entornos de alto riesgo. Los métodos existentes de IA Explicable (XAI), como la Importancia de Características por Permutación (PFI) y las Explicaciones Aditivas SHapley (SHAP), intentan abordar esto clasificando la importancia de las características. Sin embargo, los autores argumentan que estos métodos a menudo fallan en realizar un análisis holístico de aspectos críticos de las características, específicamente la relevancia (contribución de información a la variable objetivo) y la redundancia (similitud/superposición con otras características).

Metodología: El Algoritmo FAMeX
El artículo propone FAMeX (Explicabilidad basada en Mapa de Asociación de Características), un algoritmo novedoso diseñado para evaluar la importancia de las características considerando simultáneamente la relevancia y la redundancia mediante una formulación basada en teoría de grafos.

1. Mapa de Asociación de Características (FAM): El núcleo de la metodología es el FAM, un grafo donde las características se modelan como vértices y las asociaciones entre ellas se representan como aristas.
2. Similitud de Características (Redundancia): La redundancia se mide utilizando el coeficiente de correlación de Pearson. Las características se gradúan según su correlación con otras características:
   • Grado 1: Baja redundancia (correlación < 0.67 con todas las demás características).
   • Grado 2: Redundancia moderada (correlación > 0.67 pero < 0.9 con al menos una característica, pero menos de tres).
   • Grado 3: Alta redundancia (correlación > 0.9 con al menos una característica O > 0.67 con tres o más características).
     Se calcula una Puntuación de Similitud basada en estos grados, donde grados más altos (que indican mayor redundancia) resultan en una puntuación más alta.
3. Relevancia de Características: La relevancia se mide utilizando la Información Mutua (MI) entre una característica y la variable de clase objetivo, normalizada para calcular una Puntuación de Relevancia.
4. Puntuación de Importancia de Características: La puntuación final de importancia se deriva integrando las dos métricas. El algoritmo postula que una característica es más importante si tiene alta relevancia y baja redundancia. En consecuencia, la puntuación se calcula como:
   $$\text{Puntuación de Importancia de Características} = \frac{\text{Puntuación de Relevancia}}{\text{Puntuación de Similitud}}$$
   Esta relación inversa asegura que las características altamente redundantes (puntuación de similitud alta) sean penalizadas, mientras que las características altamente relevantes sean recompensadas.

El algoritmo opera con una complejidad temporal de $O(n^2)$, donde $n$ es el número de características.

Contribuciones Clave

• Análisis Holístico de Características: A diferencia de los métodos competidores que pueden centrarse principalmente en la contribución marginal, FAMeX modela explícitamente la compensación entre la relevancia de las características y la redundancia de las características.
• Formulación Basada en Teoría de Grafos: La introducción del Mapa de Asociación de Características proporciona un marco visual y matemático para comprender las interdependencias entre características.
• Implementación Algorítmica: Los autores proporcionan un algoritmo completo (Algoritmo 1) y una herramienta de Interfaz Gráfica de Usuario (GUI) independiente de la plataforma para facilitar la aplicación de FAMeX en diversos conjuntos de datos.

Resultados Experimentales
Los autores evaluaron FAMeX frente a PFI y SHAP utilizando ocho conjuntos de datos de referencia del repositorio de Aprendizaje Automático de la UCI (por ejemplo, Wisconsin, ILPD, WineQuality, WBDC). La evaluación involucró:

• Configuración: Validación cruzada de 10 pliegues repetida durante 100 iteraciones.
• Métricas: La precisión de clasificación se midió utilizando cuatro clasificadores estándar: Máquina de Vectores de Soporte (SVM), Bosque Aleatorio (RF), Naive Bayes (NB) y Árbol de Decisión (DT).
• Estrategia de Validación: El 30% superior y el 30% inferior de las características identificadas por cada algoritmo se utilizaron para entrenar los clasificadores. Un algoritmo XAI superior debería generar una precisión significativamente mayor al utilizar sus características mejor clasificadas en comparación con sus características peor clasificadas.

Hallazgos:

• Rendimiento Superior: En los cuatro clasificadores y los ocho conjuntos de datos, FAMeX generó consistentemente una mayor precisión de clasificación utilizando el 30% superior de características en comparación con PFI y SHAP. Por ejemplo, con el clasificador Bosque Aleatorio, FAMeX logró una precisión promedio del 80.16%, en comparación con el 71.47% para PFI y el 71.82% para SHAP.
• Consistencia: FAMeX demostró una distinción clara entre características importantes e irrelevantes. En la mayoría de los casos, la caída de precisión al utilizar el 30% inferior de características fue significativa (a menudo una diferencia >10%).
• Limitaciones de los Competidores: Por el contrario, PFI y SHAP mostraron resultados inconsistentes. En varios casos (por ejemplo, conjunto de datos WBDC con SVM), las características del "30% inferior" seleccionadas por PFI o SHAP produjeron una mayor precisión que las características del "30% superior", lo que indica una falla en la identificación correcta de características críticas en esos contextos.

Significado y Afirmaciones
El artículo afirma que FAMeX es un algoritmo prometedor para explicar las predicciones de la IA porque evalúa eficazmente la importancia de las características en el contexto de la clasificación al tener en cuenta tanto la relevancia como la redundancia. Los autores declaran que los resultados experimentales establecen la eficacia de FAMeX por delante de PFI y SHAP. El trabajo se presenta como un paso hacia el fomento de la confianza en los sistemas de IA al proporcionar una explicación transparente y holística de los procesos de toma de decisiones. Los autores concluyen con modestia, sugiriendo que el trabajo futuro debería implicar la aplicación de FAMeX a conjuntos de datos más complejos y a gran escala, y compararlo con algoritmos XAI adicionales de vanguardia.