🤖 machine learning

Assessing Alignment and Stability of Feature Importance Explanations via Weight of Evidence

Este artículo introduce un marco novedoso que integra Métodos de Importancia de Características dentro de un paradigma de prueba de hipótesis basado en el Peso de la Evidencia para proporcionar una evaluación fundamentada y basada en evidencia de la alineación de la explicación con el conocimiento previo y su estabilidad a través de diferentes hipótesis de referencia.

Autores originales: Eddie Conti, Claudio Daka, Álvaro Parafita, Antonio L. Alfeo, Axel Brando, Mario G. C. A. Cimino

Publicado 2026-09-02

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Eddie Conti, Claudio Daka, Álvaro Parafita, Antonio L. Alfeo, Axel Brando, Mario G. C. A. Cimino

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la inteligencia artificial, existe una tensión persistente entre la rapidez con la que las máquinas aprenden y qué tan bien los humanos las comprenden. Hemos construido sistemas capaces de diagnosticar enfermedades, predecir mercados bursátiles y reconocer rostros, pero la lógica interna de estos sistemas a menudo sigue siendo una caja negra. Para cerrar esta brecha, los científicos han desarrollado herramientas llamadas métodos de importancia de características. Estas son como reflectores que iluminan las piezas específicas de información que una computadora utilizó para tomar una decisión, diciéndonos qué factores importaron más. Sin embargo, saber qué factores fueron resaltados no es lo mismo que saber si el reflector está apuntando en la dirección correcta. Un método puede resaltar consistentemente las mismas características, pero si esas características son irrelevantes para el problema real, la explicación es engañosa. El desafío, por lo tanto, no es solo generar una explicación, sino verificar su fiabilidad y estabilidad.

Un equipo de investigadores ha abordado este problema de verificación tratando la explicación misma como una idea comprobable. En lugar de simplemente aceptar una lista de características importantes como un hecho, plantearon la explicación como una hipótesis —una afirmación sobre qué impulsó la decisión— y luego utilizaron una herramienta estadística conocida como el peso de la evidencia para ver qué tan fuertemente los datos respaldan esa afirmación. Esta herramienta, tomada de la teoría de la información, mide cuánto desplaza una pieza de evidencia nuestra creencia en una dirección frente a otra. En este contexto, la "evidencia" es el comportamiento de la herramienta de explicación al pedírsele que analice la misma situación múltiples veces. Al ejecutar la herramienta repetidamente, los investigadores pudieron observar si apuntaba consistentemente a las mismas características o si sus respuestas derivaban aleatoriamente. Si la herramienta es estable y correcta, la evidencia debería respaldar fuertemente la hipótesis de que las características resaltadas son, de hecho, las que importan.

Los investigadores aplicaron este marco de trabajo a dos herramientas de explicación populares, conocidas como LIME y SHAP, probándolas contra diferentes estándares de verdad. En un escenario, compararon las respuestas de las herramientas contra el conocimiento humano establecido sobre el desastre del Titanic, donde los registros históricos confirman que el género y la clase de pasajero fueron los factores decisivos para la supervivencia. Cuando se les pidió a las herramientas explicar las predicciones de supervivencia, los investigadores encontraron que LIME produjo una alineación perfecta en 27 de 50 casos, mientras que SHAP, a pesar de ser determinista, mostró una división: se alineó perfectamente en 23 casos, pero falló completamente en alinearse en otros 27, señalando características más allá de los factores críticos conocidos. Esto reveló que incluso cuando una herramienta parece funcionar, puede fallar en regiones específicas de los datos, resaltando una desconexión entre las explicaciones locales y las verdades globales.

En otro experimento, el equipo creó un entorno sintético donde sabían exactamente qué características eran relevantes y cuáles eran solo ruido. Entrenaron un modelo con estos datos y luego pidieron a las herramientas de explicación que identificaran los factores importantes. Descubrieron un patrón contraintuitivo: cuando los datos tenían un poco de ruido, las herramientas a veces parecían alinearse mejor con los hechos subyacentes reales que con la propia lógica del modelo. Esto sugirió que el modelo mismo había aprendido a depender del ruido, y la herramienta de explicación estaba reportando fielmente ese comportamiento defectuoso. El marco del peso de la evidencia les permitió señalar exactamente dónde se rompió la cadena, distinguiendo entre errores en los datos, errores en el modelo y errores en la herramienta de explicación.

Finalmente, el equipo probó las herramientas sin ninguna referencia externa, preguntando simplemente si las herramientas eran consistentes consigo mismas. Ejecutaron las herramientas muchas veces sobre los mismos datos y midieron qué tan seguido la lista de características importantes permanecía igual. Encontraron que cuando las herramientas producían listas muy similares a través de diferentes ejecuciones, el peso estadístico de la evidencia se volvía extremadamente alto, confirmando efectivamente la estabilidad de la herramienta. Por el contrario, cuando las listas cambiaban drásticamente de una ejecución a otra, el peso de la evidencia disminuía, señalando que la explicación era poco fiable. Esto confirmó una predicción teórica de que la estabilidad de una explicación está directamente vinculada a la fuerza de la evidencia que la respalda.

El estudio concluye que este enfoque estadístico ofrece una nueva y rigurosa forma de evaluar cuánta confianza podemos depositar en las explicaciones de la inteligencia artificial. No solo nos dice qué cree la computadora que es importante; nos dice qué tan seguros debemos estar de esa respuesta. Al cuantificar la alineación entre una explicación y las verdades conocidas, o al medir la consistencia interna de la explicación misma, este método proporciona una lente más clara a través de la cual ver el razonamiento de las máquinas complejas. Los investigadores sugieren que este marco puede adaptarse a diversas situaciones, ya sea verificando contra el conocimiento experto, verificando contra la verdad fundamental, o simplemente asegurando que una herramienta no dé una respuesta diferente cada vez que se le hace la misma pregunta.

Resumen Técnico: Evaluación de la Alineación y Estabilidad de las Explicaciones de Importancia de Características mediante el Peso de la Evidencia

Planteamiento del Problema
Los Métodos de Importancia de Características (FIM, por sus siglas en inglés) son herramientas estándar en la IA Explicable (XAI) para interpretar las predicciones de modelos de caja negra. Sin embargo, las métricas de evaluación existentes suelen basarse en supuestos implícitos sobre qué constituye una "buena" explicación, careciendo de criterios universalmente aceptados de transparencia o interpretabilidad. Además, aunque los FIM proporcionan puntuaciones de atribución, estas puntuaciones por sí solas ofrecen una visión limitada del proceso de razonamiento subyacente o de la estabilidad de los explicadores estocásticos (por ejemplo, LIME, SHAP). Existe la necesidad de un marco basado en principios para evaluar qué tan bien los FIM se alinean con el conocimiento previo, la verdad fundamental (ground truth) o su propia consistencia interna, particularmente en dominios de alto riesgo donde la confianza y la rendición de cuentas son primordiales.

Metodología
Los autores proponen un nuevo marco que integra los FIM dentro de un paradigma de prueba de hipótesis basado en el Peso de la Evidencia (WoE), un concepto estadístico de la teoría de la información.

Formulación de la Hipótesis:
- El marco trata la importancia de las características como una hipótesis testeable ( $h$ ) respecto a qué características son relevantes para la decisión de un modelo.
- Se deriva una hipótesis binaria de los vectores de atribución continuos ( $\alpha$ ) utilizando estrategias de selección: selección Top-k (TK) o Selección Adaptativa (AS), donde se seleccionan características hasta explicar una fracción suficiente ( $\tau$ ) de la masa total de atribución.
- La hipótesis de referencia ( $h^*$ $h^{*}$ ) puede originarse de tres fuentes:
  - Conocimiento del Dominio: Conocimiento experto externo (por ejemplo, "el sexo y la clase son relevantes para la supervivencia en el Titanic").
  - Verdad Fundamental (Ground Truth): Características relevantes conocidas en conjuntos de datos sintéticos.
  - Consistencia Interna: La media empírica de la atribución derivada de múltiples ejecuciones del propio FIM.
Cálculo del Peso de la Evidencia (WoE):
- El WoE cuantifica la fuerza de la evidencia ( $e$ ) que respalda la hipótesis $h$ sobre una hipótesis alternativa $h'$ (típicamente el complemento $\bar{h}$ ).
- Formalmente: $woe(h : e) = \log \frac{p(e | h)}{p(e | h')}$ .
- Evidencia ( $e$ ): Generada al ejecutar un FIM estocástico $N$ veces sobre una instancia fija $x$ , produciendo un conjunto de vectores de atribución.
- Probabilidad Previa ( $p(h)$ ): Se asume uniforme sobre todas las $2^d$ posibles asignaciones de relevancia binaria, ajustada por la naturaleza parcial de la hipótesis (solo especifica las características relevantes, no las irrelevantes).
- Probabilidad Posterior ( $p(h|e)$ ): Estimada empíricamente como la proporción de ejecuciones donde el conjunto de características derivado coincide con la hipótesis de referencia $h^*$ .
Conexión Teórica con la Variabilidad:
- El artículo establece un vínculo teórico entre la variabilidad de la atribución y el WoE.
- Teorema 1: A medida que la varianza de las puntuaciones de atribución del FIM estocástico se acerca a cero, el WoE para la hipótesis de referencia (generada a partir de la media de la atribución) diverge a $+\infty$ con una probabilidad que tiende a 1. Esto demuestra que el WoE sirve como un cuantificador directo de la estabilidad de los FIM.

Contribuciones Clave

Una Estrategia Formal de WoE en XAI: Los autores adaptan el marco de WoE para probar hipótesis sobre FIM, ofreciendo una lente contrastiva basada en la evidencia para la evaluación.
Evaluación Multifacética: Dependiendo de la fuente de la hipótesis de referencia, el marco puede:
- Probar la alineación entre las explicaciones locales y el conocimiento global del dominio.
- Medir la fidelidad al mecanismo intrínseco del modelo y la alineación con la verdad fundamental a nivel de datos.
- Capturar la estabilidad (variabilidad) de los FIM estocásticos.
Prueba Teórica: Una prueba que demuestra que una baja variabilidad del FIM conduce a un WoE infinito cuando la hipótesis de referencia se deriva de la media de la atribución, vinculando formalmente la estabilidad con la métrica.

Resultados Experimentales
El marco fue evaluado utilizando LIME y SHAP en tres entornos:

Alineación con el Conocimiento del Dominio (Dataset Titanic):
- Se probó contra una hipótesis global de que "sexo" y "pclass" son los principales impulsores de la supervivencia.
- Resultado: LIME mostró resultados mixtos (algunas instancias alineadas, otras divergentes), mientras que SHAP produjo explicaciones deterministas que estaban perfectamente alineadas o completamente desalineadas ( $-\infty$ WoE).
- Perspectiva: El WoE identifica eficazmente las regiones en el espacio de características donde el comportamiento local diverge de las explicaciones globales asumidas.
Verdad Fundamental y Fidelidad (Datos Sintéticos):
- Se creó un conjunto de datos sintéticos con características informativas conocidas y características redundantes con niveles de ruido variables ( $\lambda$ ).
- Resultado: Con un ruido bajo, LIME se alineó más con el modelo (que dependía de características redundantes) que con la verdad fundamental. A medida que el ruido aumentó, el modelo convergió a la verdad fundamental, y los valores de WoE reflejaron este cambio.
- Perspectiva: El WoE puede localizar la desalineación a lo largo del flujo de datos $\to$ modelo $\to$ FIM, diagnosticando explicaciones infieles causadas por una alta curvatura local o anchos de kernel inapropiados.
Estabilidad Interna (Datasets del Mundo Real):
- Evaluado en los conjuntos de datos de Diabetes, Enfermedad Cardíaca, Móvil y Churn sin referencias externas.
- Resultado: SHAP produjo consistentemente la misma hipótesis a través de las ejecuciones (alta estabilidad, $+\infty$ WoE), mientras que LIME mostró una mayor variabilidad, especialmente en conjuntos de datos complejos como Móvil.
- Perspectiva: El WoE captura con éxito la consistencia interna de los FIM, donde las puntuaciones positivas indican explicaciones estables y las negativas indican inestabilidad.
Validación Teórica:
- Experimentos variando el número de muestras de fondo (para LIME) y añadiendo ruido gaussiano controlado a las atribuciones sintéticas confirmaron que una menor varianza conduce a un mayor WoE, validando el Teorema 1.

Significancia y Pretensiones
El artículo sostiene que este marco ofrece una herramienta complementaria para evaluar los FIM. No reemplaza las métricas existentes, sino que proporciona un método estadístico basado en principios para:

Cuantificar con qué fuerza la evidencia observada respalda afirmaciones específicas sobre la importancia de las características.
Distinguir entre la alineación con el conocimiento previo, la fidelidad al modelo y la estabilidad interna.
Diagnosticar fallos en el flujo de la explicación (por ejemplo, cuando un modelo aprende correlaciones espurias o cuando un explicador es demasiado sensible al ruido).

Los autores mantienen una postura modesta, señalando que el marco depende de elecciones de diseño específicas (por ejemplo, distribuciones uniformes, coincidencia exacta de conjuntos para las hipótesis) que podrían flexibilizarse en trabajos futuros. Enfatizan que el enfoque requiere múltiples ejecuciones del explicador, lo que introduce un costo computacional, pero argumentan que se pueden obtener estimaciones estables con un número relativamente pequeño de ejecuciones.

Más como este