🤖 AI

A Formal Methodological Framework for Auditing Robustness and Fidelity in Explainable AI: From Application to Trust Certification

Este artículo propone un marco de auditoría formal que cuantifica la robustez y la fidelidad de los métodos de IA explicable para generar una Puntuación de Confianza, demostrando a través de un estudio de caso sobre la desnutrición en Madagascar que los modelos de alto rendimiento pueden producir explicaciones poco informativas y que dicha auditoría es esencial para una toma de decisiones confiable en dominios sensibles.

Autores originales: Rosa Elysabeth Ralinirina, Jean Christian Ralaivao, Niaiko Michaël Ralaivao, Alain Josué Ratovondrahona, Thomas Mahatody

Publicado 2026-08-26

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Rosa Elysabeth Ralinirina, Jean Christian Ralaivao, Niaiko Michaël Ralaivao, Alain Josué Ratovondrahona, Thomas Mahatody

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo moderno, la inteligencia artificial se ha convertido en una herramienta poderosa para dar sentido a datos complejos, desde la predicción de patrones climáticos hasta el diagnóstico de enfermedades. Sin embargo, muchos de los sistemas más potentes operan como "cajas negras", lo que significa que pueden producir un resultado sin revelar los pasos que siguieron para llegar a él. Para cerrar esta brecha, los científicos han desarrollado herramientas que acten como traductores, señalando qué piezas de información dependió un modelo computacional para tomar su decisión. Estas herramientas están destinadas a generar confianza, permitiendo que los expertos humanos comprendan y verifiquen la lógica de la máquina. No obstante, una pregunta crítica permanece: si el razonamiento de la computadora cambia drásticamente cuando los datos de entrada son retocados por apenas una mínima cantidad, ¿podemos realmente confiar en la explicación? Esta incertidumbre es el desafío central abordado por un nuevo estudio centrado en cómo verificar la fiabilidad de estas explicaciones de IA.

Investigadores de la Universidad de Fianarantsoa en Madagascar se propusieron resolver este problema creando un método formal para auditar estas explicaciones. Se centraron en dos cualidades específicas: estabilidad y fidelidad. La estabilidad pregunta si la explicación permanece consistente cuando los datos se perturban ligeramente, de forma muy similar a comprobar si una brújula sigue apuntando al norte cuando el suelo debajo de ella tiembla. La fidelidad pregunta si las características que la explicación resalta son realmente las que impulsan la decisión del modelo, asegurando que la herramienta no esté simplemente inventando razones que suenen plausibles pero que sean falsas. Al combinar las mediciones de estas dos cualidades en una sola puntuación, el equipo creó una forma de calificar cuánta confianza debe depositar un usuario en una explicación de IA específica.

Para probar este nuevo sistema de auditoría, los investigadores lo aplicaron a un conjunto de datos del mundo real relativo a la seguridad alimentaria en Madagascar. Los datos cubrieron veintitrés regiones durante trece años, rastreando ochenta y tres factores diferentes como la pluviosidad, la producción de arroz, los precios del mercado y las tasas de salud infantil. El objetivo era predecir la gravedad de la desnutrición en estas regiones, la cual fue categorizada en cuatro niveles que van desde aceptable hasta crítica. El equipo entrenó tres tipos diferentes de modelos computacionales con estos datos y luego utilizó dos herramientas de explicación populares para ver qué tan bien podían explicar las predicciones de los modelos. Realizaron su auditoría en un conjunto específico de casos de prueba para ver si las explicaciones se mantenían bajo escrutinio.

Los resultados revelaron una realidad desalentadora: un modelo que es extremadamente preciso al realizar predicciones no es necesariamente confiable cuando se trata de explicar esas predicciones. Algunos de los modelos lograron puntuaciones casi perfectas en la predicción de las clases de desnutrición, pero las explicaciones que produjeron eran o bien numéricamente defectuosas o completamente informativas. En un caso impactante, un modelo que era altamente confiado en sus respuestas causó que una de las herramientas de explicación emitiera una lista de valores de cero para cada uno de los factores, indicando efectivamente que nada importaba porque la respuesta ya era obvia. Cuando los investigadores intentaron medir qué tan estables eran estas explicaciones, los números se volvieron imposibles de calcular sin un pequeño ajuste matemático, resaltando una falla fundamental en cómo la herramienta de explicación interactuaba con el modelo excesivamente confiado.

El estudio también encontró que la calidad de una explicación depende en gran medida de cómo se construyó el modelo. Cuando los investigadores ajustaron los modelos para que fueran menos propensos a memorizar los puntos de datos específicos —un proceso conocido como regularización—, las explicaciones se volvieron mucho más fiables. Por ejemplo, un tipo de modelo que inicialmente producía explicaciones planas y poco informativas comenzó a mostrar un patrón claro donde eliminar los factores más importantes realmente cambiaba la predicción de manera significativa. Este cambio demostró que la explicación finalmente estaba reflejando el funcionamiento interno real del modelo en lugar de solo hacer eco de su confianza. Los investigadores observaron que la herramienta de explicación basada en modelos de árboles era generalmente más estable que la otra, pero ambas herramientas tuvieron dificultades cuando el modelo subyacente era demasiado confiado en sus propias respuestas.

En última instancia, la investigación sugiere que una alta precisión en un modelo de aprendizaje automático no garantiza que su razonamiento sea sólido o comprensible. El equipo demostró que, sin un control específico de estabilidad y fidelidad, los usuarios podrían recibir explicaciones que parecen convincentes pero que en realidad son frágiles o engañosas. Al introducir una puntuación única que combina estos controles, proporcionaron una forma práctica para que los tomadores de decisiones sepan cuándo una explicación de IA es segura de usar y cuándo debe ser ignorada. Esto es particularmente vital en campos sensibles como la seguridad alimentaria, donde las políticas y la ayuda se distribuyen basándose en estas predicciones. El estudio concluye que auditar estas explicaciones no es un paso extra opcional, sino un requisito necesario para asegurar que la inteligencia artificial que guía decisiones humanas críticas sea verdaderamente digna de confianza.

Resumen Técnico: Un Marco Metodológico Formal para Auditar la Robustez y la Fidelidad de la IA Explicable

1. Planteamiento del Problema

El artículo aborda una brecha crítica en el despliegue de la IA Explicable (XAI) dentro de dominios sensibles, específicamente la seguridad alimentaria en Madagascar. Si bien los explicadores post-hoc como SHAP y LIME son estándares para interpretar modelos de caja negra, sus resultados suelen ser poco fiables. Los autores observaron que pequeñas perturbaciones en los datos de entrada pueden causar variaciones sustanciales en los resultados de la explicación, y no existe un mecanismo inherente para verificar si las características resaltadas impulsan genuinamente las predicciones del modelo. Esta "ilusión de transparencia" plantea un riesgo cuando los responsables de la toma de decisiones dependen de estas explicaciones. El problema central es la falta de un protocolo cuantitativo unificado para auditar simultáneamente la estabilidad (robustez) y la veracidad (fidelidad) de los resultados de la XAI.

2. Marco Metodológico

Los autores proponen un flujo de auditoría formal que cuantifica dos propiedades distintas de cualquier explicador post-hoc y las sintetiza en un único Puntaje de Confianza (Trust Score).

2.1 Robustez (Estabilidad Local)

La robustez mide la estabilidad de una explicación bajo la perturbación de la entrada.

Mecanismo: Para una entrada dada $x$ , el auditor extrae $N$ vectores de ruido $\delta$ de una distribución Gaussiana $N(0, \sigma^2 I)$ .
Cálculo: Calcula los vectores de explicación $E(x)$ y $E(x+\delta)$ , los normaliza para que sumen 1, y mide su divergencia utilizando la Divergencia de Jensen-Shannon (JSD).
Métrica: $R(x) = 1 - \frac{1}{N} \sum D_{JS}(\tilde{E}(x) \parallel \tilde{E}(x+\delta_i))$ .
Gestión de Casos Límite: Se aborda un problema numérico específico donde TreeSHAP en modelos sobreajustados puede producir importancia cero para todas las características, lo que hace que la JSD sea indefinida. Los autores resuelven esto añadiendo un pequeño épsilon ( $\epsilon = 10^{-10}$ ) a cada componente antes de la normalización.

2.2 Fidelidad (Veracidad)

La fidelidad evalúa si las características consideradas importantes por el explicador realmente influyen en la predicción del modelo.

Mecanso: El método emplea la ablación de características. Las top- $k$ características identificadas por el explicador son enmascaradas (reemplazadas por las medias de las características) para crear una entrada perturbada $x \setminus F_k$ .
Cálculo: Se mide el cambio en la predicción del modelo $f(x)$ con respecto a la predicción original.
Métrica: $F_k(x) = 1 - \frac{|f(x) - f(x \setminus F_k)|}{|f(x)| + \epsilon}$ . La fidelidad general $F(x)$ es la media a través de un conjunto de niveles de ablación $K$ .
Interpretación: Un puntaje de fidelidad alto indica que eliminar las características principales altera significamente la predicción, confirmando la relevancia del explicador.

2.3 Puntaje de Confianza (Trust Score)

El marco combina estas métricas en una suma ponderada:
$T(x) = \alpha R(x) + \beta F(x)$
donde $\alpha + \beta = 1$ . Por defecto, $\alpha = \beta = 0.5$ , otorgando un peso igual a la estabilidad y la veracidad, aunque los autores señalan que estos pesos pueden ajustarse según los requisitos del dominio (por ejemplo, priorizando la estabilidad para partes interesadas no técnicas).

3. Configuración Experimental y Caso de Estudio

El marco fue validado en un conjunto de datos multisectorial relativo a la seguridad alimentaria en Madagascar.

Datos: 253 registros que cubren 23 regiones durante 13 años (2010–2023), con 83 variables (clima, agricultura, socioeconomía, nutrición, demografía). La variable objetivo tiene 4 clases ordinales (Aceptable, Precario, Alarma, Crítico), con un desequilibrio de clases severo (solo 3 instancias en la clase "Aceptable").
Modelos: Se probaron tres clasificadores: Random Forest (RF), XGBoost y una Red Neuronal (NN). Se entrenaron variantes regularizadas de cada uno para evaluar el impacto del sobreajuste.
Explicabilidad: Se utilizaron SHAP (TreeSHAP para árboles, KernelSHAP para NN) y LIME.
Protocolo: La auditoría se ejecutó en 30 instancias de prueba con 10 ensayos de perturbación ( $\sigma=0.1$ ) y niveles de ablación $K = \{3, 5, 10, 41, 82\}$ .

4. Resultados Clave

Los experimentos arrojaron hallazgos reveladores sobre la relación entre el rendimiento predictivo y la calidad de la explicación:

Alto AUC $\neq$ Explicaciones Confiables: Los modelos alcanzaron puntuaciones de AUC promedio macro superiores a 0.99. Sin embargo, este alto rendimiento predictivo no garantizó explicaciones estables o informativas.
Degeneración Numérica: En el modelo XGBoost, TreeSHAP produjo vectores de importancia con valores de cero para algunas instancias debido a predicciones casi seguras, lo que causó que el cálculo de la JSD fallara sin la corrección de suavizado $\epsilon$ propuesta.
Colapso de la Fidelidad en Modelos Sobreajustados: El modelo XGBoost exhibió puntuaciones de fidelidad "planas" (aprox. 0.620) en todos los niveles de ablación tanto para SHAP como para LIME. Debido a que el modelo era tan seguro (prediciendo cerca de 0 o 1), la eliminación de características desplazaba la salida en una cantidad constante independientemente de qué características se eliminaran. Esto volvió la métrica de fidelidad no informativa e incapaz de distinguir entre explicaciones buenas y malas.
Impacto de la Regularización: Los modelos regularizados generalmente mejoraron los Puntajes de Confianza.
- RF y XGBoost: La regularización mejoró ligeramente la robustez y mejoró modestamente la fidelidad, aunque las curvas de fidelidad de XGBoost permanecieron relativamente planas.
- Red Neuronal: La NN regularizada (NNreg) mostró la recuperación más significativa en el poder discriminativo. Su fidelidad de LIME cayó de 0.977 (top 3 características) a 0.802 (top 82 características), indicando que el explicador identificó correctamente la jerarquía de la importancia de las características.
Comparación de Robustez: SHAP superó consistentemente a LIME en robustez en modelos basados en árboles (por ejemplo, XGBoost: 0.978 vs. 0.658), atribuido al camino de computación exacto de TreeSHAP frente a la variabilidad de muestreo de LIME.

5. Significación y Reivindicaciones

El artículo sostiene que auditar los resultados de la XAI no es opcional sino necesario, particularmente en dominios sensibles como la seguridad alimentaria. Las contribuciones primarias son:

Protocolo Unificado: El marco proporciona un flujo de trabajo único para medir la robustez y la fidelidad de forma paralela, produciendo un Puntaje de Confianza comparable entre diferentes pares de modelo-explicador.
Detección de Explicaciones "No Informativas": El estudio demuestra que el marco puede detectar cuándo las explicaciones se vuelven numéricamente degeneradas o vacuas debido al exceso de confianza del modelo o al sobreajuste. Específicamente, destaca que un modelo con un AUC casi perfecto puede producir explicaciones que son o bien inestables o bien enteramente informativas.
La Necesidad de la Calibración: Los resultados sugieren que, antes de confiar en los resultados de la XAI, los profesionales deben asegurar que el modelo subyacente esté bien calibrado y no esté severamente sobreajustado. Si un modelo tiene un exceso de confianza, las métricas de fidelidad pierden su poder discriminatorio.
Compromisos Prácticos: El Puntaje de Confianza hace explícito el compromiso entre la estabilidad y la veracidad, permitiendo a los expertos en el dominio ajustar los pesos ( $\alpha, \beta$ ) según si priorizan explicaciones consistentes para la comunicación o un apego estricto a la lógica del modelo para el cumplimiento regulatorio.

Los autores concluyen que, si bien el marco es informativo para modelos bien calibrados, su aplicación en modelos sobreajustados requiere precaución, y el trabajo futuro debe centrarse en estrategias de perturbación específicas del dominio y estructuras de datos temporales.