🤖 machine learning

Measuring the (Un)Faithfulness of Concept-Based Explanations

Este artículo propone SURF, un nuevo marco de evaluación que utiliza un sustituto lineal simple y métricas exhaustivas para demostrar que muchos métodos de explicación basados en conceptos no supervisados carecen de la fidelidad que se les atribuye debido a defectos en las métricas anteriores.

Autores originales: Shubham Kumar, Narendra Ahuja

Publicado 2026-03-31

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Shubham Kumar, Narendra Ahuja

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que tienes un chef genio (el modelo de Inteligencia Artificial) que cocina platos increíbles, pero nadie sabe exactamente qué ingredientes o pasos secretos usa para lograr ese sabor.

Los investigadores de este papel quieren entender cómo piensa el chef. Para ello, han creado "traductores" (llamados explicaciones basadas en conceptos) que intentan decirnos: "¡El chef usó mucho tomate, un poco de sal y un toque de pimienta!".

El problema es que, a veces, estos traductores nos cuentan una historia bonita, pero no es la verdad sobre lo que realmente hizo el chef. Es como si el traductor dijera "usó tomate" cuando en realidad el chef usó salsa de soja.

Aquí está el resumen de lo que hacen estos investigadores, explicado de forma sencilla:

1. El Problema: La "Traducción" Miente

Hasta ahora, los científicos usaban una regla llamada "Fidelidad" para ver si la explicación era honesta. La fidelidad significa: "¿La explicación refleja realmente lo que el chef hizo en su mente?".

Pero descubrieron que las reglas antiguas para medir esta honestidad estaban trampas:

Trampa 1 (El traductor demasiado inteligente): Algunos métodos usaban un "traductor secundario" tan complejo que podía adivinar el plato final incluso si la explicación original era basura. Era como si el traductor supiera la receta de memoria y la escribiera de nuevo, engañándonos al pensar que la explicación simple era correcta.
Trampa 2 (El juego de "Borrar"): Otros métodos probaban la honestidad borrando ingredientes (ej. "¿Qué pasa si quitamos el tomate?"). Pero los investigadores dicen que borrar cosas de una foto o de un modelo de IA de forma artificial es como intentar entender un coche quitándole las ruedas y esperando que siga rodando. No funciona bien y da resultados falsos.

2. La Solución: "SURF" (La Prueba de Verdad)

Los autores proponen una nueva herramienta llamada SURF (Fidelidad del Sustituto). Imagina que SURF es un juez muy estricto y sencillo.

En lugar de usar traductores complicados, SURF hace esto:

Toma la explicación simple (ej. "tomate + sal").
Intenta cocinar el plato usando solo esa lista simple, sin trucos ni magia.
Compara el resultado con el plato real del chef.

Si la explicación dice "tomate" pero el plato que SURF cocina sabe a "manzana", ¡SURF grita: "¡Mentira! Esta explicación no es fiel!".

Además, SURF es sencillo: no necesita aprender nada nuevo ni usar computadoras superpotentes para hacer la prueba. Solo usa matemáticas básicas (una línea recta) para ver si la explicación encaja con la realidad.

3. Lo que Descubrieron (La Sorpresa)

Cuando aplicaron esta nueva prueba de SURF a los mejores métodos de explicación actuales (los "campeones" del mundo), descubrieron algo alarmante:

¡La mayoría de los campeones están mintiendo!

Aunque sus explicaciones se ven muy bonitas y parecen tener sentido para los humanos (son "interpretables"), no reflejan lo que el modelo realmente está pensando. Son como un mapa que parece perfecto, pero te lleva al lugar equivocado.

4. ¿Por qué importa esto?

Imagina que usas un modelo de IA para diagnosticar una enfermedad grave.

Si el modelo dice "Tienes gripe" y la explicación dice "Porque tienes fiebre", pero en realidad el modelo se equivocó porque vio una mancha en la foto que no era fiebre... la explicación te está engañando.
Si confías en una explicación que no es fiel, podrías tomar decisiones peligrosas en medicina, finanzas o justicia.

En Resumen

Los autores dicen: "Dejen de usar reglas viejas que permiten trampas. Usen SURF, nuestra nueva regla sencilla y honesta".

Gracias a SURF, ahora podemos saber cuáles explicaciones son verdaderas y cuáles son solo bellezas vacías. Y lo más importante: nos ayuda a elegir cuántos "ingredientes" (conceptos) necesitamos para explicar algo sin abrumar a la gente ni mentirle.

La moraleja: Una explicación bonita no sirve de nada si no cuenta la verdad sobre cómo piensa la máquina. SURF es el detector de mentiras que necesitábamos.

1. El Problema: La Brecha entre Interpretabilidad y Fidelidad

Los modelos de visión profunda (Deep Learning) son altamente precisos pero opacos. Las Métodos de Explicación Basados en Conceptos (CBEMs), y específicamente los no supervisados (U-CBEMs), buscan hacer estos modelos interpretables traduciendo sus cálculos internos a unidades semánticas humanas (conceptos como "rueda", "color", "textura").

El problema central identificado en el artículo es la falta de una evaluación rigurosa de la "fidelidad".

Fidelidad: Una explicación es fiel si refleja fielmente el cálculo interno del modelo para producir una salida.
La Trampa Actual: Los U-CBEMs de última generación (SOTA) parecen ofrecer explicaciones tanto interpretables como fieles. Sin embargo, los autores argumentan que esta "alta fidelidad" reportada es artificial debido a dos fallos en las métricas existentes:
1. Surrogados Excesivamente Complejos: Utilizan modelos sustitutos (surrogates) complejos (no lineales, con muchos parámetros) para reconstruir la salida del modelo. Esto oculta la falta de fidelidad de la explicación real, ya que el "trabajo pesado" lo hace el surrogado, no la explicación de conceptos.
2. Proxies de Eliminación (Deletion-based): Métodos que miden cuánto cae la precisión del modelo al eliminar conceptos. Los autores demuestran que estos métodos son defectuosos porque operan fuera de la variedad de datos (off-manifold), generando comportamientos impredecibles del modelo que no reflejan su lógica real.

2. Metodología Propuesta: SURF (Surrogate Faithfulness)

Para resolver esto, los autores proponen SURF, un marco unificado para medir la fidelidad que se adhiere a principios estrictos de simplicidad y completitud.

A. El Surrogado Lineal Simple

A diferencia de métodos anteriores que intentan reconstruir las representaciones intermedias del modelo (embeddings) de forma no lineal, SURF utiliza un surrogado lineal directo.

Concepto: Asume que la capa final del modelo es una proyección lineal de las representaciones intermedias.
Funcionamiento: El surrogado toma directamente la representación de conceptos ( $P(h)$ ) y los pesos de importancia ( $A$ ) proporcionados por el U-CBEM y los combina linealmente para predecir las logits de salida.
Ventaja: No introduce parámetros aprendibles adicionales ni complejidad computacional innecesaria. Si la explicación no puede predecir la salida con este surrogado simple, no es fiel.

B. Métricas de Error

SURF introduce dos métricas que evalúan el error en todo el espacio de salida, no solo en la clase predicha:

SURFMAE (Mean Absolute Error): Mide el error absoluto medio en el espacio de logits (antes del softmax).
SURFEMD (Earth Mover's Distance): Mide la distancia en el espacio de probabilidades (después del softmax), evaluando la distribución completa de clases.

Esto es crucial porque un método podría acertar la clase principal (Top-1) pero tener una distribución de probabilidades completamente errónea para las otras clases, lo cual SURF detecta.

C. Prueba de Sanidad (Sanity Check)

Los autores proponen una prueba fundamental: la prueba de aleatorización.

Si se aleatorizan los conceptos o sus importancias, la fidelidad de la explicación debería disminuir.
Las métricas anteriores (como las de ICE o C-SHAP) a menudo fallan en esta prueba, reportando alta fidelidad incluso con conceptos aleatorios. SURF es la única que responde correctamente, mostrando una caída drástica en la fidelidad al introducir ruido.

3. Contribuciones Clave

Marco Unificado: Organiza las medidas de fidelidad existentes bajo un marco común, identificando sus limitaciones (complejidad del surrogado, uso de proxies de eliminación).
Propuesta de SURF: Introduce una medida de fidelidad basada en un surrogado lineal simple y métricas de error global que satisfacen los requisitos de simplicidad e integridad.
Benchmark Exhaustivo: Realizan la primera evaluación integral de los U-CBEMs de última generación (CDISCO, ICE, CRAFT, C-SHAP, MCD, HU-MCD, SAE) en múltiples tareas (clasificación de objetos, predicción de atributos, estimación de edad) y arquitecturas (ResNet, MobileNet, ViT).
Criterio de Selección de Conceptos: Utilizan SURF para analizar la compensación (trade-off) entre el número de conceptos y la fidelidad, demostrando que añadir más conceptos no siempre mejora la explicación y permitiendo seleccionar el número óptimo de conceptos de forma automática.

4. Resultados Experimentales

Los resultados son contundentes y revelan que la mayoría de los U-CBEMs actuales no son fieles:

Fallo en la Prueba de Sanidad: Métodos como ICE-Eval y C-SHAP-Eval reportan puntuaciones de fidelidad perfectas o incluso mejoradas cuando se usan conceptos aleatorios, lo que demuestra que sus métricas no miden la fidelidad real.
Baja Fidelidad en U-CBEMs: Al aplicar SURF, se descubre que las explicaciones de los métodos SOTA tienen errores significativos:
- En la tarea de clasificación de objetos, incluso el método más fiel (SAE) tiene un error de distribución (EMD) considerable.
- Métodos como ICE y CRAFT muestran errores altos en el espacio de logits y probabilidades, indicando que no pueden reconstruir la lógica del modelo original.
- MCD y HU-MCD muestran un mejor desempeño al utilizar subespacios conceptuales, pero aún así no alcanzan una fidelidad perfecta.
Causa del Fallo: La falta de fidelidad se debe a que muchos métodos aprenden conceptos específicos por clase (CAVs) solo en imágenes de esa clase. Al intentar reconstruir una imagen de otra clase, el modelo opera "fuera de distribución", generando grandes errores de reconstrucción. Además, muchos métodos no satisfacen criterios de completitud basados en logits.

5. Significado e Impacto

Reevaluación del Estado del Arte: El trabajo desafía la creencia de que los U-CBEMs actuales son explicaciones fiables. Sugiere que muchas explicaciones visualmente atractivas son en realidad ilusorias en cuanto a su correspondencia con el cálculo interno del modelo.
Nuevo Estándar de Evaluación: SURF se establece como un nuevo estándar necesario para cualquier investigación futura en explicaciones basadas en conceptos. Sin una medida de fidelidad rigurosa como SURF, las afirmaciones sobre la calidad de las explicaciones carecen de validez.
Equilibrio Interpretabilidad-Fidelidad: El artículo enfatiza que la interpretabilidad no debe lograrse a costa de la fidelidad. SURF permite a los investigadores cuantificar este equilibrio y seleccionar hiperparámetros (como el número de conceptos) de manera informada en lugar de arbitraria.
Limitaciones y Futuro: Los autores reconocen que SURF se formula para la capa final lineal del modelo. Extender este marco a capas intermedias no lineales es un desafío abierto para trabajos futuros.

En resumen, este artículo proporciona una corrección crítica al campo de la IA explicable (XAI), demostrando que sin métricas de fidelidad rigurosas y simples, las explicaciones basadas en conceptos pueden ser engañosas, y ofrece la herramienta (SURF) necesaria para validarlas correctamente.