🤖 AI

Causal Explanations for Image Classifiers

Este artículo presenta ReX, un nuevo marco de caja negra basado en la teoría de la causalidad real formal que computa explicaciones eficientes, mínimas y de alta calidad para clasificadores de imágenes, superando a las herramientas actuales del estado del arte tanto en velocidad como en tamaño de la explicación.

Autores originales: Hana Chockler, David A. Kelly, Daniel Kroening, Youcheng Sun

Publicado 2026-07-03

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Hana Chockler, David A. Kelly, Daniel Kroening, Youcheng Sun

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un robot muy inteligente, pero reservado, que mira una imagen y dice: "¡Eso es una mariquita!". Tú preguntas: "¿Por qué?". El robot no puede decírtelo porque es una "caja negra" —sus engranajes y cables internos están ocultos, e incluso las personas que lo construyeron no comprenden del todo cómo toma sus decisiones.

Este artículo presenta una nueva forma de hacer esa pregunta "¿Por qué?" y obtener una respuesta clara y honesta sin necesidad de abrir el capó del robot. Los autores llaman a su método rex.

Aquí tienes el desglose de cómo funciona, utilizando analogías sencillas:

1. El Probleza: El "Mapa de Calor" frente a la "Verdad"

La mayoría de las herramientas actuales intentan explicar la decisión del robot dibujando un "mapa de calor" sobre la imagen. Colorean las partes de la imagen que consideran importantes en rojo y las partes no importantes en azul.

El Defecto: Estos mapas de calor suelen ser difusos. Pueden resaltar toda la mariquita, pero también la hierba, el cielo y una hoja aleatoria cercana. Es como un detective señalando la escena de un crimen y diciendo: "El culpable estuvo en algún lugar de todo este vecindario". No es muy útil si quieres saber exactamente quién lo hizo.

2. La Solución: La Prueba del "Ingrediente Mínimo"

Los autores, liderados por Hana Chockler y sus colegas, decidieron utilizar un concepto de la lógica llamado causalidad. En lugar de adivinar qué es importante, hacen una pregunta simple: "¿Cuál es la cantidad absoluta mínima de esta imagen que necesito conservar para seguir obteniendo la misma respuesta?"

Piénsalo como una receta:

Si estás horneando un pastel y el robot dice: "Este es un pastel de chocolate", un mapa de calor podría decir: "La harina, el azúcar, los huevos y el bol son todos importantes".
El método rex es como un chef que dice: "En realidad, si quito el bol, el pastel sigue siendo un pastel. Si quito el azúcar, no lo es. Si quito la harina, no lo es. Pero si mantengo solo la harina, el azúcar y los huevos, y tiro todo lo demás, sigue siendo un pastel de chocolate".

rex encuentra el grupo más pequeño posible de píxeles (los "ingredientes") que son estrictamente necesarios para que el robot diga "Mariquita". Si cubres todo lo demás, el robot sigue viendo una mariquita.

3. Cómo Funciona: El "Detective con los Ojos Vendados"

Dado que el robot es una caja negra, rex no puede mirar en su interior. En su lugar, juega un juego de "cubrir y descubrir":

La Partición: Corta la imagen en cuatro trozos aleatorios (como rebanar una pizza).
La Prueba: Cubre diferentes combinaciones de estos trozos y le pregunta al robot: "¿Sigue siendo una mariquita?".
El Refinamiento: Si el robot dice "Sí" incluso cuando un trozo está cubierto, ese trozo no era importante. Si el robot dice "No" cuando un trozo está cubierto, ese trozo es vital.
La Iteración: Sigue cortando los trozos "vitales" en piezas cada vez más pequeñas, una y otra vez, hasta que encuentra los píxeles más diminutos que importan.
El Promedio: Para asegurarse de que no tuvo suerte con una forma específica de cortar la pizza, repite este proceso muchas veces con diferentes cortes y promedia los resultados.

4. Los Resultados: Más Pequeños, Más Precisos y Más Rápidos

Los autores probaron rex frente a otras herramientas populares (como Grad-CAM, LIME y SHAP) utilizando miles de imágenes. Esto es lo que encontraron:

Explicaciones Diminutas: rex produce explicaciones que son increíblemente pequeñas. En muchos casos, la "explicación" cubre menos del 5% de la imagen. Otras herramientas suelen resaltar del 10% al 50% de la imagen, incluyendo mucho "ruido" (fondo irrelevante).
Precisión: Debido a que rex solo resalta lo que es estrictamente necesario, evita señalar cosas irrelevantes. Por ejemplo, si una foto de un autobús tiene a una persona de pie delante de él, rex ignora correctamente a la persona y se centra solo en las partes del autobús que demuestran que es un autobús.
Velocidad: Aunque realiza muchas pruebas, es sorprendentemente rápido. Es la herramienta de "caja negra" más eficiente probada, superando a menudo a las herramientas que tienen permitido echar un vistazo al cerebro del robot (herramientas de "caja blanca").

5. Un Giro sobre la "Eliminación"

El artículo también desafía una forma común de medir la calidad llamada "curva de eliminación".

La Forma Antigua: La gente pensaba que una buena explicación debería hacer que la confianza del robot cayera rápido si se empiezan a eliminar los píxeles resaltados.
La Nueva Perspectiva: Los autores argumentan que esto es engañoso. A veces, una imagen tiene múltiples razones para una clasificación (por ejemplo, una foto de una estrella de mar puede ser reconocida por su brazo izquierdo O por su brazo derecho). Si eliminas el brazo izquierdo, el robot todavía ve el brazo derecho y mantiene la confianza.
La Analogía: Imagina un sistema de seguridad que se abre si tienes una llave O una huella dactilar. Si quitas la llave, el sistema sigue abriéndose debido a la huella dactilar. Una puntuación de eliminación "mala" no significa que la explicación sea errónea; significa que el sistema encontró múltiples razones válidas. rex es lo suficientemente inteligente como para encontrar todas estas diferentes "llaves", mientras que otras herramientas suelen encontrar solo una.

Resumen

El artículo presenta rex, una herramienta que trata a un clasificador de imágenes de IA como un misterio que debe resolverse por eliminación. En lugar de adivinar qué ve la IA, cubre sistemáticamente partes de la imagen hasta que encuentra la "huella digital" diminuta y esencial que demuestra la decisión de la IA. El resultado es una explicación que es más pequeña, más precisa y más fiable que cualquier otro método de caja negra disponible actualmente.

Resumen Técnico: Explicaciones Causales para Clasificadores de Imágenes

Planteamiento del Problema
Las redes neuronales (NN) funcionan como "cajas negras" complejas y no lineales, lo que dificulta rastrear cómo se interpreta la información de los píxeles para producir una clasificación. Esta opacidad es particularmente problemática en sistemas propietarios (por ejemplo, en el sector salud) donde las capas internas son inaccesibles. Las técnicas existentes de IA explicable (XAI) para clasificadores de imágenes suelen depender de clasificaciones de píxeles o mapas de calor derivados de gradientes, propagación o perturbación. Sin embargo, estos métodos carecen de un enfoque basado en principios derivados de definiciones formales de causa y explicación. Además, las herramientas existentes suelen producir explicaciones que son grandes, contienen información extraña o dependen de segmentaciones iniciales arbitrarias (como LIME) u oclusiones aleatorias no guiadas (como RISE). El artículo aborda la necesidad de una definición formal y rigurosa de explicación adecuada para clasificadores de imágenes y un método eficiente para computarla sin abrir la caja negra del modelo.

Metodología
Los autores proponen un nuevo enfoque de caja negra basado en la teoría de la causalidad actual, específicamente adaptando las definiciones de Halpern [2019] a la clasificación de imágenes.

Definición Formal: El artículo define una explicación como un subconjunto mínimo de píxeles con sus valores originales que es suficiente para obtener la misma clasificación que la imagen original, siempre que todos los demás píxeles sean enmascarados (reemplazados con datos de un conjunto de datos predefinido). El clasificador de imágenes se modela como un modelo causal de profundidad 2 donde los píxeles de entrada son variables exógenas y la clasificación es la salida.
Intratabilidad: Los autores demuestran que computar la explicación mínima precisa es intratable (exponencial en el número de píxeles). En consecuencia, proponen un algoritmo de aproximación.
El algoritmo rex: La herramienta propuesta, rex, computa aproximaciones de explicaciones a través de dos etapas principales:
- Clasificación Causal: El algoritmo particiona la imagen en "superpíxeles" rectilíneos (inicialmente 4). Calcula el "grado de responsabilidad suficiente" para cada superpíxel probando combinaciones de regiones enmascaradas/no enmascaradas contra el modelo. Este proceso es iterativo: los superpíxeles de alta responsabilidad se subdividen recursivamente y se vuelven a evaluar. Para mitigar el sesgo de cualquier partición única, el algoritmo se ejecuta varias veces con particiones iniciales aleatorias, promediando las puntuaciones de responsabilidad resultantes para crear una clasificación a nivel de píxel.
- Extracción de la Explicación: Utilizando la lista clasificada de píxeles, un algoritmo voraz (greedy) construye la explicación. Añade píxeles de la lista con mayor rango a un conjunto vacío hasta que la salida del modelo en este subconjunto coincida con la clasificación original.
Complejidad: Los autores demuestran que el algoritmo termina y demuestran que el número de llamadas al modelo es lineal en el tamaño de la imagen ( $O(2^s n N)$ , donde $s$ es el tamaño de la partición, $n$ es el número de píxeles y $N$ es el número de iteraciones), lo que lo hace computacionalmente factible.

Contribuciones Clave

Marco Formal: El artículo establece una definición formal de explicación para clasificadores de imágenes basada en la causalidad actual, distinguiéndola de las medidas de importancia heurísticas o basadas en gradientes.
Algoritmo y Herramienta (rex): Introduce un algoritmo de caja negra eficiente para computar aproximaciones de explicaciones mínimas e implementa una herramienta de código abierto.
Garantías Teóricas: Los autores proporcionan demostraciones para la terminación y la complejidad de su algoritmo, así como una discusión sobre la relación de aproximación respecto a la definición precisa.
Métricas de Calidad: El artículo evalúa críticamente las métricas estándar de XAI, argumentando que mientras las curvas de inserción y el tamaño de la explicación son robustos, las curvas de eliminación pueden ser engañosas para modelos con múltiples explicaciones válidas (ya que un alto AUC de eliminación puede resultar de múltiples regiones explicativas distintas en lugar de una mala calidad).

Resultados Experimentales
Los autores evaluaron rex frente a herramientas de caja blanca (ej. Grad-CAM, LRP), caja gris (ej. Integrated Gradients, GradientSHAP) y caja negra (ej. LIME, RISE, KernelSHAP) a través de cuatro conjuntos de datos (ImageNet-1k-mini, VOC2012, ECSSD y un conjunto de datos personalizado de "Photobombing") y tres modelos (ResNet50, ViT, ConvNext).

Tamaño de la Explicación: rex produjo consistentemente las explicaciones más pequeñas, promediando entre el 3% y el 5% del tamaño de la imagen. Esto es significativamente más pequeño que otras herramientas de caja negra y a menudo supera a los métodos de caja blanca como Grad-CAM.
Eficiencia: rex es la herramienta de caja negra más eficiente, con tiempos de ejecución comparables a otros métodos basados en perturbación (aprox. 4–6 segundos incluyendo la extracción) y significativamente más rápido que RISE.
Medidas de Calidad:
- Curvas de Inserción: rex logró el mayor Área Bajo la Curva (AUC) para la inserción, indicando que sus píxeles identificados son altamente efectivos para restaurar la confianza de la clasificación.
- Solapamiento de Segmentación: En conjuntos de datos con segmentación proporcionada por humanos, las explicaciones de rex mostraron un alto solapamiento con el objeto relevante y un solapamiento mínimo con el fondo irrelevante o las oclusiones.
- Curvas de Eliminación: Los autores señalan que rex a menudo tiene un AUC de eliminación más alto que algunos competidores. Argumentan que esto no es un fallo sino una característica: rex identifica múltiples regiones explicativas distintas (por ejemplo, múltiples partes de un objeto), y eliminar píxeles de una región no destruye inmediatamente la señal de las otras, a diferencia de las herramientas que identifican una única región difusa.

Significancia y Reivindicaciones
El artículo afirma que rex representa un avance significativo en la XAI de caja negra al proporcionar explicaciones que no solo son computacionalmente eficientes, sino también teóricamente fundamentadas en la causalidad. Los autores aseguran que rex produce las explicaciones más pequeñas y precisas entre las herramientas de caja negra, superando a menudo a los métodos de caja blanca en términos de tamaño de explicación y concentración.

Crucialmente, el artículo argumenta que el pequeño tamaño de las explicaciones de rex (a menudo <5% de la imagen) implica que una reducción adicional no es útil, ya que los píxeles identificados son suficientes para la clasificación. Los autores también destacan que su enfoque no depende de la segmentación previa de la imagen, lo que lo hace robusto en diferentes conjuntos de datos y arquitecturas de modelos donde las máscaras de segmentación pueden no estar disponibles o ser inexactas. El trabajo demuestra que los métodos de caja negra pueden lograr una calidad de explicación comparable, o mejor, que los métodos de caja blanca cuando se guían por definiciones causales formales.