Why Does It Look There? Structured Explanations for Image Classification

El artículo presenta I2X, un marco que transforma la interpretabilidad no estructurada en explicaciones estructuradas para revelar el proceso de inferencia de modelos de clasificación de imágenes y, al mismo tiempo, mejorar su precisión mediante la identificación y el ajuste dirigido de prototipos inciertos.

Lo esencial

¡Claro que sí! Imagina que tienes un amigo muy inteligente, pero muy tímido y misterioso. Es un experto en reconocer cosas (como dígitos escritos a mano o fotos de gatos y perros), pero cuando le preguntas: "¿Por qué dijiste que eso es un gato?", él solo te señala la foto y dice: "Porque aquí hay algo que se ve como un gato". No te explica qué es exactamente, ni cómo llegó a esa conclusión.

Ese es el problema de la Inteligencia Artificial (IA) actual: son muy buenos haciendo predicciones, pero son una "caja negra". No sabemos qué pasa dentro de su cabeza.

Los autores de este paper (Jiarui Li y su equipo) han creado una herramienta llamada I2X (Interpretación a Explicación) para abrir esa caja negra y ver el proceso de pensamiento de la IA, paso a paso.

Aquí te lo explico con una analogía sencilla:

1. El problema: El mapa borroso (Interpretación no estructurada)

Imagina que la IA está aprendiendo a reconocer el número 7.

• Lo que hacían antes: Le preguntaban a la IA: "¿Qué miraste para saber que es un 7?". La IA te mostraba un mapa de calor (un dibujo borroso) donde iluminaba ciertas partes de la imagen.
• El problema: Ese mapa es como un borrón de pintura. Te dice "aquí hay algo importante", pero no te dice qué es. ¿Es la línea diagonal? ¿Es el punto de arriba? ¿Es la curva de abajo? Además, a veces la IA se confunde y ilumina cosas que no importan.

2. La solución de I2X: El álbum de recortes organizado (Explicación estructurada)

El equipo de I2X dice: "No basta con mostrar el borrón. Vamos a organizarlo".

Imagina que la IA tiene un cuaderno de recortes (llamado "prototipos"). En lugar de ver la imagen entera, la IA descompone el número 7 en piezas pequeñas y repetitivas, como si fuera un LEGO:

• Pieza A: Una línea diagonal en el centro.
• Pieza B: Un punto en la esquina superior derecha.
• Pieza C: Una línea horizontal en la parte superior.

I2X no solo mira la imagen final, sino que vigila el entrenamiento de la IA como si fuera un entrenador de deportes. Observa cómo la IA aprende a usar estas piezas a lo largo del tiempo:

• Semana 1: La IA aprende a usar la "Pieza A" para distinguir el 7 del 1.
• Semana 2: Aprende a usar la "Pieza B" para distinguirlo del 2.
• Semana 3: Se da cuenta de que a veces la "Pieza C" la confunde con un 9.

3. La gran revelación: "¿Por qué mira ahí?"

I2X responde a la pregunta del título: "¿Por qué mira ahí?".
Gracias a este sistema, podemos ver que la IA no "ve" el número 7 de golpe. Primero aprende a separar los números fáciles (como el 7 del 1), y luego se enfrenta a los difíciles (como el 7 del 9).

Lo más interesante es que I2X puede detectar "Piezas Confusas".

• Ejemplo: Imagina que la IA ve un gato naranja y un perro naranja. Ambas tienen un borde naranja. La IA se confunde porque esa "Pieza Naranja" le sirve para los dos. I2X te dice: "Oye, la IA está usando esa pieza naranja para decidir, y por eso se equivoca".

4. El superpoder: Arreglar la IA (Ajuste fino)

Aquí es donde I2X se vuelve mágico. No solo nos explica el error, nos dice cómo arreglarlo.

Si sabemos que la IA se confunde porque está obsesionada con la "Pieza Naranja" (el borde entre el gato y el perro), podemos hacerle una terapia de choque:

1. Le mostramos fotos de gatos y perros, pero borramos o cambiamos esa parte naranja confusa.
2. La IA se ve obligada a buscar otras pistas (como la forma de la oreja o la cola).
3. Resultado: La IA deja de confundirse, aprende mejor y se vuelve más precisa.

En resumen

Este paper nos dice que la IA no es magia negra. Es un proceso de aprendizaje que podemos rastrear.

• Antes: La IA decía "Creo que es un 7" y nos daba un mapa borroso.
• Con I2X: La IA nos dice: "Primero miré la línea diagonal para descartar el 1, luego miré el punto superior para descartar el 2, pero me confundí con el 9 porque ambos tienen una curva arriba. ¡Vamos a entrenar más con ejemplos donde la curva sea diferente!".

Es como tener un tutor personal para la Inteligencia Artificial que no solo te dice si acertaste, sino que te explica exactamente qué pieza de tu razonamiento falló y cómo corregirla para ser mejor. ¡Y todo esto sin necesidad de que la IA hable, solo observando cómo mueve sus "piezas de LEGO" internas!

Resumen técnico

Resumen Técnico: Interpretability to Explainability (I2X)

1. El Problema

Los modelos de aprendizaje profundo (deep learning) han alcanzado un rendimiento predictivo excepcional en tareas como la clasificación de imágenes, pero su naturaleza de "caja negra" limita la transparencia y la confianza en su aplicación.

• Limitación actual: La mayoría de los métodos existentes de Inteligencia Artificial Explicable (XAI) proporcionan interpretabilidad no estructurada (por ejemplo, mapas de saliencia como GradCAM o conceptos sueltos). Estas herramientas indican dónde mira el modelo, pero no explican cómo organiza esa información para tomar decisiones.
• Falta de fidelidad: Muchos enfoques recientes intentan generar explicaciones estructuradas utilizando modelos auxiliares (como GPT o CLIP) para describir el comportamiento del modelo principal. Esto compromete la fidelidad, ya que las explicaciones no son intrínsecas al modelo original y pueden generar alucinaciones.
• La pregunta clave: ¿Por qué el modelo se enfoca en ciertas regiones de la imagen y cómo organiza esas regiones para el aprendizaje y la inferencia?

2. Metodología: El Marco I2X

Los autores proponen Interpretability to Explainability (I2X), un marco que transforma interpretaciones no estructuradas en explicaciones estructuradas directamente desde el modelo, sin depender de modelos auxiliares externos. El proceso se basa en rastrear la evolución del modelo durante el entrenamiento.

Pasos principales del algoritmo:

1. Extracción de Interpretaciones No Estructuradas:
   • Se utilizan métodos post-hoc (como GradCAM) para generar mapas de saliencia ($I$) en diferentes puntos de control (checkpoints) durante el entrenamiento.
2. Construcción de Prototipos Abstractos:
   • Se extraen los vectores de características latentes ($F$) de la red.
   • Se aplica PCA (Análisis de Componentes Principales) seguido de K-Means para agrupar estos vectores en $K$ centroides. Estos centroides actúan como prototipos abstractos que representan patrones recurrentes en los datos (ej. una línea diagonal, un punto).
3. Intensidad de Prototipos:
   • Para cada muestra de entrada, se calcula la intensidad de prototipo ($P^t$) en cada checkpoint $t$. Esto cuantifica qué tan fuerte es la activación de cada prototipo abstracto en la imagen, basándose en el mapa de saliencia.
4. Rastreo de la Confianza del Modelo:
   • Se analiza el cambio en la confianza del modelo ($\Delta \hat{y}$) entre checkpoints consecutivos.
   • Se utiliza HDBSCAN para agrupar muestras que muestran patrones similares de cambio en la confianza.
5. Mapeo Estructurado (Regresión):
   • Se establece una relación matemática entre el cambio en la intensidad de los prototipos y el cambio en la confianza de la clase.
   • Se utiliza regresión Ridge para calcular coeficientes ($\beta$) que cuantifican cómo un cambio en un prototipo específico impulsa un cambio en la confianza de una clase.
6. Ensamblaje de Explicaciones:
   • Se identifican prototipos compartidos (comunes a todas las muestras de una clase) y prototipos especializados (específicos de subgrupos).
   • Se detectan prototipos inciertos: aquellos cuya contribución oscila entre clases competidoras, causando confusión.

3. Contribuciones Clave

• De Interpretación a Explicación: Propone una metodología formal para convertir mapas de saliencia (interpretabilidad) en explicaciones causales estructuradas sobre la toma de decisiones del modelo.
• Fidelidad Intrínseca: A diferencia de los métodos que usan LLMs para describir imágenes, I2X deriva las explicaciones directamente de la dinámica interna del modelo de clasificación.
• Análisis de la Evolución del Entrenamiento: Permite visualizar cómo el modelo aprende a distinguir clases paso a paso, resolviendo primero casos obvios y luego los ambiguos.
• Optimización Guiada por Explicaciones: Demuestra que las explicaciones estructuradas pueden usarse para mejorar el rendimiento del modelo mediante la identificación y perturbación de muestras con prototipos inciertos.

4. Resultados Experimentales

Los experimentos se realizaron en MNIST y CIFAR-10 utilizando arquitecturas como ResNet-50 e InceptionV3.

• Visualización del Aprendizaje (MNIST - Dígito 7):
  • I2X reveló que el modelo primero separa el dígito 7 de los dígitos 2 y 6 utilizando prototipos específicos (ej. una línea diagonal inferior).
  • Posteriormente, aborda casos más ambiguos (como el 1 o el 9) una vez que se han establecido evidencias claras.
• Impacto del Orden de los Datos:
  • Se demostró que el orden aleatorio de los datos de entrenamiento afecta la estrategia de inferencia. Dos entrenamientos con diferentes órdenes de datos seleccionaron secuencias de prototipos distintas, lo que llevó a diferentes niveles de confusión entre clases (ej. 7 vs 2).
• Mejora del Rendimiento mediante Fine-Tuning:
  • Identificación de Incertidumbre: I2X identificó un prototipo incierto (P-17 en MNIST) que confundía al modelo entre los dígitos 2 y 7.
  • Estrategia de Perturbación: Se creó un conjunto de datos curado eliminando muestras que activaban este prototipo incierto.
  • Resultados: El ajuste fino (fine-tuning) en este conjunto curado redujo significativamente la confusión entre clases (de 14.80 a 9.80 errores en MNIST) y mejoró la precisión general (98.64%).
  • En CIFAR-10, el método identificó un prototipo (P-72) relacionado con bordes entre regiones negras y naranjas que confundía a gatos y perros. Eliminar estas muestras mejoró la precisión del 81.43% al 84.02%.

5. Significado e Impacto

El marco I2X representa un avance significativo en la XAI al proporcionar no solo una "razón" visual, sino una narrativa estructurada de cómo un modelo construye su conocimiento.

• Transparencia Operativa: Permite a los investigadores entender la lógica interna de la red, identificando qué características visuales (prototipos) son críticas y cuáles son fuentes de error.
• Herramienta de Optimización: Transforma la explicabilidad en una herramienta práctica para el entrenamiento. Al identificar por qué un modelo falla (prototipos inciertos), los ingenieros pueden diseñar estrategias de datos específicas (como la eliminación o perturbación selectiva) para corregir esos fallos sin necesidad de reentrenar desde cero con grandes cantidades de datos.
• Generalización: La capacidad de aplicar este marco a diferentes arquitecturas (CNNs, Inception) y dominios (dígitos, objetos naturales) sugiere que es un método robusto y escalable para el análisis de modelos de visión por computadora.

En conclusión, I2X cierra la brecha entre la interpretabilidad visual y la explicabilidad lógica, ofreciendo un camino para hacer que los modelos de IA no solo sean precisos, sino también comprensibles y optimizables de manera dirigida.