Caption-Driven Explainability: Probing CNNs for Bias via CLIP

Este artículo propone un nuevo método de IA explicable basado en subtítulos que integra modelos de visión independientes en CLIP mediante cirugía de red para identificar conceptos dominantes y mitigar sesgos, mejorando así la robustez de los modelos de aprendizaje automático.

Lo esencial

¡Claro que sí! Imagina que este artículo es como una historia sobre un detective muy inteligente que ayuda a entender cómo piensan las máquinas. Aquí te lo explico de forma sencilla, usando analogías de la vida diaria.

🕵️‍♂️ El Problema: El "Estudiante Tramposo"

Imagina que tienes un estudiante muy listo (una Inteligencia Artificial) que está aprendiendo a reconocer números escritos a mano.

• La trampa: En el libro de texto que usa para estudiar, todos los números 5 están pintados de rojo y todos los 8 están pintados de verde.
• El resultado: Cuando le das un examen, el estudiante no mira la forma del número (si tiene curvas o líneas rectas). ¡Simplemente mira el color! Si ve rojo, dice "¡Es un 5!". Si ve verde, dice "¡Es un 8!".
• El peligro: Si en el mundo real te encuentras un 5 negro o un 8 azul, el estudiante se equivoca porque su "cerebro" está viciado. En medicina o en coches autónomos, este tipo de error podría ser muy grave.

El problema es que las herramientas actuales para ver qué está mirando la máquina (llamadas "mapas de atención") a veces son confusas. Es como si te dijeran: "Mira, el estudiante está mirando la parte roja de la imagen", pero no te dicen si está mirando el color o la forma.

🔧 La Solución: La "Cirugía de Redes" y el Traductor Mágico

Los autores proponen una nueva herramienta llamada XAI basado en subtítulos (Caption-Driven Explainability). Para entenderla, imagina dos personajes:

1. El Estudiante Tramposo: La red neuronal que queremos analizar (el que mira solo los colores).
2. CLIP (El Traductor Mágico): Una super-inteligencia que ya sabe perfectamente cómo relacionar imágenes con palabras. CLIP sabe que una "manzana" es roja y redonda, y que un "elefante" es gris y grande.

La Cirugía de Redes (Network Surgery):
En lugar de intentar adivinar qué piensa el estudiante, los autores hacen una operación quirúrgica.

• Imagina que el cerebro del "Estudiante Tramposo" tiene miles de neuronas activas.
• Los autores toman las neuronas más importantes del estudiante y las cambian por las neuronas equivalentes de CLIP.
• Es como si le dieras al estudiante un "cerebro prestado" de un genio que sabe hablar y describir cosas, pero que mantiene la capacidad de ver del estudiante.

🗣️ ¿Cómo funciona la magia? (Los Subtítulos)

Una vez que han hecho la cirugía, tienen un nuevo modelo híbrido. Ahora, en lugar de solo decirte "es un 5", le preguntan al modelo con frases escritas (subtítulos):

• Le muestran la imagen y le preguntan: "¿Qué es esto? ¿Es un número rojo?" o "¿Es un número con forma de 5?".
• El modelo responde con un puntaje de confianza.

El resultado de la prueba:

• Si le muestras un 5 rojo, el modelo dice: "¡Estoy 100% seguro de que es ROJO!" y apenas le importa la forma.
• ¡Bingo! Ahora sabemos que el estudiante es tramposo y solo mira el color.

🛠️ ¿Cómo arreglamos el problema?

Una vez que el detective (nuestra herramienta) nos dice: "Oye, tu modelo está obsesionado con el color y no con la forma", podemos arreglarlo:

1. Limpieza: Convertimos todas las imágenes a blanco y negro (quitamos el color).
2. Re-entrenamiento: Le enseñamos al modelo de nuevo. Ahora, al no tener color, se ve obligado a aprender la forma del número.
3. Verificación: Volvemos a usar la "cirugía" y los subtítulos. Ahora, cuando le preguntamos "¿Es rojo?", el modelo dice "No sé, no hay color". Pero si le preguntamos "¿Es un 5?", dice "¡Sí, definitivamente!".

💡 La Gran Lección

Antes de poner una Inteligencia Artificial en el mundo real (como en un hospital o en un coche), esta herramienta nos permite hacer una prueba de realidad.

• Sin esta herramienta: Podríamos lanzar un modelo que funciona perfecto en el laboratorio pero falla estrepitosamente en la vida real porque aprendió trucos falsos (como mirar solo el color).
• Con esta herramienta: Podemos decir: "¡Espera! Este modelo está mirando las cosas equivocadas. Vamos a corregirlo antes de que cause problemas".

En resumen:
Este papel nos enseña que, para que las máquinas sean inteligentes de verdad, no basta con que acierten la respuesta; necesitamos saber por qué aciertan. Usando una "cirugía" para conectar la máquina con un experto en lenguaje, podemos descubrir si la máquina es un genio o solo un tramposo que adivina por colores.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Caption-Driven Explainability: Probing CNNs for Bias via CLIP" en español, estructurado según los puntos solicitados:

1. El Problema

La robustez de los modelos de aprendizaje automático (ML) es un desafío crítico. Un problema fundamental es el desplazamiento de covariables (covariate shift), donde la distribución de los datos utilizados durante el desarrollo (entrenamiento/validación) difiere de la distribución de los datos en el mundo real tras la implementación.

• Limitaciones de los métodos actuales: Las técnicas existentes de Inteligencia Artificial Explicable (XAI), como los mapas de saliencia (Saliency Maps, Grad-CAM, etc.), destacan las regiones de píxeles que más excitan al modelo. Sin embargo, estos métodos pueden ser engañosos cuando existen características espurias y salientes en espacios de píxeles superpuestos. En tales casos, el modelo podría basar sus predicciones en correlaciones falsas (sesgos) en lugar de conceptos semánticos reales, lo que lleva a fallos en entornos críticos como la medicina.
• Objetivo: Necesidad de identificar el concepto dominante que impulsa la predicción de un modelo independiente (standalone) para detectar sesgos antes de su despliegue.

2. Metodología Propuesta

Los autores proponen un método de XAI basado en descripciones textuales (captions) que integra un modelo independiente dentro del modelo CLIP (Contrastive Language-Image Pre-training) mediante una técnica novedosa de cirugía de red (network surgery).

Arquitectura y Proceso:

1. Integración de Modelos:

   • Se toma un modelo independiente (en el experimento, un ResNet-50 pre-entrenado en ImageNet y ajustado para MNIST) y se integra en el codificador de imágenes de CLIP (basado en ResNet-52 modificado).
   • El objetivo es transferir las propiedades del modelo independiente al espacio de conceptos de CLIP, manteniendo la capacidad de CLIP para alinear imágenes con texto.

2. Cirugía de Red (Network Surgery):

   • Dado que los modelos tienen diferentes arquitecturas (ResNet-50 vs. ResNet-52), no se pueden reemplazar todas las capas.
   • Se seleccionan las últimas capas convolucionales de las etapas 2, 3, 4 y 5 del codificador de CLIP para ser reemplazadas. La primera etapa se deja intacta porque captura conceptos de bajo nivel similares en ambos modelos.
   • Se reemplazan un total de 3840 mapas de activación de CLIP con mapas seleccionados de las 22,720 disponibles en el modelo independiente.

3. Emparejamiento de Activaciones (Activation Matching):

   • Para seleccionar qué mapas de activación intercambiar, se utiliza un proceso estadístico:
     • Se calculan las estadísticas (media y desviación estándar) de los mapas de activación de ambos modelos.
     • Se normalizan los mapas de activación para que tengan la misma escala y tamaño (mediante interpolación bilineal y escalado estándar).
     • Se calcula el coeficiente de correlación entre cada mapa del modelo independiente y cada mapa de CLIP.
   • Se seleccionan los pares con la mayor correlación para realizar el intercambio, maximizando la transferencia de información mientras se preserva el espacio de conceptos de CLIP.

4. Detección de Sesgo mediante Captions:

   • Una vez realizada la cirugía, el modelo híbrido (ahora parte de CLIP) se evalúa utilizando descripciones textuales (captions) que representan conceptos dominantes (ej. "un dígito rojo", "un dígito verde", "forma de cinco", "forma de ocho").
   • Se mide la similitud coseno entre la imagen procesada y las incrustaciones (embeddings) de texto.
   • Si las puntuaciones de similitud son más altas para descripciones de color que para descripciones de forma, se concluye que el modelo original está sesgado hacia el color.

3. Contribuciones Clave

• Método de XAI Basado en Texto: Introducen una nueva metodología que utiliza el lenguaje natural para explicar decisiones de modelos de visión por computadora, superando las limitaciones de los mapas de saliencia en espacios de píxeles superpuestos.
• Cirugía de Red para Integración Multimodal: Desarrollan un procedimiento técnico para inyectar las capas de un modelo arbitrario dentro de la arquitectura de CLIP, permitiendo que CLIP "explique" el comportamiento interno de modelos que no fueron entrenados originalmente con texto.
• Detección de Sesgos de Covariables: Proporcionan una herramienta para identificar si un modelo depende de características espurias (como el color) en lugar de características semánticas robustas (como la forma) antes de su implementación en el mundo real.
• Validación en Escenarios de Alto Riesgo: Demuestran la utilidad del método en contextos donde la robustez es vital, sugiriendo su aplicación en medicina para validar o refutar suposiciones previas de los expertos.

4. Resultados

El método se probó utilizando un conjunto de datos MNIST coloreado con un sesgo intencional:

• Configuración: En los datos de entrenamiento, todos los dígitos "5" eran rojos y todos los "8" eran verdes. En el conjunto de datos de prueba (mundo real), los colores eran aleatorios.
• Hallazgo del Modelo Sesgado: El modelo ResNet-50 independiente aprendió a clasificar basándose en el color en lugar de en la forma.
  • Al aplicar la cirugía de red y probar con captions, el modelo híbrido mostró una alta similitud coseno con las descripciones de color ("rojo", "verde") y baja con las de forma.
  • Esto confirmó que el concepto dominante era el color, revelando el sesgo que los mapas de saliencia tradicionales podrían haber pasado por alto o interpretado erróneamente.
• Validación del Modelo Desviado (De-biased):
  • Se entrenó un nuevo modelo usando imágenes en escala de grises (eliminando la información de color).
  • Al aplicar la misma cirugía de red, el modelo híbrido mostró un cambio drástico: el concepto dominante pasó a ser la forma.
  • Esto demostró que el método no solo detecta el sesgo, sino que también puede verificar la efectividad de las correcciones (como convertir a escala de grises) para hacer el modelo robusto.

5. Significado e Impacto

• Superioridad sobre Mapas de Saliencia: El trabajo demuestra que el enfoque basado en captions es superior a los mapas de saliencia cuando las características espurias y salientes se superponen en el espacio de píxeles, ya que permite una interpretación semántica de alto nivel en lugar de solo visual.
• Herramienta de Pre-despliegue: Los autores argumentan que este método no debe verse solo como una herramienta de depuración, sino como un requisito previo necesario antes de desplegar cualquier modelo de redes neuronales convolucionales en aplicaciones de visión por computadora.
• Robustez en IA: Al identificar y eliminar conceptos dominantes no deseados (como el color en un problema de forma), se mejora significativamente la capacidad del modelo para generalizar en situaciones de desplazamiento de covariables, reduciendo el riesgo de fallos catastróficos en entornos reales.

En resumen, el artículo presenta un marco innovador que utiliza la potencia multimodal de CLIP y técnicas de ingeniería de redes para "interrogar" a los modelos de visión, revelando sus verdaderas dependencias conceptuales y garantizando así una mayor robustez y seguridad.