On the Explainability of Vision-Language Models in Art History

Este artículo examina cómo los métodos de Inteligencia Artificial Explicable pueden hacer legible el razonamiento visual de modelos como CLIP en contextos de historia del arte, revelando que su eficacia depende de la estabilidad conceptual y la disponibilidad representativa de las categorías analizadas.

Lo esencial

Imagina que tienes un super-robot llamado CLIP. Este robot ha visto millones de fotos y leído millones de textos en internet. Es tan inteligente que puede mirar un cuadro antiguo y decirte: "¡Ah! Esto es una 'serpiente' o esto es un 'santo'".

Pero aquí está el problema: el robot es un misterio. Nadie sabe exactamente cómo llega a esas conclusiones. Es como si el robot dijera la respuesta correcta, pero se negara a mostrarte el examen con los cálculos. En el mundo del arte, esto es peligroso porque el arte no es solo "ver una cosa", sino entender su historia, sus símbolos y su significado profundo.

Esta investigación es como una auditoría de detectives para ver si podemos entender qué está "pensando" realmente este robot cuando mira arte.

Aquí tienes la explicación sencilla, paso a paso:

1. El Gran Problema: ¿Ve el robot o solo adivina?

Los expertos en historia del arte saben que un cuadro no es solo una imagen; es un lenguaje. Una "serpiente" en un cuadro bíblico no es solo un reptil; es el diablo, la tentación, etc.
El robot CLIP ha aprendido de internet, que está lleno de basura, estereotipos y fotos aleatorias. Por eso, cuando le preguntas por un concepto artístico complejo, el robot podría estar "alucinando" o basándose en prejuicios, no en la verdad histórica.

La analogía: Imagina que le pides a un turista que nunca ha visitado Roma que dibuje el Coliseo basándose solo en fotos de Instagram. Podría dibujar algo parecido, pero le faltaría la estructura real. Nosotros queríamos saber: ¿Podemos ver los "ojos" del robot para saber en qué parte del dibujo está mirando realmente?

2. La Prueba: Los 7 Detectives (Métodos de Explicación)

Para ver qué piensa el robot, los investigadores probaron 7 herramientas diferentes (llamadas métodos de IA explicable). Estas herramientas intentan dibujar un "mapa de calor" sobre la imagen, iluminando en rojo las zonas donde el robot está prestando atención.

• Algunas herramientas son como linternas que siguen las "señales eléctricas" del cerebro del robot (métodos basados en gradientes).
• Otras son como alguien que tapa partes de la foto con un pañuelo para ver si el robot deja de reconocer el objeto (métodos basados en puntuación).
• Una nueva herramienta (llamada CLIP Surgery) es como una cirugía de precisión diseñada específicamente para este robot.

3. Los Resultados: ¿Quién es el mejor?

Los investigadores probaron estas herramientas en dos tipos de pruebas:

• Prueba de Matemáticas (Precisión): Pusieron el robot a buscar objetos específicos (como "San Sebastián" o "una jarra") en miles de cuadros.

  • El ganador: La herramienta llamada CLIP Surgery fue la mejor. Fue como el detective más preciso, encontrando los objetos correctos casi siempre.
  • El segundo lugar: Una herramienta llamada LeGrad también funcionó muy bien.
  • Los perdedores: Las herramientas más antiguas y comunes fallaron mucho, especialmente cuando los objetos eran pequeños o muy simbólicos.

• Prueba Humana (¿Qué piensan los expertos?): Invitaron a estudiantes y expertos en arte a mirar los mapas de calor y decir: "¿Esto coincide con lo que tú ves?".

  • El hallazgo: Los humanos coincidieron más con CLIP Surgery y LeGrad. Cuando el objeto era claro (como un "puente" o una "serpiente"), todos estaban de acuerdo.
  • El problema: Cuando el concepto era abstracto (como "lujuria" o "dolor"), los humanos y el robot no se ponían de acuerdo. El mapa de calor se volvía borroso, como si el robot no supiera exactamente dónde buscar el "sentimiento".

4. La Lección Importante: El mapa no es el territorio

El descubrimiento más profundo de este estudio es una advertencia: Ver un mapa de calor no significa entender al robot.

• La metáfora del espejo: Cuando el robot ilumina una parte del cuadro, no nos está mostrando su "alma" o su comprensión histórica. Solo nos está mostrando dónde hay más "píxeles similares" en su memoria.
• El límite: Si el concepto es muy complejo (como la diferencia entre tres vírgenes llorando en un cuadro), el robot se pierde. No es que la herramienta de explicación sea mala; es que el robot no tiene esa información en su cerebro.

Conclusión: ¿Para qué sirve todo esto?

Este estudio nos dice que:

1. Sí podemos ver qué mira el robot, pero solo hasta cierto punto.
2. Las herramientas modernas (como CLIP Surgery) son mucho mejores que las viejas.
3. Cuidado con la confianza: Que el robot ilumine una zona no significa que haya entendido la historia del arte. A veces, solo está adivinando basándose en patrones visuales simples.

En resumen: La Inteligencia Artificial es como un asistente muy rápido que ha leído mucho, pero no siempre entiende el contexto. Las herramientas de explicación son como unas gafas que nos permiten ver qué está mirando, pero nosotros, los humanos, seguimos siendo necesarios para interpretar el significado real de lo que el robot ve. No podemos dejar que el robot escriba la historia del arte por nosotros; solo podemos usarlo como una herramienta más, con sus ojos abiertos pero nuestra mente guiando la interpretación.

Resumen técnico

A continuación presento un resumen técnico detallado del artículo "On the Explainability of Vision–Language Models in Art History" (Sobre la explicabilidad de los modelos visión-lenguaje en historia del arte), traducido y sintetizado al español.

1. Problema y Contexto

Los Modelos Visión-Lenguaje (VLM), como CLIP (Contrastive Language–Image Pre-training), han revolucionado el análisis multimodal al alinear datos visuales y textuales en un espacio de incrustación compartido. Sin embargo, su aplicación en historia del arte plantea desafíos críticos:

• Opacidad Epistémica: Los VLMs se entrenan con datos masivos de la web (ej. LAION-400M) que contienen sesgos estructurales y carecen de la profundidad semántica, histórica y cultural necesaria para la interpretación artística.
• La Pregunta Central: ¿Qué significa que un modelo "vea" una obra de arte? ¿Pueden los métodos de Inteligencia Artificial Explicable (XAI) hacer legible la lógica visual de CLIP para intérpretes humanos en contextos artísticos, o simplemente "estetizan" su opacidad?
• El Vacío: Existe una falta de comprensión sobre qué conceptos visuales (formales, iconográficos o afectivos) están realmente codificados en las incrustaciones de CLIP cuando se aplican zero-shot (sin ajuste fino) a obras de arte complejas.

2. Metodología

El estudio adopta un marco de evaluación de dos etapas para analizar siete métodos de XAI, categorizados en tres paradigmas:

1. Métodos basados en gradientes: Grad-CAM, Grad-CAM++, LayerCAM, LeGrad.
2. Métodos basados en puntuaciones (sin gradientes): ScoreCAM, gScoreCAM.
3. Enfoques específicos para CLIP: CLIP Surgery (intervención directa en la inferencia).

Estudio de Caso 1: Evaluación Cuantitativa (Localización)

• Datos: Se utilizaron dos conjuntos de datos de historia del arte: IconArt (1,480 imágenes, 10 clases) y ArtDL (4,166 imágenes, 59 clases). Ambos contienen anotaciones de cuadros delimitadores (bounding boxes) para conceptos iconográficos.
• Procedimiento: Se evaluó la capacidad de localización zero-shot de los 7 métodos. Se generaron mapas de saliencia, se aplicaron umbrales binarios y se calculó la precisión de la caja delimitadora (BoxAcc) comparándola con las anotaciones de referencia (Ground Truth) bajo diferentes umbrales de Intersección sobre Unión (IoU).
• Objetivo: Determinar qué métodos pueden identificar y delimitar objetos iconográficos sin reentrenamiento.

Estudio de Caso 2: Evaluación Cualitativa (Interpretabilidad Humana)

• Diseño: Una encuesta en línea con 33 participantes (estudiantes y expertos en historia del arte).
• Tarea: Se mostraron 7 obras de arte con pares de clases objetivo (desde objetos concretos como "puente" hasta conceptos abstractos como "lujurioso"). Los participantes debieron ordenar los mapas de saliencia generados por los 7 métodos según su alineación con sus propias anotaciones humanas.
• Objetivo: Medir la concordancia entre la atención del modelo y la "mirada" informada por la historia del arte, utilizando el coeficiente de concordancia de Kendall (W) para medir la fiabilidad inter-evaluador.

3. Contribuciones Clave

• Evaluación Comparativa en Dominio Específico: Es uno de los primeros estudios que evalúa sistemáticamente métodos de XAI estándar y específicos para CLIP en un dominio de alta complejidad semántica como la historia del arte, en lugar de en objetos cotidianos.
• Marco Híbrido: Combina métricas cuantitativas rigurosas (localización) con estudios de usabilidad humana (interpretación), abordando tanto la precisión técnica como la relevancia epistemológica.
• Análisis de Sesgo Representacional: Demuestra cómo la "explicabilidad" no es neutral; revela que la capacidad de un modelo para explicar una imagen depende de la estabilidad conceptual y la disponibilidad representacional de la categoría en su espacio latente.

4. Resultados Principales

A. Rendimiento Cuantitativo (Localización):

• CLIP Surgery fue consistentemente el método superior en ambos conjuntos de datos, superando a los métodos basados en gradientes y puntuaciones, especialmente en la detección de objetos grandes y medianos.
• LeGrad se posicionó como el segundo mejor método, mostrando a veces un rendimiento superior en objetos de tamaño medio.
• Los métodos basados en gradientes tradicionales (Grad-CAM, LayerCAM) sufrieron una degradación significativa, especialmente en conjuntos de datos con objetos pequeños o conceptos iconográficos complejos.
• Limitación de Datos: La precisión general fue menor en IconArt debido a la alta proporción de objetos pequeños y a la complejidad semántica de las clases (ej. "Crucifixión" vs. "barba").

B. Resultados de la Evaluación Humana (Interpretabilidad):

• Consenso en Objetos Concretos: Para conceptos visuales bien definidos y localizados espacialmente (ej. "serpiente", "puente", "pie izquierdo"), los participantes mostraron alta concordancia (Kendall's W alto) al preferir los mapas de CLIP Surgery, LeGrad y ScoreCAM.
• Divergencia en Conceptos Abstractos: Para categorías simbólicas, contextuales o dependientes de la interpretación (ej. "lujurioso", "Sfinge", "Virgen María" en un grupo de figuras), la concordancia humana fue baja. Ningún método logró dominar, reflejando la ambigüedad intrínseca del concepto.
• Fallo de Representación: En casos donde el modelo no codifica el concepto como un "hotspot" localizable (ej. "ladrón" en una escena de crucifixión), los mapas de saliencia permanecen difusos, independientemente del método XAI utilizado.

C. Eficiencia Computacional:

• CLIP Surgery destaca por su eficiencia en tiempo real, requiriendo solo un pase forward modificado sin retropropagación.
• ScoreCAM es computacionalmente costoso (requiere múltiples pases forward), lo que lo hace poco práctico para aplicaciones interactivas, aunque produce mapas más suaves.

5. Significado y Conclusiones

El estudio concluye que la explicabilidad en la historia del arte digital no es un problema puramente técnico, sino hermenéutico y dialógico:

1. Límites de la "Visión" del Modelo: Los mapas de saliencia no revelan una "comprensión" histórica del modelo, sino la proyección de deseos interpretativos humanos sobre artefactos computacionales. Si un concepto no tiene una representación estadística estable en el espacio de incrustación de CLIP (debido a sesgos en los datos de entrenamiento), ningún método XAI podrá hacerlo legible.
2. Dependencia de la Estabilidad Conceptual: La efectividad de los métodos XAI depende de la estabilidad conceptual y la disponibilidad representacional. Funcionan bien para objetos concretos, pero fallan ante la complejidad iconográfica y simbólica del arte.
3. Recomendación Metodológica: Los resultados de XAI no deben leerse como explicaciones auto-suficientes, sino como prompts para una investigación hermenéutica más profunda. La "explicabilidad" debe concebirse como un proceso de negociación entre la visión humana y la inferencia de la máquina, exigiendo una conciencia crítica de los imaginarios epistémicos incrustados en la visión de la máquina.

En resumen, el papel demuestra que, aunque herramientas como CLIP Surgery mejoran la localización técnica, la verdadera barrera para la explicabilidad en historia del arte no es la falta de algoritmos, sino la naturaleza misma de cómo los modelos VLM codifican (o no) el significado cultural e histórico.