Iconographic Classification and Content-Based Recommendation for Digitized Artworks

Este artículo presenta un sistema prototipo que automatiza la clasificación iconográfica y la recomendación basada en contenido de obras de arte digitalizadas mediante la integración de la detección de objetos YOLOv8, el vocabulario Iconclass y algoritmos de inferencia, demostrando su potencial para acelerar la catalogación y mejorar la navegación en grandes repositorios de patrimonio cultural.

Lo esencial

Imagina que tienes una biblioteca gigante llena de millones de cuadros antiguos, pero nadie ha escrito las etiquetas que dicen de qué tratan realmente. Solo tienes la fecha y el nombre del pintor. Si quieres encontrar un cuadro sobre "la justicia" o "una caza de halcones", tendrías que pasar horas mirando cada imagen con lupa, algo que es imposible de hacer manualmente.

Los autores de este artículo, Krzysztof y Maciej, han creado un asistente digital inteligente (llamado CARIS) para ayudar a los expertos a organizar y encontrar estas obras de arte. Aquí te explico cómo funciona, usando analogías sencillas:

1. El Problema: El "Lenguaje" de los Cuadros

Los museos usan un diccionario muy especial y complejo llamado Iconclass. Es como un código de barras para el significado de un cuadro.

• Si ves un perro, el código no es solo "perro", sino algo como "34B11: Perro".
• Si ves a un perro mordiendo una concha, el código cambia a algo muy específico sobre un mito de Hércules.
  El problema es que este diccionario es enorme y difícil de usar. Los humanos tardan mucho en asignar estos códigos.

2. La Solución: El Asistente en Cuatro Pasos

El sistema CARIS funciona como un detective con cuatro herramientas principales:

Paso 1: Los Ojos de Águila (YOLO)

Primero, el sistema usa una cámara digital muy rápida (llamada YOLO) que mira el cuadro y dice: "¡Veo un caballo! ¡Veo un humano! ¡Veo un perro!".

• Analogía: Es como un niño que señala todo lo que ve en una foto y lo nombra, pero sin entender la historia detrás de la foto.

Paso 2: El Traductor (Mapeo)

Luego, el sistema toma esas palabras ("caballo", "perro") y las traduce al diccionario Iconclass.

• El truco: A veces, ver un "perro" puede significar muchas cosas diferentes en el arte (un perro de circo, un perro de caza, un perro bíblico). El sistema intenta adivinar cuál es el código correcto basándose en qué otros objetos hay en la foto.
• Analogía: Es como si el sistema dijera: "Veo un perro y un hombre con una lanza, así que probablemente no es un perro de circo, sino un perro de caza".

Paso 3: El Intelecto (Inferencia)

Aquí es donde el sistema se vuelve más listo. A veces, el significado no es un objeto, sino una idea abstracta.

• Si el sistema ve una mujer con una venda en los ojos, una balanza y una espada, no solo ve "mujer" y "espada". El sistema infiere que esto significa "Justicia".
• Analogía: Es como ver a alguien con un sombrero de chef y un delantal, y deducir que es un "cocinero", aunque no hayas visto la cocina.

Paso 4: El Recomendador (El Amigo que Sabe de Arte)

Finalmente, si te gusta un cuadro, el sistema te recomienda otros que son temáticamente similares. Pero no busca cuadros que se vean iguales (como dos paisajes verdes), busca cuadros que signifiquen lo mismo.
Usa tres estrategias diferentes para encontrar estos "primos" del arte:

1. El Familiar: Busca cuadros que compartan códigos muy parecidos en el árbol genealógico de Iconclass (como buscar a un primo hermano en lugar de un primo lejano).
2. El Experto en Rarezas (IDF): Si un cuadro tiene un código muy raro y específico (ej. "Hércules mordiendo una concha"), le da mucho peso. Prefiere encontrar algo con ese detalle único que algo genérico.
3. El Calculista (Jaccard): Mira qué porcentaje de códigos se repiten entre dos cuadros para ver qué tan "pegados" están temáticamente.

3. ¿Qué descubrieron? (Los Resultados)

• Lo bueno: El sistema funciona muy bien para encontrar objetos y sugerir códigos. Puede acelerar muchísimo el trabajo de los curadores de museos.
• Lo difícil: A veces, la cámara (YOLO) se equivoca. Si confunde un perro con un oso, el sistema sugerirá códigos de "osos" en lugar de "perros", y la recomendación saldrá mal.
• La conclusión: La clave no es que la inteligencia artificial "piense" como un humano, sino que use la estructura lógica (el diccionario Iconclass) para darle sentido a lo que ve la cámara.

En Resumen

Imagina que CARIS es un bibliotecario robot que tiene una cámara en los ojos y un diccionario de símbolos en la cabeza.

1. Mira el cuadro y dice: "Veo un caballo".
2. Consulta su diccionario y dice: "Esto significa 'cavallería'".
3. Te dice: "Si te gusta este, probablemente te gustará este otro cuadro que también trata sobre 'cavallería', aunque sea de un color diferente".

El objetivo no es reemplazar a los expertos humanos, sino hacerles el trabajo pesado para que puedan dedicar más tiempo a contar las historias fascinantes detrás de las obras de arte.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Iconographic Classification and Content-Based Recommendation for Digitized Artworks" en español:

Resumen Técnico: Clasificación Iconográfica y Recomendación Basada en Contenido para Obras de Arte Digitalizadas

1. Problema y Contexto

La digitalización del patrimonio cultural ha permitido el acceso masivo a obras de arte, pero ha generado una pérdida crítica del contexto interpretativo que tradicionalmente proporcionan los expertos en museos. Aunque los metadatos descriptivos (fecha, autor, lugar) facilitan la recuperación básica, el acceso iconográfico (identificar qué se representa y su simbolismo) sigue dependiendo de la intervención humana experta.
Los sistemas de aprendizaje automático enfrentan desafíos en este dominio debido a:

• La escasez y heterogeneidad de los datos de entrenamiento.
• La necesidad de evitar etiquetas libres que rompan la interoperabilidad entre colecciones.
• La dificultad de escalar la clasificación a grandes jerarquías semánticas como Iconclass (un vocabulario controlado jerárquico con más de 20.000 conceptos).

El objetivo es desarrollar un sistema que acelere los flujos de trabajo de los expertos y enriquezca el descubrimiento por parte de los usuarios, sin reemplazar el juicio curatorial.

2. Metodología: Sistema CARIS

Los autores proponen CARIS (Classification and Recommendation for the Iconclass System), un prototipo que implementa una tubería (pipeline) de cuatro etapas para clasificar y recomendar obras de arte basándose en su contenido visual y semántico.

A. Clasificación (Etapa 1-3):

1. Detección de Objetos: Se utiliza el modelo de visión por computadora YOLOv8 para detectar objetos visibles en la imagen digitalizada. Se eliminan duplicados, ya que Iconclass asigna un código por tipo de objeto, independientemente de la cantidad.
2. Mapeo a Iconclass: Se implementan dos estrategias para vincular las etiquetas de YOLO con los códigos de Iconclass:
   • Coincidencia de conjuntos basada en palabras clave (Principal): Un algoritmo de tres pasos con relajación progresiva:
     1. Coincidencia exacta: El conjunto de etiquetas de YOLO coincide exactamente con las palabras clave de un código.
     2. Subconjunto: Las etiquetas de YOLO son un subconjunto de las palabras clave del código (para manejar detecciones parciales).
     3. Búsqueda individual: Se busca código por cada etiqueta individualmente (aunque esto puede generar una "explosión" de códigos).
   • Búsqueda en descripciones (Secundaria): Menos precisa, compara etiquetas con descripciones de texto de los códigos.
3. Inferencia de Códigos Abstractos: Un motor de reglas ligero (basado en JSON) infiere significados abstractos a partir de la co-ocurrencia de objetos detectados.
   • Ejemplo: Si se detectan una mujer, una venda en los ojos, una balanza y una espada, el sistema infiere el concepto abstracto de "Justicia".
   • Reducción: Se aplican heurísticas (intersección de conjuntos, título más corto) o modelos generativos (como selectores, no generadores) para filtrar códigos redundantes o falsos positivos.

B. Recomendación (Etapa 4):
Una vez obtenidos los códigos de Iconclass, el sistema sugiere obras temáticamente relacionadas utilizando tres algoritmos complementarios (recomendación basada puramente en contenido, sin historial de usuario):

1. Similitud Jerárquica: Aprovecha la estructura de árbol de Iconclass. Asigna puntuaciones más altas a códigos que comparten padres inmediatos (0.5) o abuelos (0.25), permitiendo encontrar obras con significados semánticos cercanos aunque no idénticos.
2. Superposición Ponderada por IDF (Frecuencia Inversa de Documento): Asigna mayor peso a los códigos raros y diagnósticos, penalizando los códigos comunes (como "perro" o "hombre") que aparecen en muchas obras.
3. Coeficiente de Similitud de Jaccard: Mide la intersección sobre la unión de los conjuntos de códigos. Es robusto para evitar sesgos hacia imágenes con muchos códigos genéricos, favoreciendo superposiciones temáticas precisas.

3. Contribuciones Clave

• Primera integración de Iconclass con sistemas de recomendación: Según los autores, es el primer sistema de recomendación descrito en la literatura que utiliza explícitamente etiquetas Iconclass.
• Uso de YOLO para Iconografía: Una de las primeras aplicaciones de YOLO para la clasificación iconográfica, demostrando la viabilidad de la detección de objetos para la recuperación semántica.
• Enfoque Híbrido Simbólico-Visual: Combina la detección visual (YOLO) con estructuras simbólicas jerárquicas (Iconclass) para inferir significado, superando las limitaciones de los enfoques puramente visuales o puramente basados en metadatos.
• Código Abierto: El sistema se entrega como un paquete de Python con módulos dedicados, disponible en un repositorio público.

4. Resultados y Evaluación

El sistema fue evaluado utilizando imágenes de dominio público de Wikimedia Commons y el "Iconclass AI Test Set" (≈87k imágenes).

• Clasificación:
  • El sistema funciona correctamente en retratos simples (ej. un perro), seleccionando el código específico ("34B11 dog") tras aplicar los redutores.
  • En escenas complejas (ej. caza con halcón), la precisión depende críticamente de la detección de objetos. Si YOLO falla en detectar elementos clave (como el halcón o el perro), los códigos resultantes y las recomendaciones se vuelven menos precisas (ej. sugiriendo escenas centradas en caballos en lugar de caza).
  • Se identificó un "problema de explosión de códigos" debido a la naturaleza de Iconclass (algunos códigos tienen palabras clave poco intuitivas), lo que requiere filtrado post-detección.
• Recomendación:
  • Método Jerárquico: Exitoso cuando no hay coincidencias exactas, encontrando obras con códigos de ramas vecinas (ej. recomendar una obra de Hércules basada en atributos como la maza o la piel de león, aunque no tenga el código exacto del mito específico).
  • IDF: Eficaz para consultas con códigos raros, priorizando obras específicas sobre las genéricas.
  • Jaccard: Robusto frente a obras con muchos códigos genéricos, favoreciendo la coherencia temática.

5. Significado y Trabajo Futuro

El estudio demuestra que la visión por computadora consciente de Iconclass puede acelerar la catalogación y mejorar la navegación en grandes repositorios de patrimonio. La idea central es permitir que la visión por computadora proponga elementos visibles y utilizar estructuras simbólicas para alcanzar el significado.

Limitaciones y Futuro:

• Dependencia de la Detección: Los resultados finales son muy sensibles a la calidad de la detección de objetos. Se requiere crear conjuntos de datos de entrenamiento alineados con Iconclass para afinar modelos como YOLO.
• Refinamiento de Reglas: Se necesita mejorar el motor de reglas para inferir conceptos más abstractos, posiblemente mediante minería de patrones en grandes corpus.
• Interfaz Explicable: Es necesario desarrollar una interfaz de usuario que explique por qué se eligió un código o recomendación, haciendo el sistema accesible para curadores y público general.
• Multimodalidad: Futuras versiones podrían integrar metadatos textuales, características de imagen neuronales y embeddings de visión-lingüística (como CLIP).

En conclusión, el proyecto valida un enfoque prometedor para la convergencia entre el aprendizaje profundo, la modelización semántica multimodal y el diseño de experiencias de usuario en el ámbito del patrimonio cultural digital.