Iconographic Classification and Content-Based Recommendation for Digitized Artworks

Este artigo apresenta um sistema de prova de conceito que automatiza a classificação iconográfica e a recomendação baseada em conteúdo de obras de arte digitalizadas, integrando detecção de objetos com YOLOv8, mapeamento para o vocabulário Iconclass e inferência baseada em regras para acelerar a catalogação e melhorar a navegação em repositórios de patrimônio cultural.

O essencial

Imagine que você tem uma biblioteca gigante cheia de quadros antigos, mas ninguém escreveu o que eles significam de verdade. Você sabe quem pintou e quando, mas não sabe se aquele quadro mostra uma "caça ao cervo", um "santo sofrendo" ou uma "alegoria da justiça". Tradicionalmente, apenas especialistas (curadores) poderiam decifrar esses mistérios, e isso demorava muito.

Este artigo apresenta um robô assistente chamado CARIS, criado por pesquisadores da Polônia, que tenta fazer esse trabalho de decifração e recomendação de quadros de forma automática.

Aqui está como o sistema funciona, explicado com analogias do dia a dia:

1. O Grande Dicionário de Códigos (Iconclass)

Pense no Iconclass como um "dicionário de códigos secretos" ou um "mapa de tesouro" para a arte. Em vez de usar palavras soltas como "cachorro" ou "coroa", ele usa códigos numéricos e alfanuméricos (como 34B11 para "cachorro" ou 94L53 para uma história específica sobre Hércules).

• A analogia: É como se cada quadro tivesse um código de barras. Se você escanear o código 34B11, o sistema sabe exatamente que se trata de um cachorro, não apenas de um animal genérico.

2. Os "Olhos" do Robô (YOLO)

O primeiro passo do sistema é usar uma tecnologia de visão computacional chamada YOLO (que significa "Você Só Olha Uma Vez").

• A analogia: Imagine um detetive muito rápido que passa por uma galeria e grita: "Vejo um cavalo! Vejo um homem! Vejo um cachorro!". O robô identifica os objetos visíveis na pintura.
• O problema: Às vezes, o robô erra. Ele pode confundir um urso com um cachorro, ou não ver um falcão que está escondido. Se ele errar a identificação, o código que ele gera também estará errado.

3. O Tradutor e o Detetive de Significados

Aqui acontece a mágica. O sistema pega o que o "detetive" viu (ex: "cachorro") e tenta traduzir isso para o "dicionário de códigos" (Iconclass).

• O Desafio: Um simples "cachorro" pode ter muitos significados. Pode ser um cachorro de circo, um cachorro na Bíblia, ou um cachorro correndo.
• A Solução: O sistema usa regras inteligentes. Se ele vê um "cachorro", "balança" e "espada" juntos, ele entende que não é apenas um animal, mas sim a Justiça (um conceito abstrato). É como se o sistema dissesse: "Ok, você viu os ingredientes, agora vou adivinhar a receita".

4. O "Algoritmo de Amizade" (Recomendação)

Depois de classificar o quadro com seus códigos, o sistema precisa responder: "Quais outros quadros são parecidos com este?". Para isso, ele usa três estratégias diferentes, como se fossem três tipos de amigos sugerindo filmes:

1. O Parente Próximo (Hierarquia): Se você gosta de um quadro sobre "Cachorros", ele sugere outros sobre "Animais" ou "Cães de Raça", porque estão na mesma "família" no dicionário. É como dizer: "Se você gosta de rock, talvez goste de punk".
2. O Especialista em Coisas Raras (IDF): Se o quadro tem um código muito raro e específico (ex: "Hércules mordendo um molusco"), o sistema dá muito valor a esse detalhe. Ele ignora os "cachorros" comuns e foca na coisa única. É como dizer: "Se você gosta de filmes de terror obscuros dos anos 80, não vou te sugerir comédias românticas".
3. O Contador de Semelhanças (Jaccard): Ele conta quantos códigos os dois quadros têm em comum. É uma comparação direta: "Quantas peças de Lego são iguais entre essas duas construções?".

O Resultado e os Desafios

O sistema funcionou bem em testes! Ele conseguiu encontrar quadros relacionados mesmo quando não havia uma correspondência exata, usando a lógica dos códigos.

Mas há um "mas":
O sistema é tão bom quanto os olhos do robô. Se o robô não conseguir ver o falcão na pintura de caça, ele não vai recomendar outros quadros de caça, apenas de cavalos. É como tentar montar um quebra-cabeça com peças faltando: a imagem final fica um pouco distorcida.

Conclusão Simples

Este projeto não quer substituir os curadores de museus (os especialistas humanos). Pelo contrário, ele quer ser um assistente super-rápido.

• Para os curadores: Ajuda a organizar milhares de quadros em segundos, sugerindo códigos que eles podem apenas confirmar.
• Para você (o visitante): Permite que você navegue por museus gigantes e encontre quadros que você realmente vai gostar, baseados no que a pintura significa, e não apenas no que ela parece visualmente.

Em resumo: O sistema usa olhos de robô para ver os objetos e cérebro de bibliotecário (os códigos) para entender a história, ajudando a conectar o passado com o nosso presente de forma mais inteligente.

Resumo técnico

Título do Trabalho

Classificação Iconográfica e Recomendação Baseada em Conteúdo para Obras de Arte Digitalizadas

1. Problema e Contexto

O patrimônio cultural (CH) digitalizado enfrenta um desafio significativo: a perda do contexto interpretativo fornecido por curadores e especialistas em museus. Embora metadados descritivos (data, autor, local) permitam buscas básicas, o acesso iconográfico (identificar o que é representado e seu significado simbólico) depende tradicionalmente de especialistas humanos.

• Desafio: A aplicação de aprendizado de máquina na área de patrimônio cultural é dificultada pela escassez e heterogeneidade dos dados de treinamento e pela necessidade de vocabulários padronizados para garantir interoperabilidade entre coleções.
• Objetivo: Desenvolver um sistema que automatize a classificação iconográfica e a recomendação de obras relacionadas, acelerando o trabalho dos curadores e enriquecendo a descoberta pelo usuário, sem substituir o julgamento humano.

2. Metodologia: O Sistema CARIS

Os autores propõem o CARIS (Classification and Recommendation for the Iconclass System), um protótipo de quatro estágios que integra Visão Computacional (CV) e estruturas simbólicas (o vocabulário Iconclass).

Fase 1: Detecção de Objetos (Visão Computacional)

• Utiliza o modelo YOLOv8 (You Only Look Once) para detectar objetos visíveis na imagem digitalizada.
• Remove duplicatas de rótulos (ex: se há dois cavalos, conta-se apenas um tipo de objeto), pois o sistema Iconclass atribui um código único para um tipo de objeto, independentemente da quantidade.

Fase 2: Mapeamento para Códigos Iconclass

• Os rótulos detectados pelo YOLO são mapeados para códigos do vocabulário Iconclass (um sistema alfanumérico hierárquico que descreve temas, atributos e significados simbólicos).
• Estratégia de Mapeamento:
  1. Correspondência Exata de Conjuntos: Busca uma igualdade perfeita entre os rótulos detectados e as palavras-chave de um código.
  2. Subconjunto (Relaxamento): Se não houver correspondência exata, aceita-se se os rótulos detectados forem um subconjunto das palavras-chave do código.
  3. Busca Individual (Singleton): Busca códigos para cada rótulo individualmente (pode gerar muitos resultados, exigindo filtragem).
• Filtragem: Utiliza redutores determinísticos (interseção de conjuntos e heurística de título mais curto) e modelos generativos (apenas como filtros, não geradores) para evitar "explosão" de códigos irrelevantes.

Fase 3: Inferência de Códigos Abstratos

• Como o YOLO detecta apenas objetos literais, o sistema emprega um motor de regras leve (baseado em JSON) para inferir significados abstratos ou narrativos.
• Exemplo: A presença simultânea de "mulher", "balança" e "espada" pode inferir o código para "Justiça". A presença de "cervo", "cão" e "humano" pode inferir "Caça".

Fase 4: Recomendação Baseada em Conteúdo

O sistema recomenda obras tematicamente relacionadas usando apenas os códigos Iconclass (sem histórico de usuário), empregando três algoritmos complementares:

1. Similaridade Hierárquica: Explora a estrutura de árvore do Iconclass. Códigos idênticos recebem pontuação máxima; códigos que compartilham um pai imediato ou avô recebem pontuações decrescentes.
2. Sobreposição Ponderada por IDF (Inversão de Frequência de Documento): Dá mais peso a códigos raros e diagnósticos do que a códigos comuns (ex: "cão" é comum, "Hércules" é raro e mais significativo).
3. Coeficiente de Similaridade de Jaccard: Mede a interseção sobre a união dos conjuntos de códigos, sendo robusto contra obras com muitos códigos genéricos.

3. Contribuições Principais

• Primeira Integração Iconclass-Recomendação: Até onde se sabe, é o primeiro sistema de recomendação descrito na literatura que utiliza explicitamente tags Iconclass como base.
• Pipeline Híbrido: Combina detecção de objetos moderna (YOLOv8) com um vocabulário controlado e hierárquico (Iconclass) para superar as limitações de sistemas puramente visuais.
• Abordagem de "Visão Simbólica": A ideia central é permitir que a visão computacional proponha elementos visíveis e usar estruturas simbólicas para alcançar o significado, em vez de tentar aprender o significado diretamente apenas dos pixels.
• Código Aberto: O sistema foi entregue como um pacote Python, com repositório público, seguindo princípios de design de software (SRP, DRY).

4. Resultados e Avaliação

O sistema foi avaliado usando imagens de domínio público do Wikimedia Commons e o Iconclass AI Test Set (≈87k imagens).

• Classificação:
  • O sistema funcionou bem em retratos simples (ex: um cão), retornando o código correto ("34B11").
  • Em cenas complexas (ex: caça com falcão), a precisão dependeu criticamente da detecção do YOLO. Se o YLO falhasse em detectar elementos-chave (como o falcão), os códigos recomendados tornaram-se genéricos (focando apenas no cavalo ou humano).
  • Gargalo: A qualidade da detecção de objetos é o principal limitador. Erros de detecção (ex: confundir um cão com um urso) alteram completamente o significado iconográfico inferido.
• Recomendação:
  • Método Hierárquico: Funcionou bem quando não havia correspondência exata de códigos, encontrando obras com códigos vizinhos na árvore (ex: encontrar Hércules mesmo sem o código específico da lenda do molusco).
  • IDF: Destacou-se em consultas com códigos raros, priorizando obras específicas sobre genéricas.
  • Jaccard: Foi robusto para filtrar obras com muitos códigos genéricos, focando em sobreposições temáticas concentradas.

5. Significado e Trabalhos Futuros

• Significado: O estudo demonstra que a combinação de visão computacional com vocabulários controlados pode acelerar a catalogação e melhorar a navegação em repositórios de patrimônio cultural. Reforça a necessidade de vocabulários compartilhados e regras transparentes para uma IA sustentável no patrimônio cultural.
• Limitações Atuais: A sensibilidade extrema à qualidade da detecção de objetos e a necessidade de conjuntos de treinamento específicos para Iconclass.
• Futuro:
  • Criar conjuntos de treinamento fine-tuned para YOLO alinhados com palavras-chave do Iconclass.
  • Refinar o motor de regras para inferir mais códigos abstratos (talvez usando mineração de padrões em grandes corpora).
  • Desenvolver interfaces de usuário com camadas de explicabilidade para curadores e público geral.
  • Integrar informações multimodais (metadados textuais, embeddings de visão-linguagem como CLIP) para melhorar a precisão dos códigos propostos.

Em resumo, o CARIS é uma prova de conceito viável que valida a abordagem de usar a IA para extrair elementos visíveis e a taxonomia humana para interpretar significados, oferecendo uma ponte entre a escala da digitalização e a profundidade da interpretação curatorial.