Iconographic Classification and Content-Based Recommendation for Digitized Artworks

Questo lavoro presenta un sistema dimostrativo che automatizza la classificazione iconografica e la raccomandazione di opere d'arte digitalizzate integrando il rilevamento di oggetti tramite YOLOv8 con la vocabolario Iconclass e algoritmi di raccomandazione per accelerare la catalogazione e migliorare la navigazione nei grandi archivi del patrimonio culturale.

L'essenziale

🎨 Il "Traduttore" per l'Arte: Come l'AI impara a leggere i quadri

Immagina di entrare in un museo immenso, pieno di quadri antichi. C'è un problema: molti di questi quadri non hanno etichette chiare. Sappiamo chi li ha dipinti o quando, ma non sappiamo esattamente cosa stanno raccontando o quali simboli contengono. Per capire questo, ci vorrebbe un esperto di storia dell'arte che passi ore a studiare ogni dettaglio. Ma cosa succede se hai milioni di immagini da analizzare?

Gli autori di questo studio (Krzysztof e Maciej) hanno creato un prototipo chiamato CARIS. Pensalo come un assistente digitale super-veloce che aiuta gli esperti a catalogare le opere e a suggerire ad altri visitatori quadri simili, basandosi sul significato e non solo sull'aspetto visivo.

Ecco come funziona, passo dopo passo, con un po' di fantasia:

1. Gli Occhi dell'AI (Il Riconoscimento degli Oggetti)

Immagina che il sistema abbia un occhio molto veloce, chiamato YOLO (che significa "Guardi solo una volta").

• Cosa fa: Guarda un quadro e dice: "Vedo un cane, vedo un cavallo, vedo una spada".
• L'analogia: È come se un bambino corresse in una stanza piena di giocattoli e facesse una lista rapida: "C'è una macchinina, c'è un orsacchiotto, c'è una palla". Non capisce ancora la storia, ma sa cosa c'è.

2. Il Dizionario Magico (Iconclass)

Qui entra in gioco il vero genio del sistema. L'AI non si ferma alla lista degli oggetti. Usa un vocabolario speciale chiamato Iconclass.

• Cos'è Iconclass: Immagina un'enorme biblioteca di codici segreti. Non è solo "cane", ma un codice specifico che dice "Cane che rappresenta la fedeltà" o "Cane che caccia". È come un traduttore che prende gli oggetti semplici (cane, spada) e li trasforma in concetti complessi (fedeltà, guerra, giustizia).
• Il problema: A volte l'AI vede solo un cane. Ma nel vocabolario Iconclass, la parola "cane" potrebbe collegarsi a 6 storie diverse (dalla Bibbia alla mitologia). Il sistema deve scegliere quella giusta.

3. Il Detective delle Regole (L'Inferenza)

Per risolvere il problema della confusione, il sistema usa un detective logico.

• Come funziona: Se l'AI vede una donna bendata, una bilancia e una spada, il detective dice: "Non sono solo oggetti a caso! Insieme significano Giustizia".
• L'analogia: È come quando vedi un ombrello, un cappotto pesante e una sciarpa. Non pensi "ho visto tre oggetti", pensi "oggi piove". Il sistema fa lo stesso: unisce i pezzi per capire il significato nascosto.

4. Il Consigliere Culturale (Le Raccomandazioni)

Una volta capito il significato del quadro, il sistema deve consigliarti altri quadri simili. Ma non si basa solo sul colore o sulla forma (come farebbe un umano che guarda una foto). Usa tre metodi diversi, come se avesse tre amici diversi che ti danno consigli:

1. L'Amico della Famiglia (Similarità Gerarchica): Se cerchi un quadro su "Ercole", questo amico ti consiglia quadri su "Eroi" o "Mitologia", perché sono nella stessa "famiglia" di concetti, anche se non sono identici.
2. L'Amico del Tesoro Raro (IDF): Se trovi un codice molto raro (es. "Un cane che mangia un mollusco per un motivo specifico"), questo amico ti dice: "Questo è unico! Ti consiglio altri quadri che hanno questo dettaglio raro, perché sono preziosi".
3. L'Amico Matematico (Jaccard): Questo amico guarda quanto si sovrappongono i concetti. Se due quadri hanno esattamente gli stessi 5 simboli chiave, li mette insieme, ignorando quelli che hanno solo 100 simboli generici (come "cielo" o "terra").

🌟 Perché è importante? (La Conclusione)

Il punto di forza di questo studio è un'idea semplice ma potente: Lascia che l'AI veda gli oggetti, ma usa la struttura umana (il vocabolario Iconclass) per capire il significato.

• Il vantaggio: Prima, per trovare un quadro su "Ercole", dovevi sapere esattamente come era dipinto. Ora, il sistema può trovarti quadri su Ercole anche se sono dipinti in modo diverso, perché capisce il concetto di Ercole.
• Il limite: Come ogni assistente, se l'AI sbaglia a riconoscere un oggetto (es. scambia un cane per un orso), il consiglio potrebbe essere sbagliato. Per questo, gli autori dicono che serve ancora lavoro per "addestrare" meglio gli occhi dell'AI con esperti umani.

In sintesi: Questo sistema è come un bibliotecario magico che, invece di ordinare i libri solo per colore della copertina, li ordina per le storie che raccontano, rendendo l'arte antica molto più facile da esplorare e amare per tutti noi.

Sommario tecnico

Titolo

Classificazione Iconografica e Raccomandazione Basata sui Contenuti per Opere d'Arte Digitalizzate (CARIS)

1. Problema e Contesto

La digitalizzazione del patrimonio culturale (CH) ha reso accessibili su larga scala milioni di opere d'arte, ma ha spesso comportato la perdita del contesto interpretativo fornito dagli esperti umani. Sebbene i metadati descrittivi (data, autore, luogo) supportino il recupero di base, l'accesso iconografico (cioè capire cosa è raffigurato e il suo significato simbolico) rimane un compito complesso tradizionalmente svolto da specialisti.
Le sfide principali includono:

• La scarsità e l'eterogeneità dei dati di addestramento nel dominio del patrimonio culturale.
• La necessità di descrizioni coerenti e interpretabili per milioni di immagini.
• Il rischio che sistemi di raccomandazione basati solo su caratteristiche visive (senza vocabolari strutturati) falliscano nel cogliere il significato tematico e simbolico delle opere.
• La difficoltà di automatizzare l'interpretazione di concetti astratti (es. "giustizia", "caccia") che non sono oggetti fisici diretti.

2. Metodologia: Il Sistema CARIS

Gli autori presentano CARIS (Classification and recommendation for the Iconclass system), un sistema proof-of-concept che automatizza la classificazione iconografica e la raccomandazione di contenuti utilizzando il vocabolario controllato Iconclass e tecniche di Intelligenza Artificiale. Il flusso di lavoro è composto da quattro fasi:

A. Rilevamento degli Oggetti (Computer Vision)

• Viene utilizzato un modello YOLOv8 (You Only Look Once) per rilevare e classificare gli oggetti visibili nell'immagine.
• Le etichette duplicate vengono rimosse, poiché Iconclass assegna un codice per tipo di oggetto indipendentemente dal numero di occorrenze.

B. Mappatura ai Codici Iconclass

I rilevamenti di YOLO vengono mappati ai codici alfanumerici di Iconclass attraverso due strategie complementari:

1. Corrispondenza basata su parole chiave (Set Matching): Utilizza la funzione .keywords() della libreria Iconclass. L'algoritmo opera in tre passaggi di rilassamento:
   • Corrispondenza esatta: Cerca una coincidenza perfetta tra l'insieme delle etichette YOLO e le parole chiave di un codice.
   • Sottoinsieme: Se non trova una corrispondenza esatta, accetta codici le cui parole chiave contengono l'insieme delle etichette rilevate.
   • Ricerca singola: Cerca codici per ogni etichetta individualmente (utile per oggetti isolati, ma rischia di generare un "esplosione" di codici).
2. Ricerca basata su descrizioni (Secondaria): Meno accurata, confronta le etichette con le descrizioni testuali dei codici (.texts()).

C. Inferenza di Codici Astratti (Rule-Based)

Poiché YOLO rileva solo oggetti fisici, il sistema include un motore di regole leggero (basato su JSON) per inferire significati astratti o scene complesse.

• Esempio: Se vengono rilevati una bilancia, una spada e una donna bendata, il sistema infere il concetto di "Giustizia".
• Esempio: La presenza combinata di cervo, cane, cavallo e umano suggerisce una "Caccia".
• Questo passaggio è cruciale per colmare il divario tra oggetti visibili e significato simbolico.

D. Raccomandazione di Contenuti

Il sistema propone opere d'arte correlate utilizzando tre algoritmi di raccomandazione complementari, basati esclusivamente sui codici Iconclass (senza cronologia utente):

1. Similarità Gerarchica: Sfrutta la struttura ad albero di Iconclass. Assegna punteggi più alti a codici che condividono genitori immediati o antenati comuni, permettendo di trovare opere tematicamente vicine anche senza codici identici.
2. Sovrapposizione Ponderata IDF (Inverse Document Frequency): Assegna un peso maggiore ai codici rari (diagnostici) rispetto a quelli comuni (es. "cane" vs un codice specifico mitologico). Questo aiuta a filtrare il rumore dei codici generici.
3. Similarità di Jaccard: Misura l'intersezione rispetto all'unione degli insiemi di codici, risultando robusta contro le opere con un numero eccessivo di tag generici e favorendo sovrapposizioni tematiche strette.

3. Risultati e Valutazione

Il sistema è stato valutato utilizzando immagini di dominio pubblico da Wikimedia Commons e il Iconclass AI Test Set (circa 87.000 immagini).

• Classificazione:
  • Il sistema è efficace nel rilevare oggetti semplici (es. un ritratto di un cane) e assegnare il codice corretto ("34B11 dog").
  • Limiti: La qualità dipende fortemente dal rilevamento degli oggetti. Se YOLO manca un elemento chiave (es. un falco in una scena di caccia), la classificazione e le raccomandazioni successive diventano inaccurate o fuorvianti.
  • Riduzione dei falsi positivi: È stato necessario implementare riduttori deterministici e l'uso di modelli generativi (come filtri, non generatori) per evitare l'"esplosione" di codici quando si rilevano oggetti comuni (es. "essere umano" appare in migliaia di contesti diversi).
• Raccomandazione:
  • I tre metodi mostrano punti di forza complementari:
    • La similarità gerarchica eccelle quando non ci sono match esatti ma i rami vicini indicano la stessa narrazione (es. raccomandare un'immagine di Ercole basandosi su attributi correlati anche se il codice specifico della scena mitologica non è presente).
    • L'IDF è superiore per query con codici rari, permettendo di superare il rumore dei codici comuni.
    • La similarità di Jaccard è robusta per evitare bias verso immagini con molti tag.
  • Il sistema ha dimostrato di poter recuperare opere pertinenti anche partendo da codici molto specifici e rari, grazie alla struttura semantica di Iconclass.

4. Contributi Chiave

1. Primo sistema di raccomandazione basato su Iconclass: A differenza dei sistemi tradizionali basati su metadati o feature visive pure, CARIS utilizza la tassonomia semantica strutturata di Iconclass per il recupero e la raccomandazione.
2. Integrazione CV-Simbolica: Unisce il rilevamento di oggetti (YOLO) con la logica simbolica (Iconclass) e l'inferenza di regole per interpretare significati astratti.
3. Workflow a quattro stadi: Propone una pipeline completa che va dal rilevamento visivo alla raccomandazione tematica, gestendo il problema della mappatura tra etichette visive e vocabolario controllato.
4. Open Source: Il codice è disponibile pubblicamente, promuovendo la trasparenza e la riproducibilità nella ricerca sul patrimonio culturale digitale.

5. Significato e Implicazioni Future

Il lavoro dimostra che l'uso combinato di visione artificiale e vocabolari controllati può accelerare notevolmente il processo di catalogazione e migliorare la navigazione nelle grandi collezioni di patrimonio culturale.

• Insight Principale: Lasciare che la computer vision proponga gli elementi visibili e utilizzare strutture simboliche (come la gerarchia di Iconclass) per raggiungere il significato semantico.
• Sfide Future:
  • Migliorare la qualità del rilevamento degli oggetti (fine-tuning di YOLO su dataset annotati da esperti specifici per Iconclass).
  • Affinare il motore di regole per l'inferenza di concetti astratti, possibilmente estraendo pattern semi-automaticamente da corpora etichettati.
  • Sviluppare interfacce utente con livelli di spiegabilità (XAI) per rendere il sistema comprensibile a curatori e pubblico generale.
  • Integrare informazioni multimodali (metadati testuali, embedding visivi come CLIP) per migliorare la precisione dei codici proposti.

In sintesi, CARIS rappresenta un passo significativo verso l'IA sostenibile per il patrimonio culturale, bilanciando l'automazione con la necessità di vocabolari condivisi e regole trasparenti per garantire l'interoperabilità e il significato semantico.