GeMi: A Graph-based, Multimodal Recommendation System for Narrative Scroll Paintings

Il paper presenta GeMi, un sistema di raccomandazione basato su reti neurali grafiche e dati multimodali progettato per conservare e promuovere le antiche pitture narrate a rotolo, un'arte performativa a rischio di estinzione.

L'essenziale

Immagina di avere una biblioteca di antichi rotoli dipinti, raccontati da cantastorie ambulanti dell'India orientale. Questi artisti, chiamati "pittori cantanti", dipingono storie epiche su lunghi rotoli e le cantano mentre mostrano le immagini. Purtroppo, questa arte sta scomparendo e molti di questi capolavori rischiano di andare perduti o di rimanere incompresi.

Gli autori di questo paper, GeMi, hanno creato un "assistente digitale intelligente" per salvare, organizzare e far scoprire queste opere d'arte. Ecco come funziona, spiegato con parole semplici e qualche metafora divertente.

1. Il Problema: Un Muro di Immagini e Canzoni

Immagina di avere un mucchio enorme di foto di questi rotoli e, accanto a ogni foto, il testo della canzone che la accompagna. Il problema è che:

• Le immagini sono vecchie, a volte sbiadite o con dettagli difficili da capire.
• I testi delle canzoni sono scritti in dialetti antichi, pieni di errori o parole che cambiano significato.
• Non c'è un modo facile per dire: "Ehi, a me piace questa storia di un drago, mostrami altre storie simili!"

Se provassi a cercare manualmente, ti ci vorrebbero anni. Serve un sistema che capisca sia l'immagine che la storia, e che sappia cosa piace alle persone.

2. La Soluzione: GeMi, il "Detective delle Storie"

GeMi è un sistema di raccomandazione (come quello di Netflix o Spotify, ma per l'arte) che usa due super-poteri combinati:

A. Gli "Occhi e le Orecchie" (Modelli Multimodali)

Pensa a GeMi come a un detective che ha due assistenti:

1. Il Traduttore (LLM): Prima di guardare le immagini, GeMi prende il testo della canzone antica e lo "ripulisce". Immagina di avere un testo scritto con la calligrafia di un bambino e pieno di errori: il Traduttore lo riscrive in un italiano (o bengalese) chiaro e moderno, mantenendo il significato della storia.
2. L'Osservatore (Vision-Language Models): Poi, GeMi guarda la foto del rotolo e legge il testo pulito insieme. Non guarda solo i colori, ma capisce il concetto: "Ah, qui c'è un albero sacro e un dio che vola".
   • Metafora: È come se avessi un amico che ti descrive un quadro mentre lo guarda, e tu riesci a capire l'emozione del quadro anche senza vederlo.

B. La Mappa delle Connessioni (GNN - Graph Neural Networks)

Qui entra in gioco la parte più magica. GeMi non tratta ogni rotolo come un oggetto isolato. Costruisce una mappa gigante (un grafo) dove ogni nodo è un rotolo.

• Se due rotoli hanno storie simili (es. entrambi parlano di un "albero"), GeMi li collega con un filo invisibile.
• Se un utente ama un certo tipo di storia, GeMi segue i fili della mappa per trovare altri rotoli collegati a quella storia.

Metafora: Immagina una ragnatela gigante. Se un ragno (l'utente) tocca un filo (un rotolo che gli piace), la vibrazione viaggia lungo la ragnatela fino a far vibrare tutti i fili vicini che raccontano storie simili. GeMi ti dice: "Ehi, hai toccato questo filo, guarda cosa c'è dall'altra parte della ragnatela!"

3. Perché è speciale? (I Superpoteri contro i problemi)

Il sistema deve affrontare tre ostacoli principali, e GeMi ha soluzioni creative per ognuno:

• Il problema del "Rumore": Le immagini sono vecchie e i testi confusi.
  • Soluzione: GeMi usa un "filtro anti-rumore" (chiamato VAE) che immagina come dovrebbe essere la storia ideale, ignorando i dettagli sporchi o confusi. È come se un restauratore d'arte immaginasse com'era il quadro prima che si rovinasse.
• Il problema della "Scarsità": Ci sono pochissimi dati su certi tipi di storie (es. "alberi" sono rari nei rotoli).
  • Soluzione: GeMi usa un trucco chiamato "potenziamento". Se sa che un utente ama gli alberi, GeMi cerca attivamente di collegare anche i rotoli che hanno un piccolo albero sullo sfondo, anche se non è l'elemento principale. È come se un amico ti dicesse: "So che ami gli alberi, guarda questo quadro che ha un albero minuscolo in un angolo, potrebbe piacerti!"
• Il problema del "Freddo" (Cold Start): Se un nuovo utente arriva e non ha ancora dato il suo parere, cosa facciamo?
  • Soluzione: GeMi guarda le caratteristiche del rotolo stesso (colore, tema) e le confronta con ciò che piace alla comunità, facendo una previsione intelligente fin dal primo momento.

4. I Risultati: Funziona davvero?

Gli autori hanno testato GeMi confrontandolo con altri sistemi moderni.

• Risultato: GeMi è riuscito a trovare le storie giuste per gli utenti molto meglio degli altri sistemi, specialmente quando le storie erano complesse (come quelle mitologiche).
• L'aspetto umano: Il sistema non è solo un algoritmo freddo. È stato costruito per aiutare gli artisti a vendere le loro opere e per conservare la cultura per il futuro.

In Sintesi

GeMi è come un curatore di museo digitale che ha letto migliaia di libri di storia, ha imparato a riconoscere ogni dettaglio di un dipinto antico e sa esattamente cosa ti piacerà prima ancora che tu lo sappia.

Non si limita a dire "guarda questo", ma dice: "Vedo che ti piace la storia del drago che vola sopra l'albero, quindi ti consiglio questo altro rotolo che ha un drago simile, anche se è dipinto in uno stile leggermente diverso".

È un ponte tecnologico che collega il passato (l'arte in pericolo) con il futuro (i nuovi appassionati), assicurandosi che queste storie non vengano mai dimenticate.

Sommario tecnico

Titolo

GeMi: Un Sistema di Raccomandazione Multimodale Basato su Grafi per Dipinti a Rullo Narrativi

1. Il Problema e il Contesto

Il paper affronta la sfida di conservare e valorizzare una forma d'arte performativa in via di estinzione dell'India orientale: la pittura a rullo narrativo (narrative scroll paintings). Questi manufatti, creati da cantastorie itineranti ("singing painters"), combinano immagini visive complesse con testi cantati (spesso in bengalese) per raccontare storie epiche, folcloristiche o religiose.

Le principali difficoltà identificate sono:

• Estinzione e Mancanza di Digitalizzazione: L'arte è a rischio, con poche centinaia di artisti rimasti. Esistono pochi dati digitalizzati e strutturati.
• Complessità Multimodale: I dati sono intrinsecamente multimodali (immagini di pannelli, testi di canzoni, audio), ma spesso non allineati o rumorosi (es. testi manoscritti illeggibili, immagini danneggiate).
• Sparsità dei Dati e Cold Start: Non esistono sistemi di raccomandazione esistenti per questo dominio specifico. I dati raccolti sono limitati e le interazioni utente-articolo sono scarse, rendendo difficile l'apprendimento delle preferenze.
• Rumore e Allineamento: L'allineamento tra le immagini dei pannelli e i testi delle canzoni è complesso e spesso incompleto nei dataset esistenti.

2. Metodologia: Il Sistema GeMi

GeMi è un sistema di raccomandazione basato sui contenuti (content-based) potenziato da informazioni sulle preferenze degli utenti, progettato specificamente per gestire la natura unica e rumorosa dei dati sui dipinti a rullo. L'architettura si articola in quattro componenti principali:

A. Estrazione di Caratteristiche Multimodali Avanzata

Per superare le limitazioni delle rappresentazioni unimodali, GeMi utilizza una strategia di codifica modulare:

1. Canonicalizzazione Semantica del Testo (LLM): Utilizza un Large Language Model (TinyLlama) per riscrivere i testi grezzi (spesso rumorosi o stilisticamente eterogenei) in rappresentazioni semantiche canoniche, focalizzandosi su entità, azioni e motivi simbolici.
2. Allineamento Immagine-Testo (SigCLIP): Impiega un modello Sigmoid-Contrastive Language Image Pretraining (SigCLIP) per allineare le immagini e i testi in uno spazio latente condiviso. A differenza del CLIP standard (softmax), SigCLIP tratta ogni coppia come un problema di classificazione binaria indipendente, riducendo la dipendenza dalla normalizzazione del batch e gestendo meglio gli squilibri.
3. Fusione Probabilistica (VAE): Un Variational Autoencoder Multimodale (VAE) fonde le informazioni visive e linguistiche in una rappresentazione latente probabilistica. Questo permette di modellare l'incertezza intrinseca nei dati (es. testi mancanti o immagini sfocate) utilizzando un approccio "Product-of-Experts".

B. Apprendimento della Struttura del Grafo (Graph Structure Learning - GSL)

Il sistema costruisce grafi per catturare le relazioni tra i pannelli (item-item) e, opzionalmente, tra utenti e pannelli.

• Costruzione del Grafo: Utilizza la similarità coseno sulle caratteristiche multimodali per creare grafi omogenei (item-item) o eterogenei (utente-item).
• Varianti di Codificatori GNN: Il paper confronta tre architetture per l'apprendimento delle rappresentazioni dei nodi:
  • GCN (Graph Convolutional Network): Per la propagazione diretta dei segnali supervisionati.
  • GAE (Graph Auto-Encoder): Per obiettivi di ricostruzione non supervisionata, sfruttando informazioni strutturali non etichettate.
  • VGAE (Variational Graph Auto-Encoder): Per modellare uno spazio latente probabilistico, cruciale per gestire l'incertezza in dataset piccoli e rumorosi.

C. Gestione dello Squilibrio di Classe

Poiché certi concetti (es. "alberi") sono rari rispetto ad altri (es. "animali"), GeMi implementa strategie specifiche:

• Augmentation dei bordi: Aggiunta di connessioni extra tra nodi che condividono la classe minoritaria.
• Edge Dropout: Rimozione casuale di bordi durante l'addestramento per prevenire l'overfitting sulle connessioni dominanti.
• Focal Loss e Ripesatura: Utilizzo di funzioni di perdita ponderate per dare più importanza agli esempi difficili e alle classi minoritarie.

D. Integrazione Collaborativa (Plug-and-Play)

Le rappresentazioni multimodali apprese vengono combinate con le preferenze degli utenti (simulate o reali) tramite moduli di Collaborative Filtering (CF) per generare le raccomandazioni finali.

3. Contributi Chiave

1. Dataset Unico: Creazione e curazione di un dataset multimodale (immagini e testi) derivato da ricerche sul campo in India, specifico per l'arte dei dipinti a rullo narrativi.
2. Sistema GeMi: Sviluppo di un motore di raccomandazione che integra modelli Vision-Language all'avanguardia (LLM + SigCLIP + VAE) con l'apprendimento su grafi (GNN), gestendo efficacemente la sparsità e il rumore dei dati.
3. Analisi Comparativa: Valutazione rigorosa di diverse strategie di apprendimento (trasduttivo vs induttivo) e di diverse architetture GNN (GCN, GAE, VGAE) su un dominio di nicchia.
4. Strategie per Dati Rumorosi: Dimostrazione di come la canonicalizzazione testuale tramite LLM e la fusione probabilistica VAE migliorino significativamente le prestazioni rispetto ai metodi basati su CLIP standard o VAE base.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti confrontando GeMi con numerosi sistemi state-of-the-art (come LATTICE, PMGT, GraphSAGE, PinSAGE) su due scenari: Trasduttivo (dati di test visibili durante l'addestramento) e Induttivo (dati di test completamente nuovi).

• Prestazioni Generali: GeMi ha superato sistematicamente le baseline sia in setting omogenei (item-item) che eterogenei (utente-item).
• Impatto degli LLM: L'uso di LLM per la canonicalizzazione del testo ha portato a miglioramenti sostanziali, specialmente per concetti semantici complessi come la "Mitologia".
• Confronto Architetture:
  • VGAE ha mostrato prestazioni eccellenti nel setting trasduttivo, grazie alla capacità di modellare l'incertezza.
  • GCN ha mostrato buona robustezza nel setting induttivo.
  • Il concetto di "Albero" (Tree) è risultato il più difficile da raccomandare a causa della sua natura visiva sottile e della scarsa descrizione testuale, ma le strategie di augmentation dei bordi hanno aiutato a mitigare il problema.
• Metriche: GeMi ha ottenuto i punteggi più alti in Precision@K per le categorie "Mitologia" (fino a 0.78 nel setting trasduttivo con Llama-VAE) e "Animali", dimostrando che la combinazione di features multimodali avanzate e apprendimento su grafi è superiore ai metodi tradizionali di filtraggio collaborativo o basati su contenuto puro.

5. Significato e Impatto

• Conservazione Culturale: GeMi non è solo un algoritmo, ma uno strumento per la conservazione digitale di un patrimonio culturale in via di estinzione, permettendo agli utenti di scoprire opere simili e supportare gli artisti.
• Innovazione Metodologica: Il lavoro dimostra l'efficacia di combinare LLM per la pulizia dei dati, modelli contrastivi (SigCLIP) e modelli generativi probabilistici (VAE) all'interno di un framework basato su grafi per gestire dati multimodali complessi e sparsi.
• Scalabilità Futura: Il sistema è progettato per essere esteso con capacità di generazione AI (es. creare immagini mancanti tramite diffusion models) e modelli di pricing dinamico per supportare economicamente gli artisti.
• Rilevanza per la Ricerca: Fornisce un caso di studio fondamentale su come applicare tecniche di raccomandazione avanzate a domini di nicchia con dati limitati e rumorosi, offrendo linee guida per la gestione dello squilibrio di classe e l'integrazione multimodale.

In conclusione, GeMi rappresenta un passo significativo verso l'uso dell'Intelligenza Artificiale per la salvaguardia del patrimonio culturale, combinando rigorosa analisi tecnica con un'applicazione sociale di alto impatto.