GeMi: A Graph-based, Multimodal Recommendation System for Narrative Scroll Paintings

Die Arbeit stellt GeMi vor, ein auf Graph-Neural-Networks basierendes, multimodales Empfehlungssystem für narrative Rollengemälde, das auf neuartigen Felddaten trainiert wird, um sowohl den Erhalt dieser bedrohten Kunstform zu unterstützen als auch Nutzern personalisierte Vorschläge für Betrachtung und Kauf zu bieten.

Das Wesentliche

Stellen Sie sich vor, Sie besuchen einen alten, schmalen Markt in Ostindien. Dort gibt es eine Gruppe von wandernden Geschichtenerzählern, die „Sänger-Maler". Sie tragen riesige, zusammengerollte Stoffe mit sich herum. Wenn sie sich abrollen, sehen wir bunte Bilder, die eine Geschichte erzählen – vielleicht von Göttern, von Tieren oder von alltäglichen Dingen. Aber die Bilder allein reichen nicht; die Erzähler singen dazu Lieder, um die Geschichte zum Leben zu erwecken.

Das Problem: Diese Kunstform ist vom Aussterben bedroht. Nur noch wenige Menschen können sie. Die Bilder und Lieder sind oft in alten Büchern, auf verstaubten Bändern oder in den Köpfen der Künstler vergraben. Viele sind beschädigt, die Texte sind unvollständig oder schwer zu lesen.

Hier kommt GeMi ins Spiel. Es ist wie ein digitaler Kurator oder ein intelligenter Bibliothekar, der speziell für diese Kunst entwickelt wurde. Aber statt nur Bücher zu sortieren, versteht GeMi sowohl die Bilder als auch die Lieder.

Hier ist eine einfache Erklärung, wie GeMi funktioniert, mit ein paar kreativen Vergleichen:

1. Der große Wirrwarr (Das Problem)

Stellen Sie sich vor, Sie haben einen Haufen Puzzleteile. Einige sind Bilder, einige sind Textzettel mit Liedern. Aber viele Textzettel sind zerknittert, die Tinte ist verblasst, und bei manchen Puzzleteilen fehlt der passende Text ganz. Wenn Sie versuchen, ein Puzzle zu legen, indem Sie nur auf die Farbe schauen (das Bild) oder nur auf das Wort (den Text), scheitern Sie oft.

2. Der Übersetzer (LLM & Text-Bereinigung)

GeMi hat einen ersten Helfer: einen super-intelligenten Übersetzer (ein sogenanntes Large Language Model).

• Die Aufgabe: Die alten Texte sind oft chaotisch, voller Dialekt oder Tippfehler.
• Die Analogie: Stellen Sie sich vor, Sie haben einen alten, verschmierten Brief. Der Übersetzer wischt die Tinte auf, korrigiert die Rechtschreibung und fasst den Kern der Geschichte in klare, moderne Sätze zusammen. Er macht aus einem chaotischen Text eine „saubere" Version, damit der Computer ihn versteht.

3. Der Brückenbauer (Multimodale Fusion)

Jetzt hat GeMi zwei Arten von Informationen: die sauberen Texte und die Bilder. Aber wie verbindet man sie?

• Die Analogie: Stellen Sie sich vor, das Bild ist ein Foto von einem Apfel und der Text ist das Wort „Apfel". Ein einfacher Computer sieht nur Pixel und Buchstaben. GeMi baut eine Brücke zwischen beiden. Es lernt: „Aha, wenn ich dieses Bild sehe und dieses Wort höre, dann ist das definitiv ein Apfel."
• GeMi nutzt zwei verschiedene Werkzeuge, um diese Brücke zu bauen:
  • Der Vergleichs-Spezialist (SigCLIP): Er vergleicht Bild und Text direkt. „Passt das Bild zu diesem Lied?"
  • Der Wahrscheinlichkeits-Magier (VAE): Er ist vorsichtiger. Er sagt: „Ich bin zu 80 % sicher, dass dies ein Baum ist, aber vielleicht ist es auch nur ein Busch." Er berücksichtigt Unsicherheiten, besonders wenn das Bild unscharf ist.

4. Das soziale Netzwerk der Bilder (Graph Neural Networks)

Das ist das Herzstück von GeMi. Stellen Sie sich vor, alle Bilder und Lieder sind Personen auf einer riesigen Party.

• Normalerweise würden wir sie einfach in eine Liste sortieren.
• GeMi aber baut ein soziales Netzwerk (einen Graphen).
• Die Analogie: Wenn zwei Bilder ähnliche Themen haben (z. B. beide zeigen einen Gott oder einen Baum), dann werden sie auf der Party zu Nachbarn. Sie halten sich an die Hände und flüstern sich zu: „Hey, ich habe auch einen Baum!"
• Durch dieses Flüstern (in der Technik „Nachrichtenweitergabe" genannt) lernen die Bilder voneinander. Selbst wenn ein Bild sehr beschädigt ist und kaum Text hat, kann es von seinen „Nachbarn" lernen, was es eigentlich darstellt.

5. Der Gedächtnis-Trainer (Lernen ohne alle Daten)

Oft gibt es nicht genug Daten, um alles perfekt zu lernen (man nennt das das „kalte Start"-Problem).

• Die Analogie: Stellen Sie sich vor, Sie versuchen, ein neues Spiel zu lernen, aber Sie haben nur die Hälfte der Regeln.
• GeMi nutzt zwei Strategien:
  • Transduktiv (Der Blick in die Glaskugel): Es schaut sich alle Bilder an, auch die, die es später empfehlen soll, um die Verbindungen besser zu verstehen. Das ist wie ein Lehrer, der den gesamten Stoff durchgeht, bevor er eine Prüfung macht.
  • Induktiv (Der schnelle Schüler): Es lernt nur mit den Daten, die es gerade hat, und versucht, das Gelernte auf völlig neue Bilder zu übertragen. Das ist wie ein Schüler, der lernt, wie man ein Rad fährt, und dann sofort versucht, ein Motorrad zu fahren.

6. Der persönliche Berater (Empfehlung)

Am Ende sitzt ein Nutzer vor dem Computer. Er sagt: „Ich mag Geschichten über Bäume und Götter."

• GeMi schaut auf sein soziales Netzwerk. Es findet die Bilder, die am nächsten zu den „Baum- und Gott-Nachbarn" stehen.
• Es schlägt dem Nutzer vor: „Schauen Sie sich dieses Bild an! Es passt perfekt zu dem, was Sie mögen."

Warum ist das wichtig?

GeMi ist nicht nur ein cooler Computer-Trick. Es ist ein digitaler Zeitkapsel.

• Es hilft, diese bedrohte Kunst zu bewahren.
• Es macht sie für neue Generationen zugänglich.
• Es hilft den Künstlern, ihre Werke zu verkaufen, indem es die richtigen Käufer findet.

Zusammenfassend: GeMi ist wie ein magischer Dolmetscher und ein geschickter Matchmaker in einem. Er nimmt die chaotischen, alten Bilder und Lieder, reinigt sie, verbindet sie intelligent miteinander und findet für jeden Betrachter genau die Geschichte, die er oder sie lieben wird.

Technische Zusammenfassung

1. Problemstellung

Das Papier adressiert die dringende Notwendigkeit, eine gefährdete traditionelle Kunstform aus Ostindien zu konservieren und zu studieren: die narrativen Rollengemälde (Narrative Scroll Paintings) von „Singing Painters". Diese Wandermaler erzählen Geschichten durch gemalte Bilder, die von Gesängen oder Gedichten begleitet werden.

Die spezifischen Herausforderungen für ein Empfehlungssystem in diesem Kontext sind:

• Mangel an digitalen Daten: Es existieren keine umfassenden, strukturierten Datenbanken für diese Kunstform. Die Daten sind oft nicht digitalisiert, unvollständig oder schlecht ausgerichtet (z. B. fehlen Texte zu Bildern oder umgekehrt).
• Multimodale Komplexität: Die Daten bestehen aus visuellen Inhalten (Bilder der Gemälde) und textuellen Inhalten (Lyrik der Lieder), die semantisch eng verknüpft, aber technisch schwer zu synchronisieren sind.
• Datenknappheit und Unausgewogenheit: Die verfügbaren Datensätze sind klein, und die zu klassifizierenden Konzepte (z. B. „Bäume", „Tiere", „mythologische Figuren") sind stark unausgewogen (Class Imbalance).
• Fehlende bestehende Lösungen: Es gibt kein dediziertes Empfehlungssystem für narrative Rollengemälde, das sowohl den Erhalt der Kunst als auch den Zugang für Nutzer (Kauf/Ansehen) ermöglicht.

2. Methodik: Das GeMi-System

GeMi (Graph-based Multimodal Recommendation) ist ein inhaltsbasiertes Empfehlungssystem, das Graph Neural Networks (GNNs) mit modernen Vision-Language-Modellen kombiniert. Die Architektur gliedert sich in vier Hauptkomponenten:

A. Multimodale Merkmalsextraktion (Feature Extraction)

Um die semantische Tiefe der Rollengemälde zu erfassen, wird ein modulares Kodierungs-System verwendet:

1. LLM-basierte semantische Kanonisierung: Ein feinabgestimmtes Large Language Model (TinyLlama) wird eingesetzt, um rohe Textbeschreibungen (Lyrik) in eine kompakte, konzeptzentrierte Form umzuwandeln. Dies reduziert lexikalische Varianz und Rauschen.
2. Kontrastive Bild-Text-Ausrichtung (SigCLIP): Ein SigCLIP-Modell (eine Variante von CLIP mit Sigmoid-Verlust statt Softmax) wird genutzt, um Bilder und Texte in einen gemeinsamen latenten Raum zu projizieren. Dies ermöglicht eine robuste Ausrichtung auch bei fehlenden Datenpaaren.
3. Multimodaler Variational Autoencoder (VAE): Ein VAE fusioniert visuelle und linguistische Informationen probabilistisch. Er modelliert Unsicherheit durch Varianzvektoren, was besonders bei verrauschten oder unvollständigen Daten hilfreich ist.

B. Graph-Struktur-Lernen (Graph Structure Learning - GSL)

Da die Beziehungen zwischen den Gemälden (Panels) nicht a priori bekannt sind, lernt GeMi die Graphstruktur aus den Daten:

• Homogene Graphen: Es werden Ähnlichkeitsmatrizen (basierend auf Cosine-Similarity der Multimodal-Embeddings) erstellt, um ein Item-Item-Graph zu bilden.
• Graph-Encoder-Varianten: Das System vergleicht drei Ansätze:
  • GCN (Graph Convolutional Network): Überträgt Labels direkt durch den Graphen.
  • GAE (Graph Autoencoder): Nutzt einen rekonstruktionsbasierten, unüberwachten Ansatz.
  • VGAE (Variational Graph Autoencoder): Führt eine probabilistische latente Darstellung ein, um Unsicherheiten in den Knotenrepräsentationen explizit zu modellieren. Dies ist besonders vorteilhaft bei kleinen, verrauschten Datensätzen.

C. Umgang mit Klassenungleichgewicht

Um das Problem seltener Konzepte (z. B. „Bäume") zu lösen, werden mehrere Strategien angewendet:

• Minority-Aware Edge Augmentation: Zusätzliche Kanten werden zwischen Knoten mit seltenen Labels (z. B. Bäume) hinzugefügt, um den Informationsfluss innerhalb dieser Klasse zu stärken.
• Edge Dropout: Zufälliges Entfernen von Kanten während des Trainings verhindert Overfitting auf dominante Cluster.
• Focal Loss & Reweighting: Der Verlust wird so gewichtet, dass schwer zu klassifizierende Beispiele und Minderheitenklassen stärkeren Einfluss auf den Gradienten haben.

D. Einbindung von Kollaborativem Filtern (CF)

Neben dem inhaltsbasierten Ansatz werden Nutzerpräferenzen (simuliert durch synthetische Nutzerprofile basierend auf annotierten Labels) integriert. Dies ermöglicht ein „Plug-and-Play"-Modul für kollaborative Filterung, das die Graph-Struktur um Interaktionsdaten erweitert.

3. Wichtige Beiträge

1. Einzigartiger Datensatz: Erstellung und Kuratierung eines multimodalen Datensatzes aus Feldforschungen in Ostindien, der Bilder und Texte von Rollengemälden enthält.
2. GeMi-Architektur: Entwicklung eines Empfehlungssystems, das State-of-the-Art Vision-Language-Modelle (LLM + CLIP/VAE) mit Graph-Struktur-Lernen (GCN/GAE/VGAE) kombiniert.
3. Umgang mit Datenknappheit: Demonstration, wie probabilistische Graph-Modelle (VGAE) und spezifische Augmentationsstrategien (Edge Augmentation) die Leistung bei kleinen, unausgewogenen Datensätzen signifikant verbessern.
4. Benchmarking: Umfassender Vergleich mit aktuellen transduktiven und induktiven Baselines (sowohl homogene als auch heterogene Graphen).

4. Ergebnisse

Die empirischen Ergebnisse wurden in transduktiven (Testdaten im Training sichtbar) und induktiven (Testdaten unsichtbar) Settings evaluiert. Die Metrik war Precision@K.

• Überlegenheit gegenüber Baselines: GeMi übertrifft konsistent State-of-the-Art-Modelle (wie LATTICE, PMGT, GraphSAGE, PinSAGE) in allen Kategorien (Tiere, Mythologie, Bäume).
  • Besonders hervorzuheben ist die Leistung bei der Kategorie „Mythologie", wo GeMi-GAE mit LLM-VAE-Features eine Precision von 0,78 erreichte (deutlich höher als alle Baselines).
  • Bei der schwierigen Kategorie „Bäume" (visuell subtil, textuell oft schwach beschrieben) zeigte GeMi-VGAE in induktiven Settings die beste Leistung (0,53).
• Einfluss von LLMs: Die Verwendung von LLM-gestützten Features (TinyLlama zur Textkanonisierung) führte zu signifikanten Verbesserungen gegenüber reinen CLIP- oder VAE-Features, insbesondere bei semantisch komplexen Labels wie Mythologie.
• Transduktiv vs. Induktiv: Transduktives Training lieferte generell stabilere und bessere Ergebnisse, insbesondere bei heterogenen Graphen. Induktives Lernen war jedoch erfolgreich und generalisierte gut, was für zukünftige Feldstudien wichtig ist.
• Modellvergleich: Der VGAE-Ansatz erwies sich als besonders robust gegenüber Unsicherheiten in den Daten, während GCN bei strukturell dichten Labels (wie Mythologie) stark war.

5. Bedeutung und Ausblick

Das Papier hat eine doppelte Bedeutung:

1. Kultureller Erhalt: Es bietet eine technologische Lösung zur Digitalisierung, Archivierung und Zugänglichkeit einer vom Aussterben bedrohten Kunstform. Das System hilft, die Werke zu katalogisieren und potenziellen Käufern oder Forschern ähnliche Werke zu empfehlen.
2. Technischer Fortschritt: Es demonstriert erfolgreich, wie multimodale Empfehlungssysteme mit kleinen, unausgewogenen und verrauschten Datensätzen umgehen können. Die Kombination aus LLM-basierter Textverarbeitung, probabilistischen Graph-Modellen (VGAE) und spezifischen Strategien zur Behandlung von Klassenungleichgewicht bietet einen neuen Weg für Nischen-Empfehlungssysteme im Bereich des digitalen Kulturerbes.

Zukünftige Arbeiten planen die Integration von Generativer KI (Diffusion Models) zur Lückenschließung bei fehlenden Bild-Text-Paaren sowie die Implementierung von dynamischen Preismodellen, um die Künstler direkt wirtschaftlich zu unterstützen. Ein Online-Tool (UPFAR) wird bereits genutzt, um reale Nutzerdaten zu sammeln und das System weiter zu trainieren.