Multimodal Cultural Heritage Knowledge Graph Extension with Language and Vision Models
Dieser Beitrag stellt WJoconde vor, einen multimodalen Wissensgraphen zum französischen Kulturerbe, und schlägt ein neues Framework vor, das Large Language Models und Vision-Language Models nutzt, um solche Graphen durch eine spezialisierte Validierungspipeline mit hoher Zuverlässigkeit automatisch zu erweitern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine riesige, unglaublich detaillierte Bibliothek französischer Kunst und Geschichte vor. Derzeit ist diese Bibliothek wie eine riesige Tabellenkalkulation organisiert: Sie listet Gemälde, Skulpturen und Artefakte auf und teilt Ihnen mit, wer sie hergestellt hat, wann und wo sie aufbewahrt werden. Dies ist das, was die Autoren einen Wissensgraphen nennen. Es ist eine strukturierte Landkarte von Fakten.
Dieser Tabellenkalkulation liegen jedoch zwei große Probleme zugrunde:
- Sie ist unvollständig: Es fehlen riesige Informationsbrocken, weil die reale Welt chaotisch und komplex ist.
- Sie ist langweilig: Sie enthält nur Text. Sie „sieht" die Bilder der Kunst nicht, obwohl die Bilder direkt dort vorhanden sind.
Die Autoren dieses Papers wollten dies beheben. Sie bauten eine neue, hochleistungsfähige Version dieser Bibliothek namens WJoconde und erfanden ein cleveres Roboterteam, um die fehlenden Lücken zu füllen.
So haben sie es getan, einfach erklärt:
1. Die neue Bibliothek: WJoconde
Stellen Sie sich die ursprüngliche französische Museumsdatenbank (Joconde) als staubiges Archiv vor. Die Autoren nahmen die besten Teile dieses Archivs und verknüpften sie mit Wikidata (einer riesigen, kostenlosen Online-Enzyklopädie von Fakten).
Sie schufen eine neue Version namens WJoconde. Was macht sie besonders?
- Sie ist multimodal: Stellen Sie sich eine Bibliothekskarte vor, die nicht nur eine Beschreibung eines Gemäldes enthält, sondern Ihnen das Gemälde auch zeigt. WJoconde verknüpft die Textbeschreibung direkt mit dem tatsächlichen Bild des Kunstwerks.
- Sie ist ein Benchmark: Sie haben diese Daten bereinigt und drei verschiedene Versionen davon erstellt (eine Rohversion, eine bereinigte und eine mit Text und Bildern), damit andere Wissenschaftler sie nutzen können, um ihre eigenen KI-Tools zu testen. Es ist, als würde man jedem eine standardisierte „Prüfung" geben, um zu sehen, wer den besten Wissensgraphen baut.
2. Das Problem: Die „geschlossene Welt" versus die „offene Welt"
Die meisten KI-Systeme, die versuchen, fehlende Fakten zu ergänzen, funktionieren wie ein Multiple-Choice-Test. Sie schauen sich die vorhandene Liste von Antworten an und raten, welche fehlt.
- Das Problem: Wenn die Antwort nicht auf der Liste steht, sagt die KI: „Ich weiß es nicht."
- Die Realität: In der Kunstgeschichte könnte die „richtige Antwort" etwas sein, das noch niemand zuvor niedergeschrieben hat. Die KI muss in der Lage sein, neue Fakten zu erfinden, nicht nur aus einem Menü auszuwählen. Dies wird als Annahme einer offenen Welt (Open World Assumption) bezeichnet.
3. Die Lösung: Das Roboterdetektiv-Team
Um dies zu lösen, bauten die Autoren eine Pipeline (einen Arbeitsablauf) mit zwei Arten von superschlauen KI-Robotern:
- Der Leser (LLM): Ein Large Language Model (wie ein superschlauer Textleser), der die Beschreibungen der Kunst liest.
- Der Betrachter (VLM): Ein Vision-Language Model (ein Roboter, der Bilder „sehen" und verstehen kann), der die Gemälde betrachtet.
Wie das Team zusammenarbeitet:
- Die Aufgabe: Das System nimmt ein Gemälde und fragt: „Was passiert auf diesem Bild?"
- Die Vermutung: Der Leser betrachtet den Text, und der Betrachter betrachtet das Bild. Beide rufen ihre Vermutungen heraus (z. B. „Es zeigt ein Pferd!" oder „Es zeigt eine Schlacht!").
- Die Doppelkontrolle (Der magische Schritt): Dies ist der wichtigste Teil. Da KI-Roboter manchmal „halluzinieren" (sich Dinge ausdenken), bauten die Autoren eine Validierungspipeline.
- Sie prüfen, ob die Vermutung des Lesers mit der Vermutung des Betrachters übereinstimmt.
- Sie prüfen, ob die Vermutung tatsächlich ein neuer Fakt ist oder nur ein Synonym für etwas, das sie bereits kennen (z. B. sicherstellen, dass sie nicht „Vorhänge" hinzufügen, wenn „Vorhang" bereits in der Datenbank ist).
- Sie bitten den Betrachter sogar, das Bild erneut zu betrachten, um zu bestätigen: „Ja, ich sehe definitiv ein Pferd auf diesem Bild."
4. Die Ergebnisse: Eine größere, bessere Landkarte
Die Ergebnisse waren beeindruckend. Durch den Einsatz dieses Roboterteams:
- fügten sie erfolgreich 61 % mehr Fakten zur Datenbank hinzu.
- fügten sie Tausende neuer Details hinzu, wie spezifische Aktionen (Tjostieren), Objekte (Schwerter) und Szenen (Stadtbilder), die zuvor fehlten.
- Qualitätskontrolle: Als Menschen die Arbeit überprüften, stellten sie fest, dass die Roboter in 92 % der Fälle korrekt lagen.
Das Fazit
Die Autoren bauten nicht nur eine größere Datenbank; sie bauten ein System, das ein Gemälde und seine Beschreibung betrachten, die Geschichte verstehen und neue, genaue Fakten zu einer digitalen Landkarte hinzufügen kann, ohne dass ein Mensch alles eintippen muss.
Sie bewiesen, dass wir durch die Kombination von KI, die Texte liest, und KI, die Bilder sieht, und indem wir sie die Arbeit des jeweils anderen überprüfen lassen, unser Wissen über das kulturelle Erbe automatisch auf eine Weise erweitern können, die sowohl schnell als auch zuverlässig ist. Sie machten ihren gesamten Code und ihre Daten für jedermann frei verfügbar, damit andere Forscher versuchen können, es noch besser zu machen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.