ArtiFact: A Large-Scale Multi-Modal Cultural Heritage Dataset
Dieses Paper stellt ArtiFact vor, einen groß angelegten multimodalen Kulturerbe-Datensatz bestehend aus über 650.000 Museumseinträgen, der als anspruchsvoller Benchmark zur Förderung der Forschung im Bereich des multimodalen Datenmanagements dient, indem er aktuelle Einschränkungen bei der kreuzmodalen Fehlererkennung und der semantischen Abfrageverarbeitung aufzeigt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine riesige, weltweite Bibliothek der Kunstgeschichte vor, die jedoch statt Büchern eine chaotische Mischung aus handgeschriebenen Karten, digitalen Tabellen und Millionen von Fotografien ist. Dies ist das Problem, mit dem sich die Autoren dieser Arbeit befassen. Sie haben einen neuen, riesigen Datensatz namens ArtiFact erstellt, um Computern beizubringen, wie sie mit dieser unordentlichen Mischung aus Informationen umgehen können.
Hier ist eine einfache Aufschlüsselung dessen, was sie getan haben und warum es wichtig ist, unter Verwendung einiger Alltagsanalogien.
1. Das Problem: Der „unordentliche Dachboden“
Stellen Sie sich die großen Museen der Welt (wie das Met in New York, das Art Institute in Chicago und das Rijksmuseum in Amsterdam) wie drei verschiedene Familien vor, die seit Jahrhunderten Kunst sammeln. Jede Familie hat ihre eigene Art, ihren Dachboden zu organisieren:
- Eine Familie schreibt Daten als „Späte 1700er“.
- Eine andere schreibt „1767–1800“.
- Eine misst die Höhe in Zoll, eine andere in Zentimetern.
- Manchmal ist das Foto einer Vase an die falsche Karte geklebt worden, die einen Schwert beschreibt.
Lange Zeit verfügten Informatiker nicht über einen großen, sauberen Datensatz, der Tabellen (Zahlen und Namen), Text (Beschreibungen) und Bilder (Fotos) kombinierte, um zu testen, ob ihre KI diese Unordnung beheben kann. Die meisten bestehenden Tests gingen davon aus, dass die Daten bereits perfekt seien, was in der realen Welt nicht der Fall ist.
2. Die Lösung: Den „ArtiFact“ aufbauen
Die Autoren haben ArtiFact gebaut, eine digitale Bibliothek, die über 650.000 Museumseinträge enthält.
- Die Sammlung: Sie sammelten Kunstdatensätze aus den drei oben genannten großen Museen.
- Das Aufräumteam: Bevor sie alles in eine große Kiste warfen, nutzten sie eine Mischung aus strengen Computeregeln und „intelligenter“ KI (Large Language Models), die als Super-Bibliothekar fungierte. Dieser Bibliothekar:
- Übersetzte alle Daten in ein Standardformat.
- Konvertierte alle Maßeinheiten in dieselben Einheiten (wie das Umwandeln von „10 1/4 Zoll“ in „26,0 cm“).
- Korrigierte Tippfehler und stellte sicher, dass „Ölfarbe“ und „Ölfarbstoff“ als dasselbe behandelt wurden.
- Zusammenführte verschiedene Namen desselben Künstlers (wie „Hiroshige“ und „Hiroshige I“).
Das Ergebnis ist ein einzelner, standardisierter Datensatz, bei dem jedes Kunstwerk ein Foto, eine Beschreibung und eine strukturierte Datenkarte besitzt.
3. Der Test: „Das Fehler-Injektions-Spiel“
Um zu sehen, ob Computer tatsächlich klug genug sind, um diese Daten zu verwalten, spielten die Autoren ein Spiel nach dem Motto „Finde den Unterschied“. Sie nahmen einen Teil der Daten (etwa 130.000 Datensätze) und beschädigten sie absichtlich auf sieben spezifische Arten, wodurch eine „Taxidermie der Fehler“ entstand.
Stellen Sie sich vor, sie hätten ein Foto eines Holzstuhls genommen und es mit einem Foto eines Metallstuhls vertauscht, aber die Beschriftung „Holz“ beibehalten. Oder sie hätten das Datum eines Gemäldes von den 1600er Jahren auf die 1900er Jahre geändert, obwohl der Stil nicht dazu passte.
Sie erstellten sieben Arten von Fehlern:
- Physisch: Vertauschen von Materialien (z. B. behaupten, eine Steinstatue sei aus Holz).
- Kulturell: Behaupten, ein ägyptisches Objekt stamme aus Griechenland.
- Zeitlich: Ein Objekt in der Geschichte 200 Jahre vor oder zurück versetzen.
- Identität: Den Namen eines Künstlers mit jemandem vertauschen, der in derselben Ära lebte, aber eine andere Person war.
- Geografisch: Behaupten, ein französisches Gemälde stamme aus Italien.
- Räumlich: Die Größe ändern (z. B. sagen, ein kleiner Ring sei so groß wie ein Essteller).
- Visuell: Das eigentliche Foto mit einem sehr ähnlich aussehenden Foto eines anderen Objekts vertauschen.
Das Ergebnis: Sie testeten eine leistungsstarke KI (Gemini) an diesen fehlerhaften Daten.
- Die gute Nachricht: Die KI war sehr gut darin, offensichtliche Fehler zu finden, wie das Vertauschen eines Fotos einer Katze mit einem Hund oder die Änderung der Größe um den Faktor 10.
- Die schlechte Nachricht: Die KI hatte Schwierigkeiten mit subtilen „Expertenfehlern“. Wenn die KI ein Gemälde aus den 1800er Jahren sah, das als „chinesisch“ bezeichnet wurde, obwohl es eigentlich „japanisch“ war, oder wenn das Material leicht anakronistisch war (wie Plastik bei einem antiken Artefakt), übersah die KI dies oft. Sie konnte nicht zwischen einer „britischen Alabastervase“ und einer „holländischen Alabastervase“ unterscheiden, nur indem sie das Bild betrachtete.
4. Der zweite Test: „Das verwirrende Fragen-Spiel“
Die Autoren testeten auch, wie gut die KI komplexe Fragen über die Kunst beantworten kann. Sie stellten Fragen wie:
- „Finde mir alle britischen Alabasterstücke.“
- „Finde mir chinesische Schwerter.“
Das Ergebnis: Die KI war durch Geschichte und Kultur verwirrt.
- Sie konnte nicht zwischen ähnlich aussehenden Objekten aus benachbarten Ländern unterscheiden (wie das Verwechseln von chinesischen Schwertern mit japanischen).
- Sie hatte Schwierigkeiten mit veralteten Begriffen oder spezifischen Techniken (wie das Verwechseln von „Albumin-Silber-Druck“ mit normalem Färben).
- Im Wesentlichen wusste die KI, wie ein Schwert aussieht, aber sie verstand die Geschichte oder die Kultur dahinter nicht gut genug, um die Frage korrekt zu beantworten.
Das Fazit
Die Arbeit kommt zu dem Schluss, dass wir zwar über leistungsstarke KI-Werkzeuge verfügen, diese aber derzeit wie Anfänger-Museumspraktikanten sind. Sie sind gut darin, offensichtliche Dinge zu sortieren (wie das Trennen von Fotos von Texten), aber sie scheitern, wenn sie tiefere kulturelle Nuancen, historische Zeitlinien oder subtile Materialunterschiede verstehen müssen.
ArtiFact steht nun als „Trainingsgymnasium“ für Forscher zur Verfügung. Es ist ein Ort, an dem sie eine bessere KI entwickeln können, die nicht nur das Bild sieht, sondern auch die Geschichte und Kultur dahinter versteht. Die Autoren hoffen, dass dies helfen wird, den „unordentlichen Dachboden“ des weltweiten kulturellen Erbes zu ordnen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.