Visually similar prints expose a benchmark validity gap in computational art history
Diese Arbeit zeigt auf, dass Benchmarks zur visuellen Abfrage in der computergestützten Kunstgeschichte oft irreführend hohe Genauigkeiten liefern, indem sie historisch distinkte, aber visuell ähnliche Druckkopien auslassen, wodurch eine kritische Validitätslücke offenbart wird, die Kandidatenpools unter Einbeziehung verwechselbarer Alternativen erforderlich macht, um zwischen bloßer Design-Rekurrenz und echten historischen Beziehungen zu unterscheiden.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In den riesigen, digitalisierten Archiven der Museen der Welt ist eine neue Art der Suche entstanden. Anstatt Wörter einzutippen, können Gelehrte und die Öffentlichkeit nun ein Bild hochladen, um andere zu finden, die ihm ähnlich sehen. Diese Technologie, bekannt als visuelle Abfrage (visual retrieval), ist zu einem mächtigen Werkzeug geworden, um verstreute Kunststücke zu verbinden, nachzuvollziehen, wie ein einzelnes Design über Jahrhunderte hinweg wanderte, und die visuelle Geschichte von Kulturen wiederaufzubauen. Sie funktioniert durch den Vergleich der Pixel digitaler Fotografien, indem sie nach Mustern in Linien, Formen und Farben sucht, die darauf hindeuten, dass zwei Bilder miteinander verwandt sind. Für viele Arten von Kunst funktioniert dies wunderbar. Doch ein spezifisches und hartnäckiges Problem entsteht, wenn es sich bei den Objekten um Druckgrafiken handelt – Bilder, die durch das Pressen von Tinte von einem geschnitzten Block auf Papier entstanden sind. Ein einzelnes Design kann in vielen verschiedenen Formen existieren: ein Originalabdruck von einem frischen Block, ein späterer Abdruck von einem abgenutzten Block, eine Kopie, die von einem anderen Künstler angefertigt wurde, oder eine Reproduktion. Für einen Computer sehen diese verschiedenen Versionen oft nahezu identisch aus. Für einen Historiker erzählen sie jedoch völlig unterschiedliche Geschichten darüber, wer sie gemacht hat, wann und wie. Die zentrale Frage lautet, ob eine Computersuche, die ein visuell ähnliches Bild findet, tatsächlich das richtige historische Objekt findet oder nur ein überzeugendes Ähnlichkeitsbild.
Eine aktuelle Studie von Jiongming Fang von der Communication University of Zhejiang untersucht genau diese Lücke zwischen dem, was ein Computer sieht, und dem, was ein Historiker weiß. Die Forschung konzentriert sich auf eine Sammlung von Holzschnitten aus dem Metropolitan Museum of Art in New York. Die Forscher wollten testen, ob standardmäßige Computersuchwerkzeuge zwischen einem Originaldruck und einer Kopie unterscheiden können, die in den Aufzeichnungen des Museums explizit als solche gekennzeichnet ist. Sie gestalteten ein kontrolliertes Experiment unter Verwendung von 39 spezifischen Datensätzen aus der Datenbank des Museums. In der ersten Phase ließen sie den Computer nach einem passenden Design in einer Gruppe von Kandidaten suchen, die den korrekten Originaldruck enthielt, aber viele andere Drucke mit unterschiedlichen Designs, wobei sie die bekannte Kopie jedoch bewusst weggelassen hatten. In diesem Szenario arbeitete der Computer perfekt. Unter Verwendung standardmäßiger Methoden zum Vergleich der Bilder identifizierte das System den beabsichtigten Originaldruck in jedem einzelnen Fall als die beste Übereinstimmung über 240 verschiedene Testabfragen hinweg. Der Computer löste im Wesentlichen ein Rätsel, bei dem die falsche Antwort gar nicht erst vorhanden war.
Die Forscher änderten das Experiment dann, um zu sehen, was passieren würde, wenn der Computer gezwungen wäre, zwischen dem Original und der Kopie zu wählen. Sie fügten die eine bekannte Kopie der Gruppe der Kandidaten hinzu und schufen so eine neue Gruppe, in der der Computer zwischen zwei Bildern entscheiden musste, die dasselbe Design teilten, aber unterschiedliche historische Identitäten besaßen. Die Ergebnisse änderten sich dramatisch. Als die Kopie präsent war, brach die perfekte Bilanz des Computers zusammen. Je nach der spezifischen Methode zum Vergleich der Bilder identifizierte das System den Originaldruck nur 187, 177 oder 237 Mal von 240 Abfragen als das beste Ergebnis. In den verbleibenden Fällen wählte der Computer die Kopie stattdessen aus und setzte sie an die Spitze. In einigen Fällen wurde die Kopie zum einzigartigen Top-Ergebnis und verdrängte das beabsichtigte Original vollständig. Dies geschah, obwohl der Computer dieselben Bilder und dieselben mathematischen Regeln wie zuvor verwendete. Das Einzige, was sich geändert hatte, war die Anwesenheit eines historisch anderen Objekts, das visuell sehr ähnlich aussah.
Die Studie testete auch ein vorsichtigeres System, das darauf ausgelegt war, zuzugeben, wenn es sich unsicher war. Dieses System wurde so programmiert, dass es erst dann eine endgültige Entscheidung traf, wenn zwei verschiedene Vergleichsmethoden zur gleichen Antwort gelangten; andernfalls stoppte es und bat einen Menschen um Hilfe. Selbst dieser vorsichtige Ansatz konnte nicht jeden Fehler abfangen. Das System akzeptierte die Kopie in zwei separaten Fällen als die korrekte Antwort, was bewies, dass ein Sicherheitsnetz allein nicht ausreicht, um die historische Genauigkeit zu garantieren, wenn die visuellen Beweise mehrdeutig sind. Die Forscher fanden heraus, dass das Problem nicht darin bestand, dass der Computer schlecht darin war, das Design zu erkennen; er war sogar exzellent darin. Das Problem war, dass der Test selbst fehlerhaft war, weil er nicht die schwierigen Alternativen beinhaltete, die ein echter Historiker berücksichtigen müsste. Ein Benchmark, der den Computer nur bittet, ein Design unter unzusammenhängenden Bildern zu finden, wird immer eine hohe Erfolgsquote zeigen, aber diese Erfolgsquote sagt uns nichts darüber aus, ob der Computer zwischen einem Original und einer Kopie unterscheiden kann.
Das Paper kommt zu dem Schluss, dass sich die Art und Weise, wie wir diese Systeme testen, ändern muss. Die Gültigkeit eines Suchwerkzeugs hängt davon ab, was es während des Tests zu sehen bekommt. Wenn ein System nur an einfachen Beispielen getestet wird, bei denen die falschen Antworten dem richtigen völlig unähnlich sehen, ist seine hohe Punktzahl irreführend. Um wirklich zu verstehen, ob ein Werkzeug für die Kunstgeschichte nützlich ist, muss der Test „beziehungsverwechselbare“ (relation-confusable) Kandidaten enthalten – Objekte, die zwar ähnlich aussehen, aber unterschiedliche Geschichten haben. Der Autor schlägt eine neue Art der Organisation digitaler Forschung vor, die drei distinkte Schritte trennt: das Finden visuell ähnlicher Bilder, das Testen, ob das System mit verwirrenden Alternativen umgehen kann, und schließlich das Treffen eines historischen Urteils basierend auf dokumentarischen Belegen. Dieser Ansatz versucht nicht, die Rolle des Kunsthistorikers zu automatisieren. Stattdessen schafft er eine klare Grenze, an der der Computer sagen kann: „Diese sehen gleich aus“, und der menschliche Experte dann entscheiden kann: „Aber dies hier ist eine Kopie“. Indem wir die Grenzen der Suche sichtbar machen und das System gegen die reale Komplexität der Kunstgeschichte testen, können Forscher Werkzeuge bauen, die ehrlich darüber sind, was sie wissen und was sie nicht wissen. Die Studie zeigt, dass für ein wirklich zuverlässiges digitales Erbe die visuelle Ähnlichkeit nicht mit der historischen Wahrheit gleichgesetzt werden darf.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.