Sampling variability ranks reconstruction error in lacquerware image inpainting across models and collections
Diese Studie zeigt, dass die Stichprobenvariabilität über mehrere generative Inpainting-Rekonstruktionen hinweg als starker Prädiktor für den Rekonstruktionsfehler bei Lackwarenbildern dient, was eine Priorisierung der Ergebnisse für die menschliche Überprüfung ermöglicht, obgleich dies nicht in der Lage ist, die historische Authentizität zu garantieren oder Fehler vollständig zu eliminieren.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Museumsfotografien dienen als primäres Archiv für empfindliche Objekte wie Lackwaren, indem sie den Glanz einer Oberfläche oder die Komplexität eines bemalten Motivs einfangen. Doch eine Fotografie ist nur ein flaches Bild; sie kann nicht die Materialschichten unter der Farbe oder den wahren Zustand des Objekts offenbaren, wenn Teile davon fehlen. Wenn Restauratoren oder Historiker sich vorstellen müssen, wie ein beschädigtes Stück ausgesehen haben könnte, wenden sie sich manchmal an die künstliche Intelligenz. Diese Computerprogramme können fehlende Bereiche eines Fotos ergänzen und so ein vollständiges Bild erschaffen, das für das menschliche Auge überzeugend wirkt. Ein überzeugendes Bild ist jedoch nicht zwangsläufig ein korrektes Bild. Der Computer könnte ein Muster erfinden, das nie existierte, oder einen Riss glätten, der sichtbar bleiben sollte. Die zentrale Herausforderung für das digitale Erbe besteht nicht nur darin, ein hübsches Bild zu erzeugen, sondern zu wissen, wann dieses Bild wahrscheinlich falsch ist. Wenn ein Computer eine Rekonstruktion generiert, wie kann ein menschlicher Experte feststellen, ob er ihr vertrauen oder genauer hinschauen sollte?
Ein Forschungsteam ging mit der Absicht vor, diese Frage zu beantworten, indem es eine spezifische Idee testete: Wenn ein Computer mehrere verschiedene Versionen desselben fehlenden Teils generiert, könnte das Ausmaß der Uneinigkeit zwischen diesen Versionen signalisieren, wie genau das Ergebnis ist. Sie konzentrierten sich auf Lackwaren, eine Art dekorierte Holz- oder Metalloberflächen, die mit einer harten, glänzenden Schicht überzogen sind, und nutzten eine Sammlung von Fotografien aus bedeutenden Museen. Die Forscher nahmen intakte Fotos dieser Objekte und bedeckten digital kleine, mittlere und große Abschnitte davon, um Schäden zu simulieren. Sie baten daraufhin zwei verschiedene Modelle der künstlichen Intelligenz, den Schaden zu „heilen“, indem sie vier verschiedene mögliche Vervollständigungen für jede fehlende Stelle generierten. Der Kern ihrer Methode war ein einfacher Vergleich. Sie untersuchten die ersten drei generierten Bilder, um zu sehen, wie sehr sie sich im fehlenden Bereich voneinander unterschieden. Wenn die drei Bilder sich sehr ähnlich sahen, war der Computer zuversichtlich. Wenn sie sich sehr unterschiedlich sahen, war der Computer unsicher. Sie überprüften diesen „Unsicherheitswert“ dann anhand des vierten Bildes, das sie verborgen gehalten hatten, um zu sehen, ob der Wert tatsächlich vorhersagte, wie weit das Ergebnis vom ursprünglichen, intakten Foto abwich.
Die Ergebnisse zeigten ein klares Muster. Wenn die drei generierten Bilder erheblich voneinander abwichen, war das vierte Bild in der Regel deutlich verschieden vom Originalfoto, was bedeutete, dass die Rekonstruktion einen großen Fehler enthielt. Umgekehrt, wenn die drei Bilder eng miteinander übereinstimmten, war das vierte Bild viel näher an der Wahrheit. In der Gruppe von 64 Originalobjekten fanden die Forscher, dass diese Uneinigkeit ein starker Prädiktor für Fehler war. Durch die Anwendung dieser Methode konnten sie die Objekte sortieren und nur diejenigen untersuchen, bei denen der Computer am ehesten zuversichtlich schien. Wenn sie nur die 40 Prozent der Objekte mit der geringsten Uneinigkeit betrachteten, sank der durchschnittliche Fehler in diesen ausgewählten Bildern drastisch im Vergleich zum Betrachten aller Bilder nach dem Zufallsprinzip. Dies bedeutete nicht, dass der Computer bessere Bilder erzeugte; die Bilder waren exakt dieselben. Stattdessen fungierte die Methode als Filter, der Menschen half zu entscheiden, welche Bilder ihre Zeit wert waren und welche wahrscheinlich irreführend waren.
Dieser Ansatz bewährte sich auch, als die Forscher ihn an einem völlig neuen Satz von 40 Objekten aus verschiedenen Museen mit einer anderen Version des Modells der künstlichen Intelligenz testeten. Die Verbindung zwischen Uneinigkeit und Fehler blieb stark bestehen, was darauf hindeutet, dass die Methode kein Zufall eines spezifischen Datensatzes ist. Die Studie deckte jedoch auch wichtige Einschränkungen auf. Der Computer war wesentlich besser darin, einfache, glatte Oberflächen zu rekonstruieren, als komplexe, verzierte Bereiche zu handhaben. Da die Methode von Natur aus die einfacheren Objekte bevorzugte, hätte eine strikte Anwendung des Filters die meisten der verzierten Stücke ausgeschlossen, die oft kulturell bedeutsamer sind. Darüber hinaus konnte die Methode zwar Pixelfehler bestimmen, aber nicht feststellen, ob eine Rekonstruktion historisch korrekt oder für tatsächliche Konservierungsarbeiten geeignet war. Der Computer könnte sich auf ein falsches Muster einigen oder ein plausibles, aber historisch unmögliches Design generieren.
Die Forscher verglichen ihre Methode auch mit einfacheren Wegen, die Schwierigkeit eines Bildes zu beurteilen, wie etwa die Messung der Anzahl der Kanten oder der Menge der Textur im fehlenden Bereich. In der ursprünglichen Gruppe der Objekte schnitt ihre Methode der Uneinigkeit etwas besser ab, aber der Vorteil war gering und nicht immer konsistent. In der externen Gruppe von Museumsobjekten zeigte die Methode der Uneinigkeit einen klareren Nutzen gegenüber diesen einfacheren Prüfungen. Die Studie kam zu dem Schluss, dass diese Technik zwar nicht das Problem der historischen Authentizität löst, aber ein praktisches Werkzeug für Museen darstellt. Sie liefert ein reproduzierbares Signal, das helfen kann, die Prioritäten für die menschliche Überprüfung digitaler Rekonstruktionen festzulegen. Indem sie die Bilder markiert werden, bei denen sich der Computer unsicher ist, ermöglicht sie es Experten, ihre Aufmerksamkeit dort einzusetzen, wo sie am dringendsten benötigt wird, und stellt sicher, dass die Bemühungen zur Verifizierung des digitalen Erbes auf die unsichersten und potenziell problematischsten Fälle konzentriert werden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.