A Heritage-Aware Evaluation Framework for Synthetic Training Images of Kizil Grotto Murals
Dieses Paper präsentiert ein kulturerbebewusstes Evaluierungsframework, das zehn gewichtete Indikatoren in den Bereichen Semantik, Komposition, Farbe und Linie nutzt, um synthetische Bilder von Kizil-Grottenwandmalereien, die von verschiedenen KI-Modellen generiert wurden, zu bewerten und zu filtern, wobei letztlich Midjourney als der beste Akteur für die Erstellung hochwertiger Trainingsdatensätze identifiziert wird.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Tief in der kargen Landschaft Westchinas liegen die Kizil-Grotten, ein weites Netzwerk von Höhlen, das einst als wichtiger Stopp an der alten Seidenstraße diente. In diesen Höhlen malten Künstler vor tausenden von Jahren Wandmalereien, die mit einer ausgeprägten visuellen Sprache Geschichten aus dem buddhistischen Leben erzählen. Diese Gemälde sind nicht nur schön; sie sind historische Aufzeichnungen religiöser Überzeugungen, des künstlerischen Austauschs und der spezifischen Techniken, die von antiken Handwerkern angewandt wurden. Doch die Zeit und die Umgebung haben schwere Spuren hinterlassen. Die Pigmente sind verblasst, der Putz ist rissig geworden, und viele Abschnitte der Wände sind zerbröckelt, was Lücken in der visuellen Erzählung hinterlässt. Für Forscher, die diese Kunstwerke studieren oder Computer zur deren Restaurierung nutzen wollen, stellt dieser Schaden ein ernstes Problem dar: Es gibt schlichtweg nicht genügend klare, vollständige Bilder, um einen Computer darauf zu trainieren, die Muster, Farben und Geschichten des Kizil-Stils zu erkennen.
Um diesen Mangel zu beheben, haben sich Wissenschaftler der künstlichen Intelligenz zugewandt, speziell einer Technologie, die als generative Modelle bekannt ist. Dies sind Computerprogramme, die in der Lage sind, neue Bilder basierend auf Textbeschreibungen oder Beispielen von Grund auf neu zu erschaffen. Theoretisch könnten diese Werkzeuge tausende neue Bilder erzeugen, die wie Kizil-Wandmalereien aussehen und somit die enorme Menge an Daten liefern, die für das Training von Restaurierungssoftware benötigt wird. Aber es gibt einen Haken. Nur weil ein Computer ein Bild erstellen kann, das wie ein Gemälde aussieht, bedeutet das nicht, dass es ein gutes Gemälde ist. Ein künstliches Bild könnte zwar die Farben richtig treffen, aber die Geschichte verzerren, oder es könnte die allgemeine Form einer Figur erfassen, aber die spezifischen kulturellen Symbole übersehen, die der Kunst ihre Bedeutung verleihen. Wenn Forscher diese fehlerhaften Bilder in ihre Trainingsprogramme einspeisen, könnte der Computer die falschen Lehren ziehen, was künftige Restaurierungsbemühungen potenziell ruinieren würde. Die Herausforderung besteht also nicht nur darin, mehr Bilder zu machen, sondern herauszufinden, welche den Erbe treu sind und welche lediglich digitales Rauschen darstellen.
Ein Team von Forschern der Beijing University of Posts and Telecommunications und des Kizil Caves Research Institute setzte sich zum Ziel, genau dieses Problem zu lösen. Sie entwickelten eine neue Methode, um synthetische Bilder speziell für die Kizil-Grotten-Wandmalereien zu bewerten, indem sie ein Framework schufen, das wie eine strenge Qualitätskontrolle fungiert. Anstatt den Computer einfach nur fragen zu lassen, ob ein Bild „gut“ aussieht, brachen sie die einzigartigen Merkmale der Kizil-Kunst in vier spezifische Bereiche auf: die erzählte Geschichte, die Anordnung des Bildes, die verwendeten Farben und die Linien, die die Formen definieren. Sie wiesen jedem dieser Bereiche eine spezifische Bedeutung zu und entschieden, dass es der kritischste Faktor sei, die Geschichte und die kulturelle Bedeutung korrekt darzustellen, gefolgt von der Komposition des Bildes, der Genauigkeit der Farben und schließlich der Glätte der Linien.
Um ihr System zu testen, begannen die Forscher mit einem sorgfältig vorbereiteten Satz echter Bilder. Sie nahmen 1.479 Fotografien aus Höhle 38, einer speziellen Kammer der Grotten, die für ihre reichen und relativ vollständigen Wandmalereien bekannt ist. Aus diesen Fotos restaurierten sie manuell 94 Bilder, um das visuelle Rauschen durch Risse und Verblassen zu entfernen, und wählten dann die 24 besten aus, die als „Goldstandard“ für das Experiment dienen sollten. Diese 24 Bilder zeigten nicht-menschliche Motive wie Tiere, Pflanzen und dekorative Objekte, die gewählt wurden, um die komplexen Schwierigkeiten bei der Generierung menschlicher Gesichter zu vermeiden. Unter Verwendung dieser 24 Referenzbilder baten sie vier verschiedene populäre KI-Systeme – Stable Diffusion, Midjourney, DALL·E 3 und Kandinsky – neue Bilder zu generieren. Sie gaben jedem System dieselben Anweisungen und baten sie, Bilder im Stil der Kizil-Wandmalereien mit spezifischen Motiven und Farben zu erstellen. Insgesamt produzierten die Systeme über 10.000 Kandidatenbilder für das Team zur Evaluierung.
Die Ergebnisse dieses massiven Screening-Prozesses zeigten, dass nicht alle künstlichen Intelligenzen gleichwertig sind, wenn es um das kulturelle Erbe geht. Die Forscher fanden heraus, dass ein System, Midjourney, die höchste Gesamtqualität lieferte und auf der kombinierten Skala von Geschichte, Komposition, Farbe und Linie am besten abschnitt. Die Studie zeigte jedoch auch, dass kein einzelnes System in allem perfekt war. Während Midjourney exzellent darin war, die richtigen Geschichten einzufangen und die Hauptmotive zentral zu halten, war ein anderes System, DALL·E 3, besser darin, die Textur und die Oberflächendetails der Originalgemälde beizubehalten. Ein drittes System, Stable Diffusion, war besonders gut darin, die spezifischen Rot- und Blautöne der antiken Wandmalereien zu treffen, während das vierte System, Kandinsky, am meisten mit der allgemeinen kulturellen Genauigkeit zu kämpfen hatte. Das Team stellte fest, dass eine hohe Punktzahl in einem Bereich manchmal ein Versagen in einem anderen verbergen konnte; so konnte ein Bild beispielsweise visuell beeindruckend wirken, aber die korrekte Geschichte nicht erzählen, was es für ein Trainingsmodell unbrauchbar machte.
Die Forscher kamen zu dem Schluss, dass ihr neues Framework erfolgreich die Spreu vom Weizen trennt, indem es identifiziert, welche synthetischen Bilder sicher für das Training von Computern verwendet werden können und welche verworfen werden sollten. Sie fanden heraus, dass der wichtigste Faktor für diese antiken Wandmalereien die semantische Konsistenz war – also die Sicherstellung, dass das generierte Bild tatsächlich die korrekten kulturellen Symbole und Geschichtelemente darstellt. Ohst ohne dies wäre selbst ein schönes Bild irreführend. Die Studie beansprucht nicht, das Problem des digitalen Erbes für immer gelöst zu haben, noch erklärt sie ein bestimmtes KI-Werkzeug zum ultimativen Gewinner für alle zukünftigen Aufgaben. Stattdessen bietet sie eine praktische, strukturierte Methode für Kuratoren und Wissenschaftler, um tausende generierter Bilder zu prüfen und sicherzustellen, dass die digitalen Werkzeuge, die zum Schutz dieser antiken Schätze eingesetzt werden, mit Daten trainiert werden, die die Integritität der ursprünglichen Kunst respektieren. Durch das Filtern der Verzerrungen und Abweichungen, die die künstliche Intelligenz oft einführt, hilft dieses Framework dabei, sicherzustellen, dass die digitale Zukunft der Kizil-Grotten der Wahrheit ihrer Vergangenheit treu bleibt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.