MDTD-ArtIR: Benchmarking Image Editing and Restoration Models for Art Image Restoration under Texture-Overlay Degradations

Stellen Sie sich vor, Sie sind ein Kunstrestaurator, aber anstatt eines staubigen Pinsels und einer Palette voller Farben besitzen Sie ein superintelligentes Computerprogramm. Ihr Job ist es, alte, beschädigte Gemälde zu reparieren – vielleicht eines, das wie ein ausgetrocknetes Flussbett rissig ist, ein anderes, das mit mysteriösen gelben Flecken übersät ist, oder ein drittes, bei dem einfach ein Stück der Leinwand verschwunden ist. Das ist die Welt der KI-gesteuerten Kunstrestaurierung, ein Feld, in dem Computer versuchen zu erraten, wie ein Meisterwerk aussah, bevor die Zeit und Unfälle es ruiniert haben. Aber der knifflige Teil dabei ist: Der Computer muss nicht nur die leeren Stellen füllen; er muss dies tun, ohne wilde, künstliche Details zu erfinden, die nie existiert haben. Es ist, als würde man versuchen, die Geschichte eines Freundes zu Ende zu schreiben, wenn dieser mitten im Satz aufhört zu sprechen; man möchte das Ende erraten, das zu seinem Stil passt, und nicht plötzlich einen Drachen erfinden, wenn er gerade einen Krimi geschrieben hat.

Um zu testen, ob diese Computerprogramme wirklich gut darin sind, geben Wissenschaftler ihnen Übungsaufgaben. Aber die meisten dieser Übungsaufgaben sind zu einfach oder zu künstlich. Sie verlangen vom Computer vielleicht, ein unscharfes Foto zu korrigieren oder ein paar Regentropfen zu entfernen, was so ist, als würde man an einem leicht verschmutzten Fenster üben, bevor man versucht, ein zerschlagenes Buntglasfenster zu reparieren. Echte Kunstschäden sind chaotisch, seltsam und verbergen oft Teile des Bildes hinter Schichten von Schmutz oder Rissen. Die große Frage, die Forscher stellen, lautet: Können unsere besten KI-Werkzeuge dieses chaotische, reale Chaos bewältigen, ohne die Seele des Kunstwerks zu verlieren?

---

Der große Kunstdiebstahl: Wenn KI versucht, ein Gemälde zu reparieren

Lernen Sie das MDTD-Art-Team kennen, eine Gruppe von Forschern der Durham University, die beschlossen hat, einen neuen, superherausfordernden Trainingsplatz für KI-Kunstrestauratoren zu bauen. Sie erkannten, dass die alten Testverfahren wie das Spielen von „Simon sagt“ mit einer kaputten Schallplatte waren – die Anweisungen waren zu simpel und der Schaden zu vorhersehbar. Also erfanden sie ein neues Spiel namens MDTD-ArtIR.

Betrachten Sie diesen neuen Datensatz als einen „Schadenssimulator“. Anstatt nur ein Bild unscharf zu machen, nahmen sie wunderschöne, saubere Gemälde und legten 47 verschiedene Arten von seltsamen Texturen darüber – wie etwa rissigen Schlamm, Farbspritzern oder porösen Schwämmen. Aber sie haben diese Texturen nicht einfach nur draufgeklatscht; sie spielten mit einem „Transparenzregler“. Sie konnten den Schaden schwach machen (geringe Opazität), wie eine leichte Staubschicht aus Mehl, oder dick und schwer gestalten (hohe Opazität), als würde man einen Eimer Schlamm über das Gemälde schütten. Dies schuf ein Spektrum der Schwierigkeit, von „kinderleicht“ bis hin zu „Viel Glück, Sie werden ein Wunder brauchen“.

Der Wettstreit: Spezialisierte Mechaniker gegen kreative Geschichtenerzähler

Die Forscher ließen zwei Arten von KI-Modellen gegeneinander antreten:

1. Die spezialisierten Mechaniker (Universelle Bildrestaurationsmodelle): Dies sind die „Reparatur-Bots“. Sie sind speziell darauf trainiert, Kratzer, Rauschen oder Unschärfe zu entfernen. Sie sind wie ein Uhrmester, der genau weiß, wie man ein kaputtes Zahnrad repariert.
2. Die kreativen Geschichtenerzähler (Bildbearbeitungsmodelle): Dies sind die „Erfindungs-Bots“. Sie werden normalerweise verwendet, um Fotos zu verändern (wie zum Beispiel einen Hund in eine Katze zu verwandeln oder einen Hut hinzuzufügen). Sie sind wie ein kreativer Autor, der eine ganz neue Szene basierend auf ein paar Hinweisen improvisieren kann.

Das Team wollte sehen, wer die Gemälde besser restaurieren konnte, wenn der Schaden schwerwiegend und die Hinweise spärlich waren. Sie testeten diese Modelle mit zwei verschiedenen „Bedienungsanleitungen“ (Prompts):

• Der einfache Prompt: Er sagte lediglich: „Repariere das.“
• Der Experten-Prompt: Er sagte: „Du bist ein Experte für Restaurierung. Die Maske ist ein Schaden, keine Kunst. Entferne sie und rekonstruiere die ursprüngliche Szene.“

Die große Überraschung: Die Geschichtenerzähler gewannen (meistens)

Hier ist die Wendung, die das Paper entdeckte: Die kreativen Geschichtenerzähler (Bildbearbeitungsmodelle) schnitten im Allgemeinen besser ab als die spezialisierten Mechaniker.

Wenn der Schaden gering war (niedrige Opazität), kamen alle zurecht. Aber als der „Schlamm“ dicker wurde (hohe Opazität), begannen die spezialisierten Mechaniker zu kämpfen. Sie ließen den Schaden oft einfach bestehen oder versuchten, ihn auf eine Weise zu reparieren, die steif und unnatürlich wirkte. Sie waren zu sehr auf die „Regeln“ der Reparatur fokussiert und hatten nicht genug Fantasie, um zu erraten, was sich darunter befand.

Die kreativen Geschichtenerzähler hingegen waren viel besser darin, die fehlenden Teile zu erraten. Als die Forscher ihnen den Experten-Prompt gaben (der die Aufgabe klar erklärte), wurden diese Modelle sogar noch besser. Zum Beispiel sprang das Modell Nano Banana (NB) Pro bei hohen Opazitäten bei der Bildqualität von 9,63 dB auf 11,87 dB, wenn es die Experten-Anweisungen erhielt. Das Flux 2-Modell zeigte einen ähnlichen Sprung von 8,57 dB auf 11,01 dB. Es war, als hätte der Geschichtenerzähler plötzlich die Aufgabe verstanden: „Oh, ich soll nicht den Schlamm übermalen; ich soll mir vorstellen, was unter ihm lag!“

Der Haken: Wenn die Fantasie zu weit geht

Aber es gibt einen Haken. Da diese „Geschichtenerzähler“-Modelle so gut darin sind, Dinge zu erfinden, werden sie manchmal zu kreativ. In den schlimmsten Fällen haben sie das Gemälde nicht nur repariert, sondern die Geschichte komplett verändert.

Das Paper zeigt einige amüsante (aber traurige) Beispiele, in denen die KI ein rissiges Gesicht betrachtete und entschied: „Ich glaube, diese Person sollte eine andere Nase haben“, oder auf eine Landschaft blickte und beschloss, einen Berg hinzuzufügen, der gar nicht da war. Dies wird als „Halluzination“ bezeichnet. Das Modell FireRed, das hauptsächlich auf Gesichter trainiert wurde, war so verwirrt von gesichtsähnlichen Rissen, dass es das gesamte Bild „kapperte“ und das ganze Gemälde in ein seltsames, verschwommenes Gesicht verwandelte. Die Modelle GPT Image 1.5 und NB Pro waren am besten darin, die ursprüngliche Identität zu bewahren, aber selbst sie veränderten manchmal die Farben oder die Form des Bildes leicht.

Das Urteil: Klarheit ist entscheidend

Die wichtigste Erkenntnis dieses Papers ist, dass es beim Reparieren wirklich beschädigter Kunst darauf ankommt, wie man die Frage stellt, und nicht nur auf das Werkzeug, das man benutzt.

• Spezialisierte Werkzeuge (wie AutoDIR) sind großartig darin, das Originalbild sicher zu bewahren, scheitern aber oft daran, schwere, seltsame Texturen zu entfernen.
• Kreative Werkzeuge (wie NB Pro und Flux) sind fantastisch darin, die fehlenden Teile zu erraten, benötigen aber klare Anweisungen, damit sie nicht anfangen, falsche Details zu erfinden.
• Der „Experten-Prompt“ ist das Geheimrezept. Wenn der KI klar gesagt wird: „Dies ist ein Schaden, keine Kunst“, schneidet sie viel besser ab, besonders wenn der Schaden schwerwiegend ist.

Die Autoren legen nahe, dass diese kreativen Modelle zwar mächtig, aber noch nicht perfekt sind. Sie können immer noch verwirrt werden und die Identität des Kunstwerks verändern. Aber indem wir die richtigen Anweisungen verwenden und verstehen, dass diese Modelle besser darin sind, „die Geschichte zu erraten“ als „die Zahnräder zu reparieren“, können wir der Restaurierung unserer kostbaren Kunst viel näher kommen, ohne ihre Seele zu verlieren. Es ist eine Erinnerung daran, dass es in der Welt der KI manchmal der beste Weg ist, ein kaputtes Bild zu reparieren, indem man den Computer bittet, sich vorzustellen, wie es aussehen sollte, anstatt ihm nur zu sagen, wie er die Löcher stopfen soll.