MiniGPT-Reverse-Designing: Predicting Image Adjustments Utilizing MiniGPT-4

In der modernen Welt der künstlichen Intelligenz sind Computer bemerkenswert gut in zwei separaten Bereichen geworden: dem Sehen und dem Sprechen. Auf der einen Seite können Vision-Systeme ein Foto betrachten und mit überraschender Genauigkeit beschreiben, was darauf zu sehen ist. Auf der anderen Seite können Sprachmodelle Geschichten schreiben, Fragen beantworten und Gespräche führen, indem sie riesige Mengen an Text verarbeiten. Vor kurre Zeit haben Wissenschaftler begonnen, diese beiden Fähigkeiten zu überbrücken, indem sie Systeme erschaffen, die in der Lage sind, ein Bild und einen Satz gleichzeitig zu verstehen. Diese hybriden Werkzeuge, bekannt als Vision-Language-Modelle, können bereits Aufgaben wie das Beantworten von Fragen zu einem Bild oder das Schreiben einer Bildunterschrift für eine Szene bewältigen. Die meisten dieser Systeme sind jedoch darauf trainiert, ein einzelnes Bild zu betrachten und es zu beschreiben oder ein Bild und eine Frage zu betrachten und eine Antwort zu liefern. Sie sind noch nicht darauf trainiert, ein Vorher-Nachher-Bildpaar zu betrachten und genau zu bestimmen, was sich zwischen ihnen verändert hat, insbesondere wenn diese Veränderung spezifische Anpassungen wie Helligkeit, Kontrast oder Farbbalance beinhaltet.

Diese Lücke im Verständnis ist der Fokus einer neuen Studie der Forscher Vahid Azizi und Fatemeh Koochaki. Sie wollten untersuchen, ob ein leistungsstarkes Open-Source-Vision-Language-Modell namens MiniGPT-4 darauf trainiert werden kann, eine Aufgabe auszuführen, die sie „Reverse Designing“ nennen. Stellen Sie sich vor, Sie haben ein Foto eines Sonnenuntergangs und dann eine zweite Version desselben Fotos, bei der der Himmel orangefarbener gemacht und das Wasser dunkler wurde. Ein menschlicher Editor wüsste vielleicht genau, welche Regler bewegt wurden, um diesen Look zu erzielen. Die Forscher wollten wissen, ob ein Computer das Original und die bearbeitete Version betrachten kann – vielleicht mit einem vagen Hinweis wie „mache es dramatischer“ – und dann die spezifischen technischen Schritte und Zahlen vorhersagen kann, die verwendet wurden, um diese Bearbeitung zu erstellen. Dies ist eine komplexe Herausforderung, da der Computer gleichzeitig zwei verschiedene Bilder und die Beziehung zwischen ihnen verstehen muss, eine Aufgabe, die über das bloße Beschreiben dessen hinausgeht, was in einem einzelnen Bild zu sehen ist.

Um dies zu testen, nahmen die Forscher das MiniGPT-4-Modell, das bereits darauf trainiert war, Bilder und Text zu verstehen, und führten ein Fine-Tuning unter Verwendung eines speziellen Datensatzes namens I-MAD-Dense durch. Dieser Datensatz enthält etwa 22.000 Beispiele, die jeweils aus einem Quellbild, einer bearbeiteten Version dieses Bildes und einer hochgradig beschreibenden Idee hinter der Bearbeitung bestehen. Entscheidend ist, dass der Datensatz auch die „Ground Truth“ enthält, also die exakte Liste der Operationen und deren numerische Werte, die auf das Originalbild angewendet wurden. Die Forscher konvertierten diese technischen Listen von Operationen in Sätze, damit der Sprachteil des Modells sie lesen konnte. Sie speisten dann Bildpaare zusammen mit optionalen Textbeschreibungen in das Modell ein und baten es, die Liste der Änderungen vorherzusagen, die das erste Bild in das zweite verwandelt haben.

Das Team führte mehrere Experimente durch, um zu sehen, wie gut das Modell diese Fähigkeit erlernen kann. In ihrem ersten Versuch führten sie ein einfaches Fine-Tuning des bestehenden Modells durch, ohne dessen Struktur zu verändern. Die Ergebnisse zeigten, dass das Modell die Aufgabe lernen konnte und die Arten der Veränderungen durchschnittlich in etwa 72 Prozent der Fälle erfolgreich vorhersagte. Die Forscher stellten jedoch fest, dass das Modell manchmal die falsche Anzahl an Änderungen errät oder die spezifischen Werte leicht daneben liegen. Um dies zu verbessern, versuchten sie, eine mathematische Strafe (Penalty) in den Trainingsprozess einzuführen, wann immer die vom Modell vorhergesagten Zahlen für die Anpassungen weit von den korrekten Werten entfernt waren. Diese kleine Anpassung half dem Modell, die Zahlen genauer zu bestimmen, wodurch der durchschnittliche Fehler in seinen Vorhersagen reduziert wurde. Sie testeten auch, ob es helfen würde, dem Modell einen spezifischen Befehl im Text zu geben, wie etwa „passe die Helligkeit an“. Die Ergebnisse bestätigten, dass dieser zusätzliche textuelle Kontext die Fähigkeit des Modells, die korrekten Änderungen zu finden, signifikant verbesserte, insbesondere wenn die Anweisungen klar waren.

Die Forscher untersuchten auch, ob das Hinzufügen spezieller Marker zum Text, um die Bilder von den Wörtern zu trennen, dem Modell helfen würde, die verschiedenen Eingaben im Blick zu behalten. Sie versuchten, ein spezifisches Token einzufügen, um zu signalisieren, wo ein Bild endet und das nächste beginnt, aber dies verschlechterte die Leistung des Modells tatsächlich. Dieser Befund deutet darauf hin, dass die bestehende Art und Weise des Modells, Bilder und Text zu handhaben, ausreichend war und dass das Hinzuffügen zusätzlicher, künstlicher Marker es eher verwirrte als klärte. Ein weiteres Experiment beinhaltete den Versuch, dem Modell beizubringen, die Anzahl der Änderungen genauer vorherzusagen, indem man es bestrafte, wenn es zu viele oder zu wenige Änderungen vorhersagte, aber dieser Ansatz verbesserte die Ergebnisse ebenfalls nicht und verschlechterte sie in einigen Fällen sogar.

Die erfolgreichste Version ihres Systems, die das feinabgestimmte Modell mit einer spezifischen Methode zum Umgang mit numerischen Fehlern kombinierte, zeigte, dass diese Vision-Language-Modelle tatsächlich in der Lage sind, komplexe, mehrstufige Beziehungen zwischen Bildern zu erlernen. Das Modell schnitt am besten ab, wenn es eine textliche Beschreibung der Bearbeitung erhielt, was die Bedeutung der Sprache bei der Steuerung des visuellen Verständnisses unterstreicht. Obwohl das System noch nicht perfekt ist und immer noch mit einigen komplexen Szenarien zu kämpfen hat, zeigt die Studie, dass fertige Modelle (off-the-shelf models) erweitert werden können, um anspruchsvolle Aufgaben wie das Reverse Engineering von Bildbearbeitungen zu bewältigen. Die Forscher kommen zu dem Schluss, dass ihre derzeitigen Ergebnisse zwar vielversprechend sind, es aber noch Raum für Verbesserungen gibt, wie etwa die Verwendung von Bildern mit höherer Auflösung, um feinere Details zu erfassen, oder das Training des Modells auf noch sorgfältiger kuratierten, von Menschen generierten Daten. Diese Arbeit öffnet die Tür für zukünftige Werkzeuge, die Editoren helfen könnten, ihre eigenen Arbeitsabläufe zu verstehen, oder Computern ermöglichen könnten, aus der Historie der Entstehung von Bildern zu lernen.