Learning visual representations for compositional analysis of artworks and photographs
Diese Arbeit vergleicht einen von der menschlichen Wahrnehmung inspirierten, interpretierbaren Ansatz basierend auf perzeptueller Gruppierung mit feinabgestimmten Foundation-Modellen für die kompositorische Analyse und stellt fest, dass letztere bei ausreichender Datenmenge eine überlegene Leistung erzielen, während erstere kompetitive Ergebnisse bei besserer Interpretierbarkeit und Generalisierung bieten, wenn die Encoder eingefroren sind.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie betrachten ein Gemälde oder eine Fotografie. Ihr Gehirn sieht nicht einfach nur eine flache Wand aus Farben; es organisiert die Szene sofort zu einer Geschichte. Es gruppiert Dinge, bemerkt, wie eine Person in Relation zu einem Baum steht, und spürt einen Sinn für Balance oder Spannung. Dieser „geschichtenerzählende“ Teil des Sehens wird als Komposition bezeichnet. Sie ist das Geheimrezept, das ein Bild schön, dramatisch oder einfach „genau richtig“ wirken lässt. Lange Zeit waren Computer schlecht darin, dies zu verstehen. Sie sind großartig darin zu erkennen, was in einem Bild zu sehen ist (ein Hund, ein Auto, ein Sonnenuntergang), aber sie haben Schwierigkeiten zu verstehen, wie diese Dinge angeordnet sind, um Bedeutung zu erzeugen. Diese Arbeit taucht in diese Lücke ein und stellt eine große Frage: Müssen wir, um einem Computer beizubringen, wie ein Künstler zu „sehen“, ein Gehirn bauen, das wie ein Mensch denkt, oder können wir ihm einfach genug Beispiele einspeisen, bis er es von selbst herausfindet?
Die Forscher Fatemeh Behrad, Tinne Tuytelaars und Johan Wagemans von der KU Leuven Universität in Belgien wollten zwei sehr unterschiedliche Wege testen, um Computer über Komposition zu lehren. Stellen Sie sich das wie das Lehren eines Schülers beim Lösen eines Puzzles vor.
Die zwei Ansätze
Der erste Ansatz ist die „Human-Style“-Methode (menschlicher Stil). Anstatt das gesamte Bild als verschwommenes Pixelgemisch zu betrachten, versucht diese Methode, das Bild in unterscheidbare, bedeutungsvolle Stücke zu zerlegen – so als würde man Himmel, Berg und Person in einem Foto voneinander trennen. Sie nutzt eine spezielle Technik namens Object-Centric Learning, um diese Stücke automatisch zu finden, ähnlich einem intelligenten Sortierer, der sagt: „Dieser Fleck ist eine Person, jener Fleck ist ein Boot.“ Dann verwendet sie ein Graph Attention Network, um unsichtbare Linien zwischen diesen Stücken zu ziehen und zu analysieren, wie sie zueinander in Beziehung stehen. Es ist wie ein Detektiv, der einen Tatort untersucht und feststellt, dass die Waffe nahe beim Opfer liegt und das Fenster oberhalb des Tisches ist. Diese Methode ist darauf ausgelegt, transparent zu sein; wir können genau sehen, auf welche Teile des Bildes der Computer schaut und wie er sie miteinander verbindet.
Der zweite Ansatz ist die „Big Data“-Methode. Diese nutzt massive, vortrainierte KI-Modelle (sogenannte Foundation Models), die bereits Millionen von Bildern gesehen haben. Die Forscher „feintunen“ diese Giganten einfach auf einen spezifischen Datensatz von Fotos und Gemälden, in der Hoffnung, dass der Computer durch genügend Übung die Regeln der Komposition von selbst lernt. Das ist so, als würde man einen Schüler in eine Bibliothek mit jedem Buch zur Kunstgeschichte werfen und ihm sagen: „Finde es einfach selbst heraus.“ Es ist leistungsstark, aber es ist auch eine „Black Box“ – wir wissen nicht wirklich, wie der Computer seine Entscheidungen trifft, und er könnte sich eher darauf verlassen, Objekte im Bild zu erkennen, anstatt die Anordnung zu verstehen.
Was sie fanden
Das Team testete beide Methoden an zwei großen Herausforderungen: der Vorhersage des „Stils“ eines Fotos (wie „zentriert“ oder „diagonal“) und der Bewertung, wie gut komponiert ein Bild ist. Sie prüften auch, ob die Computer die wichtigsten Teile eines Bildes (Salienz) finden und ähnliche Bilder basen auf deren Layout finden konnten.
Hier kommt die Wendung: Es kommt darauf an, wie viel Daten man hat.
Als die Forscher die großen KI-Modelle eingefroren ließen (sie also nicht lernen ließen, etwas Neues zu lernen) und statlich die „Human-Style“-Methode verwendeten, schnitt diese überraschend gut ab. Sie war in der Lage, Objekte zu gruppieren und ihre Beziehungen zu verstehen, und schlug oft die eingefrorenen großen Modelle. Das Beste daran? Es war leicht nachvollziehbar, warum sie eine Entscheidung traf. Man konnte buchstäblich den „Graphen“ der Verbindungen sehen, den sie aufgebaut hatte.
Jedoch, wenn sie genügend Daten hatten, um die großen Foundation-Modelle vollständig zu „feintunen“, übernahmen diese Giganten die Führung. Sie wurden signifikant besser darin, Scores und Kategorien vorherzusagen. Aber es gab einen Haken. Die großen Modelle waren weniger interpretierbar (schwerer zu verstehen) und hatten größere Schwierigkeiten beim Wechsel zwischen verschiedenen Arten von Bildern, wie zum Beispiel beim Übergang von Fotos zu Gemälden. Sie schienen stark darauf zu basieren, die Objekte zu erkennen (z. B. „das ist eine Katze“), anstatt die Anordnung (z. B. „die Katze sitzt in einer Dreiecksform“).
Das Urteil
Die Arbeit legt nahe: Wenn man eine gewaltige Menge an gelabelten Daten hat und einfach nur den bestmöglichen Score erzielen will, gewinnt der „Big Data“-Ansatz. Aber wenn man ein System benötigt, das effizient ist, über verschiedene Arten von Kunst (von Fotos bis hin zu Gemälden) funktioniert und tatsächlich erklärt, warum es ein Bild als gut komponiert ansieht, dann ist der „Human-Style“-Ansatz der Gewinner.
Interessanterweise fanden die Forscher heraus, dass die „Human-Style“-Methode exzellent darin war, die wichtigsten Teile eines Bildes zu identifizieren. Indem sie die Verbindungen in ihrem Graphen betrachteten, konnte sie sagen: „Diese Person ist der wichtigste Teil, weil sie mit allem anderen verbunden ist“, was gut mit den Stellen übereinstimmte, auf die menschliche Augen tatsächlich schauen. Die großen Modelle waren, obwohl sie mächtig waren, in dieser Hinsicht etwas undurchsichtiger.
Am Ende erklärt die Arbeit nicht den einen absoluten Sieger. Stattdessen zeigt sie, dass große KI-Modelle zwar unglaublich leistungsstark sind, wenn man sie mit genügend Daten füttert, es aber dennoch einen einzigartigen Wert gibt, Systeme zu bauen, die imitieren, wie Menschen visuelle Elemente natürlich gruppieren und in Beziehung setzen. Es ist eine Erinnerung daran, dass man manchmal, um die Kunst zu verstehen, die Art und Weise verstehen muss, wie der Künstler sieht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.