Style or Signature? Artist-Disjoint Evaluation of Style Classification in Frozen Vision Embeddings
Dieses Paper argumentiert, dass Standardbewertungen der Stilklassifizierung in eingefrorenen Vision-Embeddings durch die Erkennung von Künstlern statt durch wahres stilistisches Verständnis aufgebläht werden, wobei es zeigt, dass ein künstlerdisjunktes Protokoll signifikante Leistungsabfälle und eine ungleichmäßige Robustheit über Kunstbewegungen hinweg offenlegt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, einem Roboter beizubringen, verschiedene Musikgenres zu erkennen. Sie zeigen dem Roboter tausende von Liedern und bitten ihn, sie in „Jazz“, „Rock“ oder „Klassik“ zu sortieren. Wenn der Roboter richtig gut darin wird, könnten Sie denken: „Wow, er versteht wirklich den Klang von Jazz!“ Aber hier ist der Haken: Was, wenn der Roboter gar nicht auf die Saxofone oder die Schlagzeugbeats hört? Was, wenn er sich einfach nur merkt, dass „dieser spezifische Sänger immer Jazz singt“? Wenn Sie den Roboter nur an Liedern desselben Sängers testen, den er bereits gehört hat, wird er wie ein Genie wirken. Aber wenn Sie ihm einen brandneuen Sänger geben, den er noch nie getroffen hat, wird er kläglich scheitern. Dies ist genau das Problem, mit dem Wissenschaftler konfrontiert sind, wenn sie versuchen, Computern beizubringen, Kunststile zu erkennen. Sie verwenden leistungsstarke KI-Modelle (genannt „frozen vision embeddings“), die Millionen von Bildern im Internet gesehen haben. Diese Modelle sind großartig darin, Muster zu erkennen, aber Forscher fragten sich: Erkennen sie wirklich den Stil eines Gemäldes oder nehmen sie einfach Abkürzungen, indem sie den berühmten Künstler erkennen, der es gemalt hat?
Diese Arbeit mit dem Titel „Style or Signature?“ taucht in dieses Geheimnis ein. Der Autor nahm ein populäres KI-Modell (CLIP) und eine Sammlung von 320 Gemälden aus vier berühmten Kunstbewegungen des 20. Jahrhunderts: Impressionismus, Kubismus, Abstrakter Expressionismus und Surrealismus. Auf die herkömmliche Weise, wie diese Modelle getestet werden, mischen die Forscher alle Gemälde zufällig durch. Das bedeutet, dass ein Testgemälde von Salvador Dalí mit anderen Dalí-Gemälden verglichen werden könnte, die das Modell bereits gesehen hat. Der Autor argumentierte, dass dies ein schlechter Test ist, da das Modell lediglich sagen könnte: „Ich kenne diesen Typen, er ist ein Surrealist“, anstatt zu verstehen, was den Surrealismus einzigartig macht. Daher erfand er einen strengeren Test namens „artist-disjoint evaluation“. Stellen Sie sich ein Spiel vor, bei dem Sie das Genre eines Liedes erraten müssen, aber Ihnen verboten ist, auf andere Lieder desselben Sängers zu hören. Sie müssen die Musik rein nach sich selbst beurteilen.
Als der Autor diesen strengeren Test durchführte, waren die Ergebnisse ein Schock. Die Gesamtgenauigkeit des Modells sank, aber nicht gleichmäßig. Beim Impressionismus und Kubismus geriet das Modell kaum ins Straucheln; es konnte die Stile immer noch unterscheiden, selbst ohne zwei Mal denselben Künstler gesehen zu haben. Dies deutet darauf hin, dass diese Bewegungen einen starken, gemeinsamen visuellen „Fingerabdruck“ haben, den die KI tatsächlich gelernt hat. Der Surrealismus hingegen brach völlig zusammen. Die Genauigkeit des Modells für den Surrealismus sank massiv um 20 Punkte, von einem hohen Wert auf ein Niveau, auf dem es fast rein zufällig rät. Der Autor fand heraus, dass das Modell beim Surrealismus gar nicht wirklich den Stil lernte; es merkte sich lediglich spezifische berühmte Maler wie Dalí. Als diese Maler aus dem Test entfernt wurden, hatte das Modell keine Vorstellung mehr davon, wie der Surrealismus aussah. Sie testeten dies mit vier verschiedenen KI-Modellen, einschließlich eines, das nur Bilder „sieht“ und niemals Text liest, und das Ergebnis war dasselbe: Das Modell verließ sich bei der Surrealismus-Erkennung auf Künstlersignaturen, nicht auf künstlerische Stile. Die Arbeit kommt zu dem Schluss, dass wir, um wirklich zu wissen, ob eine KI Kunst versteht, aufhören müssen, ihr zu erlauben, Abkürzungen durch das Erkennen des Künstlers zu nehmen, und stattdatt beginnen müssen, sie an Stilen zu testen, die sie noch nie zuvor gesehen hat.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.