Style or Signature? Artist-Disjoint Evaluation of Style Classification in Frozen Vision Embeddings
Dit artikel betoogt dat standaardevaluaties van stijlassificatie in bevroren visuele embeddings worden opgeblazen door de herkenning van kunstenaars in plaats van werkelijk stilistisch begrip, waarbij wordt aangetoond dat een op kunstenaar-disjunctie gebaseerd protocol significante prestatiedalingen en een ongelijke robuustheid over kunststromingen heen onthult.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een detective bent die een robot probeert te leren hoe hij verschillende muziekgenres moet herkennen. Je laat de robot duizenden liedjes zien en vraagt hem om ze te sorteren in "Jazz", "Rock" of "Klassiek". Als de robot hier heel goed in wordt, denk je misschien: "Wauw, hij begrijpt echt het geluid van Jazz!" Maar hier zit de crux: wat als de robot eigenlijk niet naar de saxofoons of de drumritmes luistert? Wat als hij gewoon onthoudt dat "deze specifieke zanger altijd Jazz zingt"? Als je de robot alleen test op liedjes van dezelfde zangers die hij al eerder heeft gehoord, zal hij overkomen als een genie. Maar als je hem een gloednieuwe zanger geeft die hij nog nooit heeft ontmoet, kan hij er rampzalig onder gaan. Dit is precies het probleem waar wetenschappers voor staan wanneer ze computers proberen te leren kunststijlen te herkennen. Ze gebruiken krachtige AI-modellen (genaamd "frozen vision embeddings") die miljoenen afbeeldingen op het internet hebben gezien. Deze modellen zijn geweldig in het spotten van patronen, maar onderzoekers vro wonderden zich af: begrijpen ze werkelijk de stijl van een schilderij, of nemen ze gewoon sluiproutes door de beroemde kunstenaar te herkennen die het geschilderd heeft?
Dit artikel, getiteld "Style or Signature?", duikt in dat mysterie. De auteur nam een populair AI-model (CLIP) en een collectie van 320 schilderijen uit vier beroemde 20e-eeuwse kunststromingen: het impressionisme, kubisme, abstract expressionisme en surrealisme. Op de standaard manier van het testen van deze modellen mengen onderzoekers alle schilderijen willekeurig. Dit betekent dat een testschilderij van Salvador Dalí bijvoorbeeld vergeleken kan worden met andere Dalí-schilderijen die het model al eerder heeft gezien. De auteur stelde dat dit een slechte test is, omdat het model simpelweg kan zeggen: "Ik ken deze man, hij is een surrealist," in plaats van te begrijpen wat het surrealisme uniek maakt. Daarom bedachten ze een strengere test genaamd "artist-disjoint evaluation". Stel je een spel voor waarbij je het genre van een liedje moet raden, maar je is verboden om naar andere liedjes van diezelfde zanger te luisteren. Je moet de muziek puur op zichzelf beoordelen.
Toen de auteur deze strengere test uitvoerde, waren de resultaten een schok. De algemene nauwkeurigheid van het model daalde, maar niet gelijkmatig. Voor het impressionisme en het kubisme wankelde het model nauwelijks; het kon de stijlen nog steeds van elkaar onderscheiden zonder twee keer dezelfde kunstenaar te zien. Dit suggereert dat deze stromingen een sterke, gedeelde visuele "vingerafdruk" hebben die de AI daadwerkelijk heeft geleerd. Echter, het surrealisme stortte volledig in. De nauwkeurigheid van het model voor het surrealisme daalde met maar liefst 20 punten, van een hoge score naar een niveau waarop het bijna willekeurig gokte. De auteur ontdekte dat het model voor het surrealisme helemaal niet de stijl leerde; het memoriseerde simpelweg specifieke beroemde schilders zoals Dalí. Wanneer die schilders uit de test werden verwijderd, had het model geen idee meer hoe het surrealisme eruitzag. Ze testten dit met vier verschillende AI-modellen, waaronder één die alleen afbeeldingen "ziet" en nooit tekst leest, en het resultaat was hetzelfde: het model vertrouwde op kunstenaarsignaturen, niet op kunststijlen, voor het surrealisme. Het artikel concludeert dat om echt te weten of een AI kunst begrijpt, we moeten stoppen met het toestaan dat de AI sluiproutes neemt door de kunstenaar te herkennen en in plaats daarvan moeten testen op stijlen die het nog nooit eerder heeft gezien.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.