Whose Art Counts? Model- and Prompt-Dependent Associations in Vision-Language Judgments of Museum Art
Dit artikel introduceert een archief-geconditioneerd auditprotocol om te evalueren hoe vision-language modellen en promptstructuren interageren met museummetadata bij het beoordelen van artistieke waarde, waarbij via een casestudy van het Metropolitan Museum of Art wordt aangetoond dat "invloed"-prompts de meest consistente categorie-gebaseerde verschillen opleveren, terwijl de beperkingen van cross-model en cross-prompt generalisatie worden benadrukt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je net een superintelligente robot-bibliothecaris hebt gebouwd die miljoenen boeken heeft gelezen en miljarden plaatjes heeft gezien. Je vraagt de robot: "Welk van deze schilderijen is een meesterwerk?" of "Welke heeft de geschiedenis veranderd?" Je verwacht dat de robot naar de kunst kijkt en een eerlijk antwoord geeft op basis van schoonheid en vaardigheid. Maar hier komt de adder onder het gras: deze robot "ziet" kunst niet zoals een mens dat doet. Hij ziet patronen. Hij leerde door plaatjes te matchen met woorden op het internet. Als het internet vooral zei dat "grote kunstenaars" mannen waren, dan kan de robot hebben geleerd dat "grote kunst" eruitziet als het werk van een man, zelfs als dat niet klopt. Dit is de wereld van Vision-Language Models (VLMs): computers die afbeeldingen verbinden aan woorden. De grote vraag is niet alleen "Is de robot slim?", maar "Wat voor wereld heeft de robot geleerd?" en "Verandert het antwoord van de robot als we de vraag anders stellen?" Musea liggen vol met deze robots die mensen helpen kunst te vinden, maar als de robot bevooroordeeld is, kan hij de verhalen van vrouwen en andere ondervertegenwoordigde makers verbergen, waardoor ze minder belangrijk lijken dan ze in werkelijkheid zijn.
Dus besloot een team onderzoekers om deze robot-bibliothecarissen een zeer specifieke test aan te bieden. Ze vroegen de robots niet alleen om te gokken; ze zetten een strikt spel op om te zien of de robots eerlijk speelden. Ze pakten 445 digitale kunstwerken van het Metropolitan Museum of Art. Maar hier was de twist: ze wisten dat museumarchieven rommelig zijn. Veel oude kunstwerken hebben geen duidelijke naam bij zich. Daarom deelden ze de groep op in tweeën: een kleine groep van 61 stukken waarvan de maker bekend was (en zij raadden het geslacht op basis van de naam), en een enorme groep van 384 stukken waarbij de maker een mysterie was. Ze wilden zien of de robots hogere scores gaven aan de bij naam bekende mannelijke kunstenaars vergeleken met de bij naam bekende vrouwelijke kunstenaars.
Maar ze stelden niet slechts één vraag. Ze vroegen de robots op vier verschillende manieren: "Is dit een meesterwerk?", "Is dit werk van goede kwaliteit?", "Is dit invloedrijk?", en een controlevraag om te controleren of de robot wel oplette. Ze voerden deze test uit op vier verschillende robotbreinen (OpenAI CLIP, OpenCLIP B/32, OpenCLIP L/14 en SigLIP).
Dit is wat ze vonden, en het is een beetje een plotwending: De robots waren het niet met elkaar eens.
Het was geen simpel verhaal waarbij "alle robots seksistisch zijn." In plaats daarvan hing het er volledig vanaf welke robot je vroeg en hoe je de vraag stelde.
- Wanneer ze vroegen naar "Invloed" (hoeveel een kunstenaar de geschiedenis heeft veranderd), gaven twee van de robots (OpenAI CLIP en OpenCLIP L/14) een duidelijk signaal: ze gaven de werken waarbij het geslacht als man werd afgeleid hoger dan de werken waarbij het geslacht als vrouw werd afgeleid. Het was alsof de robot zei: "Oh, de geschiedenisboeken zeggen dat mannen dingen hebben veranderd, dus zal ik hen een hogere score geven."
- Echter, wanneer ze vroegen naar "Kwaliteit" of "Meesterwerk", was de uitslag een puinhoop. De ene robot zei "Mannen zijn beter," een andere zei "Vrouwen zijn beter," en een derde zei "Ik zie geen verschil."
- Eén robot, SigLIP, gaf zelfs het tegenovergestelde resultaat, waarbij de werken met een vrouwelijk afgeleid geslacht hoger werden ingeschat, hoewel de onderzoekers opmerkten dat de cijfers een beetje wankel en moeilijk vast te stellen waren.
Het belangrijkste wat het artikel zegt, is dat je deze antwoorden niet simpelweg kunt middelen. Als je de scores van alle vier de robots zou nemen en ze samenvoegt tot één groot getal, zou je een leugen creëren. De robots zijn te verschillend. Een "hoge score" van de ene robot is niet hetzelfde als een "hoge score" van een andere. De onderzoekers betogen dat de "bias" geen vaststaand gebrek in de technologie is, maar een meetprobleem. Het resultaat verandert afhankelijk van het instrument dat je gebruikt en de exacte woorden die je typt.
De studie wijst ook uit dat de eigen archieven van het museum een grote rol speelden. Omdat 384 van de 445 kunstwerken geen bekende maker hadden, konden de robots ze zelfs niet vergelijken. De "bekende" kunstenaars waren een kleine, specifieke dwarsdoorsnede van de collectie van het museum. De onderzoekers waarschuwen dat we niet kunnen zeggen dat deze robots vrouwelijke kunstenaars in het algemeen niet waarderen; we kunnen alleen zeggen dat in deze specifieke test, met deze specifieke woorden en deze specifieke set afbeeldingen, sommige robots een patroon vertoonden van het bevoordelen van mannelijke namen.
Uiteindelijk zegt het artikel niet "Robots zijn kapot" of "Robots zijn perfect." Het zegt: "Wees voorzichtig." Als een museum een robot gebruikt om kunst te rangschikken, is die rangschikking misschien slechts een reflectie van hoe de robot getraind is en hoe de vraag gesteld werd, en niet de ware waarde van de kunst. De onderzoekers suggereren dat we, in plaats van te zoeken naar één "waarheid", moeten luisteren naar de onenigheid tussen de robots. Als de ene robot zegt "Dit is een meesterwerk" en een andere zegt "Nee," dan is die onenigheid eigenlijk het meest eerlijke antwoord dat we kunnen krijgen: het vertelt ons dat de vraag moeilijker is dan we dachten, en dat de mening van de robot slechts één luidruchtige stem is in een zeer luide kamer.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.