The Algorithmic Gaze of Image Quality Assessment: An Audit and Trace Ethnography of the LAION-Aesthetics Predictor

Dit onderzoek onthult dat de LAION-Aesthetics Predictor, een veelgebruikt model voor het beoordelen van beeldkwaliteit, systematische vooroordelen vertoont die de westerse en mannelijke blik versterken door afbeeldingen met vrouwelijke of niet-westerse elementen te discrimineren, en pleit voor een verschuiving naar meer pluriforme evaluatiemethoden.

De kern

Stel je voor dat je een enorme, digitale kunstgalerie bouwt. Je wilt dat deze galerie alleen de mooiste, meest indrukwekkende schilderijen en foto's bevat. Maar wie beslist wat "mooi" is?

Dit is precies wat deze wetenschappelijke studie onderzoekt. De onderzoekers kijken naar een slim computerprogramma (een algoritme) genaamd LAP. Dit programma wordt gebruikt door makers van AI (zoals de beroemde Stable Diffusion) om te beslissen welke foto's goed genoeg zijn om te gebruiken voor het trainen van de AI, en welke foto's in de prullenbak moeten.

Hier is wat ze ontdekten, vertaald in een verhaal:

1. De "Smaak" van één Man

Stel je voor dat je een jury hebt om de mooiste foto's van de wereld te kiezen. In dit geval is de hele jury echter één persoon: de oprichter van het project, een Duitse man. Hij heeft het programma zo geprogrammeerd dat het zijn eigen persoonlijke smaak volgt.

Het programma denkt: "Dit is mooi omdat ik het mooi vind."
Het probleem? Zijn smaak is niet universeel. Hij is een westerse man met een specifieke kijk op de wereld. Het programma heeft geen idee wat mooi is voor iemand in een ander land, met een andere cultuur of een andere levenservaring.

2. De "Imperiale Blik" (De Koloniale Bril)

De onderzoekers keken naar duizenden foto's uit beroemde musea, zoals het Met in New York. Ze lieten het programma deze foto's beoordelen.

• Wat gebeurde er? Foto's van westerse landschappen, stadsgezichten en portretten kregen hoge punten.
• Wat gebeurde er niet? Foto's van Afrikaanse kunst, inheemse Amerikaanse kunst, Islamitische kunst of Egyptische kunst kregen bijna nooit een hoge score.

Het is alsof je een bril opzet die alleen de wereld laat zien zoals die eruitzag in Europa in de 19e eeuw. Alles wat daar niet bij paste, werd als "minderwaardig" of "slecht" afgedaan. Dit noemen de auteurs de "Imperiale Blik": de idee dat westerse smaak de enige echte maatstaf voor kwaliteit is.

3. De "Realistische Blik" (Alles moet er echt uitzien)

Het programma houdt enorm van foto's die eruitzien als echte foto's (fotorealisme).

• Hoge scores: Landschappen, straten en mensen die er echt uitzien.
• Lage scores: Abstracte kunst, surrealistische dromen of moderne experimenten (denk aan Picasso of Warhol).

Dit is alsof je een jury hebt die alleen 10 punten geeft als een schilderij eruitziet als een foto. Als een kunstenaar probeert een gevoel of een droom te schilderen in abstracte vormen, krijgt die kunstenaar een nul. Hierdoor wordt de creativiteit van AI beperkt; het leert alleen maar om "echte" dingen na te bootsen, en niet om iets nieuws of vreemds te creëren.

4. De "Mannelijke Blik" (Wie staat op de foto?)

Dit is misschien wel het meest verrassende en zorgwekkende deel.

• Vrouwen: Foto's met de tekst "vrouw" of "meisje" kregen vaak een hoge score.
• Mannen en LGBTQ+: Foto's met de tekst "man" of termen voor LGBTQ+-mensen kregen vaak een lage score en werden weggefilterd.

Het klinkt paradoxaal: het programma filtert vrouwen er in, maar mannen er uit. Waarom? Omdat het programma is getraind op een manier die de "Mannelijke Blik" uit de kunstgeschiedenis versterkt. In de westerse kunstgeschiedenis zijn vrouwen vaak afgebeeld als objecten om naar te kijken (voor het plezier van een mannelijke kijker), terwijl mannen of andere identiteiten minder vaak in die specifieke, "aantrekkelijke" rol voorkomen.

Het algoritme heeft dus geleerd: "Foto's van vrouwen zijn mooi, omdat dat is wat de westerse mannelijke kijker mooi vindt." Dit kan gevaarlijk zijn, omdat het AI-systemen kan helpen om meer seksueel expliciete of objectiverende beelden van vrouwen te maken, terwijl het andere groepen uitsluit.

5. Waarom is dit een probleem?

Deze AI-systemen worden gebruikt om nieuwe kunst te maken, reclames te ontwerpen en zelfs nieuwsfoto's te genereren. Als het "oefenmateriaal" (de dataset) alleen bestaat uit foto's die door één man zijn geselecteerd op basis van zijn eigen voorkeur, dan zal de AI ook alleen die voorkeur nabootsen.

Het is alsof je een kok vraagt om een wereldwijd diner te koken, maar je hem alleen laat eten van de gerechten die hij zelf lekker vindt. Het resultaat zal nooit een eerlijke weergave van de wereld zijn.

De Oplossing: Van "Wat is mooi?" naar "Wat is het?"

De onderzoekers zeggen: "Stop met proberen één universeel antwoord te vinden op de vraag 'wat is mooi?'"
In plaats van te zeggen: "Dit is een 8/10, dat is een 2/10" (wat een oordeel is), zouden we moeten zeggen: "Dit is een foto van een landschap, dat is een abstract schilderij, en dat is een foto van een vrouw."

We moeten AI-systemen bouwen die begrijpen dat smaak subjectief is. Er is niet één "beste" manier om naar kunst te kijken. Door verschillende perspectieven en culturen mee te nemen in de training, kunnen we AI maken die creatiever, eerlijker en veiliger is voor iedereen.

Kortom: Dit algoritme is als een spiegel die alleen de wereld laat zien zoals één specifieke persoon die wil zien. Het is tijd om die spiegel te breken en een raam te maken dat uitkijkt op de hele, diverse wereld.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "The Algorithmic Gaze of Image Quality Assessment: An Audit and Trace Ethnography of the LAION-Aesthetics Predictor" in het Nederlands.

Probleemstelling

Visuele generatieve AI-modellen (zoals Stable Diffusion) worden getraind met behulp van een "one-size-fits-all" maatstaf voor esthetische aantrekkelijkheid. Het paper stelt dat esthetiek echter intrinsiek verbonden is met persoonlijke smaak en culturele waarden. De centrale vraag is: wiens smaak wordt er vertegenwoordigd in deze modellen?

Hoewel er veel onderzoek is gedaan naar gender- en culturele bias in dataset-filtering (bijv. via blokk lijsten), is de impact van esthetische filtering nog niet in detail onderzocht. Het paper richt zich op de LAION-Aesthetics Predictor (LAP), een model dat wijdverbreid wordt gebruikt om datasets te cureren voor het trainen van generatieve AI en om de kwaliteit van gegenereerde afbeeldingen te evalueren. Ondanks de enorme invloed van LAP op de ontwikkeling van AI, is de onderliggende bias en de oorsprong van dit model nog niet empirisch geanalyseerd.

Methodologie

De auteurs hanteren een hybride methodologie die twee benaderingen combineert: een audit (kwantitatieve analyse) en een trace ethnografie (kwalitatieve analyse van de oorsprong).

1. Audit van het LAP-model:
   De auteurs hebben het LAP-model getest op drie verschillende datasets om te bepalen wat het model als "hoogwaardig" beschouwt (gebaseerd op een drempelwaarde van 6.5+ op een schaal van 1-10):

   • LAION-Aesthetics Dataset: Een subset van LAION-5B met ongeveer 1,2 miljard afbeeldingen die door LAP zijn geselecteerd.
   • Metropolitan Museum of Art (MET) Dataset: 249.351 publieke domein-afbeeldingen uit diverse culturen en periodes.
   • WikiArt Dataset: 81.444 afbeeldingen van voornamelijk moderne westerse kunstenaars.
   • Technische analyse: De auteurs gebruikten Pointwise Mutual Information (PMI) om te analyseren welke termen in bijschriften (captions) correleren met hoge scores. Ze analyseerden ook de verdeling van domeinen, stijlen, genres en kunstenaars.

2. Trace Ethnografie:
   Om de oorsprong van de geconstateerde bias te begrijpen, hebben de auteurs een "trace ethnografie" uitgevoerd. Dit betekent dat ze digitale sporen (documentatie, code, blogs, video's) hebben onderzocht om te reconstrueren hoe LAP is ontwikkeld. Ze analyseerden:

   • De aankondigingsblogpost van LAION.
   • De code- en datarepositories (inclusief de trainingsdatasets AVA, SAC en LAION-Logos).
   • Een YouTube-video waarin de oprichter van LAION, Christoph Schuhmann, de ontwikkeling uitlegt.
   • De documentatie van de trainingsdatasets zelf.

Belangrijkste Resultaten

1. Bias in de LAION-Aesthetics Dataset

• Gender en Identiteit: Afbeeldingen met bijschriften die vrouwen noemen, hebben een veel grotere kans om een hoge score (≥6.5) te krijgen. Afbeeldingen die mannen of LGBTQ+-personen noemen, worden disproportioneel vaak gefilterd (lage scores).
• Religie en Cultuur: Afbeeldingen met verwijzingen naar Hindoes, Boeddhisten en Christenen worden vaker opgenomen, terwijl verwijzingen naar Joden en Moslims vaker worden gefilterd.
• Bronnen: De hoogst beoordeelde afbeeldingen komen voornamelijk van websites voor onafhankelijke kunstenaars en fotografen (bijv. Redbubble, DeviantArt, Flickr), wat suggereert dat LAP een voorkeur heeft voor fotografie en realistische beelden.

2. Bias in Kunstbeoordeling (MET en WikiArt)

• Westerse en Japanse Dominantie: Het model geeft de hoogste scores aan realistische afbeeldingen van landschappen, stadsgezichten en portretten van westerse en Japanse kunstenaars.
• Uitsluiting van het "Majority World": Geen enkel werk uit de afdelingen Afrika, Oceanië, Native American, Islamitische Kunst, Egyptische Kunst of Oud-West-Aziatische Kunst in het MET-dataset kreeg een score van 6.5+.
• Stijl Bias: Realistische stijlen (Realisme, Romanticisme, Impressionisme) worden hoog beoordeeld. Abstracte kunst, kubisme en popart (bijv. Picasso, Warhol, Dalí) krijgen aanzienlijk lagere scores.
• Medium Bias: Tweedimensionale realistische werken (olieverf, houtsnedes, fotografie) scoren hoog, terwijl driedimensionale objecten en abstracte kunst lager scoren.

3. Oorsprong van de Bias (Trace Ethnografie)

De analyse van de ontwikkeling van LAP onthult dat de bias voortkomt uit de specifieke context van de ontwikkelaars:

• Individuele Smaak: Het model is grotendeels ontwikkeld door één persoon (Christoph Schuhmann), die zijn eigen subjectieve smaak gebruikte om de gewichten van de trainingsdatasets te bepalen.
• Beperkte Trainingsdata: De trainingsdata (AVA, SAC, LAION-Logos) bestaat voornamelijk uit:
  • Foto's van Engelstalige fotografen uit het Westen (AVA, 2006-2012).
  • Afbeeldingen gegenereerd en beoordeeld door een kleine groep "WEIRD" (Western, Educated, Industrialized, Rich, Democratic) AI-enthousiastelingen (SAC).
• Methodologische Fouten: De auteurs concluderen dat LAP verschillende meetmethoden voor esthetiek heeft samengevoegd zonder rekening te houden met context. Bijvoorbeeld, de AVA-dataset baseerde scores op relatieve beoordelingen binnen een thema, terwijl LAP deze behandelt als absolute scores. Dit leidt tot een model dat "fotorealisme" meet in plaats van universele esthetiek.

Belangrijkste Bijdragen

1. Empirisch Bewijs van Bias: Het paper levert het eerste gedetailleerde empirische bewijs dat de LAP-model, een standaardtool in de AI-industrie, systematische bias vertoont die westerse, mannelijke en realistische esthetiek privilegieert.
2. Concept van de "Algorithmic Gaze": De auteurs introduceren het concept van de "algorithmic gaze" die drie vormen van bias combineert:
   • Imperial Gaze: Het bestraffen van niet-westerse kunst.
   • Realist Gaze: Het prefereren van realisme boven abstractie, wat moderne kunst en creatieve "glitches" devalueert.
   • Male Gaze: Het versterken van de heteroseksuele mannelijke blik, waarbij vrouwenobjectivering wordt beloond en andere identiteiten worden uitgesloten.
3. Methodologische Innovatie: Het paper demonstreert de kracht van het combineren van audits (om bias te detecteren) met trace ethnografie (om de oorsprong van de bias bij de ontwikkelaars en hun keuzes te traceren).
4. Kritiek op Universalisme: De auteurs betogen dat het streven naar een universele "esthetische" maatstaf fundamenteel flawed is en pleiten voor een verschuiving naar plurale, beschrijvende evaluaties in plaats van voorschriftende (prescriptieve) maatstaven.

Significantie en Implicaties

De bevindingen hebben grote gevolgen voor de ontwikkeling van generatieve AI:

• Representatieve Schade: Het gebruik van LAP voor dataset-curatie versterkt bestaande bias in AI-modellen, waardoor het genereren van niet-westerse kunst of kunst van gemarginaliseerde groepen moeilijker wordt.
• Veiligheidsrisico's: De voorkeur voor realisme en de inclusie van afbeeldingen met vrouwen (terwijl andere identiteiten worden gefilterd) kan bijdragen aan de generatie van schadelijke content, zoals deepfakes en niet-consensuele naaktfoto's van vrouwen.
• Aanbeveling voor Ontwikkelaars: AI-ontwikkelaars moeten stoppen met het gebruik van prescriptieve "aesthetic scores" als universele waarheid. In plaats daarvan moeten ze transparant zijn over welke specifieke esthetische waarden (bijv. fotorealisme, specifieke culturele stijlen) hun modellen prioriteren.
• Toekomstig Onderzoek: Het paper roept de FAccT-gemeenschap op om audits en ethnografieën vaker te combineren om de socio-technische oorsprong van algoritmische bias beter te begrijpen.

Kortom, het paper waarschuwt dat wat we "kwaliteit" noemen in AI vaak slechts een reflectie is van de specifieke, beperkte smaak van een kleine groep ontwikkelaars, en dat dit leidt tot een versterking van historische ongelijkheden in de kunstwereld.