Beyond wheelchairs and blindfolds: Investigating disability stereotypes in T2I models with INCLUDE-BENCH
Dit artikel introduceert INCLUDE-BENCH, de eerste grootschalige benchmark voor het evalueren van beperkingsgerelateerde vooroordelen in tekst-naar-afbeelding-modellen, die onthult dat huidige systemen systematisch vertrouwen op nauwe stereotypen zoals rolstoelen en een sterkere afstemming vertonen met reële vooroordelige associaties bij het afbeelden van mensen met een beperking.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een magische kunstmachine hebt die alles kan tekenen wat je beschrijft. Je zegt: "Teken een chef," en de machine spuugt een plaatje uit van een persoon met een witte hoed die aan het koken is. Je zegt: "Teken een persoon met een beperking," en... tja, daar wordt de magie een beetje haperig.
Een team onderzoekers van de Universiteit Utrecht besloot deze hapering te testen met een enorme nieuwe test genaamd INCLUDE-BENCH. Ze wilden niet alleen zien of de machines "bevooroordeeld" waren; ze wilden zien hoe ze bevooroordeeld waren, met behulp van een gigantische dataset van 119.680 gegenereerde afbeeldingen. Ze vroegen 17 verschillende kunstmotoren (zowel open-source modellen die voor iedereen toegankelijk zijn als twee gesloten, geheime modellen) om mensen met een beperking te tekenen in allerlei verschillende situaties.
Dit is wat ze ontdekten, geserveerd met een zijstap van de realiteit.
De "Rolstoel"-snelkoppeling
De grootste verrassing? De machines zijn geobsedeerd door rolstoelen. Wanneer de onderzoekers vroegen om een "mobiliteitsbeperkt" persoon of gewoon een generieke "gehandicapte" persoon, grepen bijna alle modellen direct naar de rolstoel. Het is alsof je een chef vraagt om een "bakker" te tekenen, en hij alleen maar iemand tekent die een deegroller vasthoudt, waarbij hij de ovens, het meel of het eigenlijke brood negeert.
Het paper laat zien dat de machines voor deze specifieke prompts ongelooflijk consistent zijn in het tekenen van de rolstoel, maar dat ze verschrikkelijk zijn in het tekenen van alles wat anders is. Het is een visuele snelkoppeling. De machines denken: "Oh, beperking? Dat betekent rolstoel," en ze stoppen daar.
De "Oud en Verdrietig"-filter
De machines lijken ook een vreemde filter te hebben voor leeftijd en stemming. Wanneer ze mensen met mobiliteitsproblemen tekenden, waren ze overwegend ouder. Als de persoon een vrouw was, werd ze vaak getekend in een huis, terwijl ze aan het koken of schoonmaken was. Als de persoon een man was, was hij vaak buiten, in een park of in een museum.
De onderzoekers kwamen erachter dat de machines in feiling een spelletje "stereotype bingo" spelen. Ze kiezen de meest voor de hand liggende, herkenbare aanwijzingen (zoals een rolstoel of een blinddoek) om ervoor te zorgen dat je weet wie de persoon is, maar doen daarmee alle andere details weg. Ze tonen geen diverse groep mensen die hun leven leiden; ze tonen een zeer smalle, zeer oude en zeer specifieke set personages.
De "Alignment vs. Diversity" afweging
Hier is een leuke manier om over de wiskunde achter de magie na te denken. De onderzoekers maten twee dingen:
- Alignment (Afstemming): Hoe goed komt de afbeelding overeen met de woorden die je typte?
- Diversity (Diversiteit): Hoe verschillend zijn de afbeeldingen van elkaar?
Ze vonden een grappige afweging. De afbeeldingen die het best overeenkwamen met de woorden "mobiliteitsbeperkt" of "gehandicapt" (hoogste alignment) waren de minst diverse. Ze zagen er bijna allemaal exact hetzelfde uit: een oud persoon in een rolstoel.
Maar wanneer ze vroegen om "blinde" of "doof" mensen, waren de afbeeldingen wat diverser. Je zag misschien een persoon met een stok, of iemand met een zonnebril, of misschien gewoon iemand die er peinzend bij zat. Maar zelfs dan grepen de machines terug op oude trucjes, zoals het tekenen van blinddoeken of specifieke handgebaren.
De "Warmth and Competence" Score
De onderzoekers hebben zelfs een nieuwe manier bedacht om de afbeeldingen te scoren, de SCM Score. Stel je een grafiek voor waarbij de ene kant is "Hoe aardig lijkt deze persoon?" (Warmth/Warmte) en de andere kant "Hoe bekwaam lijken ze?" (Competence/Bekwaamheid).
In de echte wereld denken mensen vaak over mensen met een beperking als "aardig maar niet erg bekwaam". Het paper vond dat de kunstmachines precies diezelfde vibe kopiëren. De afbeeldingen van mensen in rolstoelen scoorden laag op "bekwaamheid". Ze zagen er minder bekwaam uit dan de afbeeldingen van mensen zonder beperkingen. Zelfs wanneer de onderzoekers de machines vroegen om deze mensen actieve dingen te laten doen (zoals wandelen of praten), hadden de machines nog steeds moeite om ze bekwaam te laten lijken.
Wat de machines fout deden (en wat ze niet testten)
Het is belangrijk om te weten wat deze test niet deed. De onderzoekers zeiden expliciet dat ze niet hebben getest op cognitieve of intellectuele beperkingen. Waarom? Omdat die niet altijd zichtbaar zijn in een plaatje. Je kunt een denkproces niet echt "tekenen" op dezelfde manier als je een rolstoel kunt tekenen. Dus de resultaten die we hebben, gaan strikt over dingen die je kunt zien.
Ook beweert het paper niet dat ze het probleem hebben "opgelost". Ze hebben niet naar een magische schakelaar gezocht om de bias uit te zetten. In plaats daarvan hebben ze een enorme meetlat gebouwd (INCLUDE-BENCH) om ons te laten zien hoe kapot de meetlat op dit moment precies is. Ze ontdekten dat zelfs wanneer ze de context probeerden te veranderen (door te vragen naar een persoon in een café versus een park), de machines nog steeds zwaar leunden op de stereotypen.
De essentie
Het paper suggereert dat deze kunstmachines niet alleen per ongeluk fouten maken; ze reproduceren actief dezelfde smalle, stereotiepe verhalen die we in de echte wereld zien. Ze leggen te veel nadruk op de "diagnostische" aanwijzingen (de rolstoel, de wandelstok) en negeren de rest van de menselijke persoon.
De onderzoekers zijn vrij zeker van hun zaak omdat ze bijna 120.000 afbeeldingen hebben gegenereerd en deze hebben gecontroleerd met wiskunde en AI-tools. Ze gokken niet; ze hebben het gemeten. En de meting zegt: als je een echte, diverse, bekwame persoon met een beperking wilt zien, kun je de machine nog niet zomaar vragen. De machine zit nog steeds vast in de "rolstoel en ouderdom" loop.
Dus, hoewel de technologie geweldig is, is het nog steeds aan het leren dat een persoon meer is dan alleen hun beperking. Tot die tijd tekent de magische kunstmachine vooral steeds weer hetzelfde oude verhaal.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.