EmergencyBias: Bias in Text-to-Image Models under Emergency Scenarios

Stel je voor dat je zojuist een magische camera hebt opgepakt die geen foto's maakt van de wereld zoals die is, maar die schilderijen maakt op basis van jouw woorden. Als je "een chef" zegt, kan het een man tekenen; als je "een verpleegkundige" zegt, kan het een vrouw tekenen. Dit is hoe moderne Text-to-Image (T2I) modellen werken: ze zijn ongelooflijk slimme kunstenaars die zinnen omzetten in prachtige beelden. Maar hier komt de adder onder het gras: deze kunstenaars zijn getraind op een enorme berg oude afbeeldingen van het internet, en die berg zit vol met stereotypen. Al een tijdje controleren wetenschappers of deze digitale schilders het fout hebben over het "wie"—zoals alleen mannen als arts tekenen of alleen vrouwen als verpleegkundige. Ze hebben gekeken naar de statische cast van personages in de afbeelding. Maar wat als het echte probleem niet alleen is wie er in de kamer is, maar wat ze doen? Wat als de camera besluit dat wanneer er dingen misgaan, alleen bepaalde mensen dapper genoeg zijn om te helpen, terwijl anderen alleen maar toekijken? Dit is de nieuwe grens van bias: niet alleen wie verschijnt, maar wie handelt, wie reageert en wie de held mag zijn.

Ontmoet een team onderzoekers van de Fudan Universiteit die besloten deze AI-kunstenaars onder de ultieme test te stellen: de spoedeisende hulp. Ze bedachten een nieuwe term, EmergencyBias, om een sluipend soort vooroordeel te beschrijven dat optreedt wanneer de AI wordt gevraagd een crisis te tekenen, zoals een auto-ongeluk of een brand. Ze wilden zien of de AI automatisch zou besluiten dat mannen degenen zijn die te hulp schieten om de dag te redden, terwijl vrouwen, oudere mensen of mensen met een donkere huidskleur degenen zijn die gered moeten worden of gewoon toekijken.

Om dit te ontdekken, stelden ze niet alleen de AI de opdracht om een willekeurige scène te tekenen; ze zetten een massaal, systematisch experiment op. Ze creëerden zes verschillende scenario's met een hoge inzet, variërend van iemand die in een rivier verdrinkt tot een ongeval op een metroperron. Ze vroegen zeven van de meest geavanceerde AI-modellen ter wereld om deze scènes te tekenen. Eerst gaven ze de modellen "lege" prompts—gewoon "een persoon valt op een metroperron"—om te zien wie de AI als standaard koos. Daarna gaven ze "gecontroleerde" prompts, waarbij ze de AI expliciet vertelden: "Teken een vrouwelijke omstander" of "Teken een ouder persoon in crisis", om te zien of de AI hen nog steeds anders zou behandelen in hun acties.

De resultaten waren een beetje als het kijken naar een goocheltruc waarbij de goochelaar per ongeluk het geheim onthult: de AI-modellen waren inderdaad bevooroordeeld, en de bias werd erger wanneer de situatie angstaanjagend werd. Wanneer de prompts leeg waren, koos de AI overweldigend voor mannen om zowel degene te zijn die in gevaar is als degene die helpt, terwijl oudere mensen bijna onzichtbaar waren en in minder dan 8% van de rollen "in crisis" verschenen. Maar de echte schok kwam toen ze de demografie controleerden. Zelfs wanneer ze de AI expliciet vertelden: "Teken een vrouwelijke omstander", maakte het model haar nog steeds minder waarschijnlijk om daadwerkelijk te helpen vergeleken met een mannelijke omstander. De AI leek een verborgen script te hebben waarbij mannen de actieve redders zijn en vrouwen de passieve toeschouwers, ongeacht wat de prompt ook zei. Dit was niet zomaar een kleine fout; het verschil in "helpgedrag" tussen geslachten was de meest uitgesproken bias die ze vonden.

De onderzoekers testten ook een nieuwe, lichtgewicht oplossing die ze ActionAlign noemden. Denk aan een kleine, onzichtbare coach die instructies fluistert aan de AI-kunstenaar vlak voordat hij begint te schilderen, die de AI een duwtje geeft om slechte gewoontes te doorbreken zonder het artistieke talent te wissen. Ze vergeleken dit met een meer voor de hand liggende methode, zoals het toevoegen van "ethische" woorden aan de prompt (zoals zeggen "wees eerlijk"). De resultaten lieten zien dat ActionAlign veel beter was in het oplossen van het gedrag. Op een van de modellen verminderde het de bias in helpgedrag met een enorme 78,14%, terwijl de kwaliteit van de afbeelding nauwelijks werd aangetast. Dit suggereert dat je een AI niet simpelweg kunt vertellen om "aardig te zijn" met een paar woorden; je moet soms hun interne begrip van hoe verschillende mensen in een crisis zouden moeten handelen, opnieuw trainen.

Kortom, dit artikel suggereert dat onze AI-kunstenaars niet alleen kopiëren wie er in de kamer is; ze kopiëren ook wie zij denken dat de held zou moeten zijn. Zelfs wanneer we ze dwingen een specifiek persoon te tekenen, blijven ze moeite hebben om zich voor te stellen dat die persoon in actie komt. Het goede nieuws is dat we met een beetje slimme afstemming deze modellen kunnen leren om een eerlijker script voor iedereen te schrijven, zodat in de digitale noodsituaties van de toekomst de helden op ons allemaal lijken.