Evaluating Demographic Misrepresentation in Image-to-Image Portrait Editing

Deze studie onthult dat instructiegeleide beeld-naar-beeld bewerkingsmodellen systematische demografische vertekeningen vertonen door identiteitsbehoud te verstoren via 'zachte uitwissing' en 'stereotype vervanging', maar laat zien dat prompt-niveau beperkingen deze ongelijkheid voor minderheidsgroepen aanzienlijk kunnen verminderen.

De kern

Stel je voor dat je een digitale fotograaf hebt die heel goed is in het bewerken van portretten. Je zegt tegen hem: "Maak deze persoon ouder" of "Zet deze persoon in een kostuum als dokter." Je verwacht dat de foto verandert, maar dat de persoon op de foto nog steeds dezelfde persoon blijft.

Dit onderzoek kijkt naar wat er gebeurt als je die digitale fotograaf vraagt om foto's te bewerken van mensen uit verschillende groepen (bijvoorbeeld verschillende huidskleuren, geslachten of leeftijden). De onderzoekers ontdekten dat deze slimme computersystemen niet eerlijk zijn. Ze gedragen zich alsof ze een vooroordeel hebben, zelfs als je dat niet vraagt.

Hier is een uitleg van de belangrijkste bevindingen, vertaald naar alledaagse taal met een paar creatieve vergelijkingen:

1. De twee manieren waarop de computer "verkeerd" doet

De onderzoekers ontdekten twee specifieke manieren waarop de computer de opdracht verkeerd uitvoert:

• De "Stille Negeerder" (Soft Erasure):
  Stel je voor dat je een vriend vraagt om je jas uit te trekken, maar hij doet alsof hij het niet hoort en blijft gewoon zitten. De computer maakt wel een nieuwe foto, maar hij negeert je opdracht volledig. Als je vraagt om iemand in een rolstoel te zetten, gebeurt er niets. De foto ziet er bijna hetzelfde uit als voorheen. De computer "luistert" niet, maar geeft ook geen excuus; hij negeert het gewoon stilzwijgend.
• De "Stereo-typische Vervanger" (Stereotype Replacement):
  Dit is nog vervelender. Stel je vraagt: "Maak van deze persoon een CEO." De computer doet wat je vraagt, maar hij voegt ook dingen toe die je niet hebt gevraagd. Bijvoorbeeld: als de persoon op de foto donkere huid heeft, maakt de computer de huid plotseling lichter en verandert de gelaatstrekken zodat de persoon meer op een "witte CEO" lijkt. De computer denkt: "CEO's zijn meestal wit, dus ik ga die persoon even aanpassen." Het is alsof je een schilderij vraagt van een specifieke persoon, maar de schilder de persoon vervangt door iemand die meer op zijn eigen idee van een "ideale CEO" lijkt.

2. Het "Wit als Standaard" Probleem

Een van de meest opvallende ontdekkingen is dat de computer een soort "standaard-instelling" heeft: Wit.

• De Analogie: Denk aan een auto met een navigatiesysteem. Als je geen bestemming invoert, rijdt de auto automatisch naar een bekend, veilig centrum. Voor deze computersystemen is dat "centrum" een witte, westerse uitstraling.
• Wat er gebeurt: Als je een foto van iemand met een donkere huid bewerkt, "drijft" de computer de foto onbedoeld naar die witte standaard toe. De huidskleur wordt lichter, de gelaatstrekken veranderen.
• Het ongelijk: Als je een foto van een witte persoon bewerkt, gebeurt er bijna niets met de identiteit. De computer vindt dat die persoon al "goed" is. Maar voor mensen met een andere achtergrond moet je extra hard duwen om de computer te laten doen wat je wilt, zonder dat ze hun identiteit verliezen.

3. De "Job-vooroordeel"

De computer heeft ook sterke ideeën over welke beroepen bij welk geslacht horen.

• Als je vraagt om een "verpleegster" te maken, maakt de computer bijna altijd een vrouw, zelfs als je een man op de foto hebt.
• Als je vraagt om een "dokter" of "CEO", maakt de computer bijna altijd een man.
  De computer negeert de persoon op de foto en kiest voor het stereotype dat hij in zijn "hoofd" heeft opgeslagen.

4. De Oplossing: De "Identiteit-lijm"

De onderzoekers wilden weten of ze dit konden oplossen zonder de computer zelf te herschrijven (wat heel moeilijk en duur is). Ze bedachten een slimme truc: De "Identiteit-lijm" (Feature Prompt).

• Hoe het werkt: In plaats van alleen te zeggen "Maak een dokter", zeggen ze tegen de computer: "Bewerk deze persoon tot een dokter, maar houd de donkere huidskleur, de ronde neus en de krullende haren exact zoals ze zijn."
• Het resultaat: Dit werkt wonderbaarlijk goed! Door de computer expliciet te vertellen wat hij moet behouden, verdwijnt het ongewenste "witmaken" grotendeels.
• De kanttekening: Het is jammer dat de gebruiker dit zelf moet doen. Het is alsof je een bakker moet vertellen: "Maak een taart, maar vergeet niet suiker toe te voegen." De bakker zou suiker toch moeten toevoegen als dat de standaard is. De onderzoekers zeggen: "Het is niet de taak van de gebruiker om de computer te corrigeren; de computer moet het van nature al eerlijk doen."

Samenvatting

Dit onderzoek laat zien dat onze slimme beeldbewerkings-apps nog niet zo slim zijn als we denken. Ze hebben onbewuste vooroordelen die ervoor zorgen dat mensen met een andere huidskleur of achtergrond vaak "veranderd" worden in iets dat meer op de meerderheid lijkt.

Hoewel we nu een truc hebben gevonden (de extra instructies) om dit tijdelijk op te lossen, is de echte boodschap: De ontwikkelaars moeten de computersystemen zelf eerlijker maken, zodat we niet hoeven te vechten om onze eigen identiteit in een foto te behouden.

Technische samenvatting

1. Probleemstelling

Hoewel demografische vooroordelen in tekst-naar-beeld (T2I) generatie goed onderzocht zijn, blijft de analyse van instructie-gestuurde Image-to-Image (I2I) bewerkingen (waarbij een bestaand portret wordt aangepast) onderbelicht. De kernproblematiek is dat gebruikers verwachten dat bewerkingen alleen de gevraagde attributen veranderen (bijv. kleding, achtergrond) terwijl de identiteit van het onderwerp behouden blijft.

De auteurs tonen aan dat identieke bewerkingsinstructies systematisch verschillende uitkomsten opleveren afhankelijk van de demografische kenmerken (ras, geslacht, leeftijd) van het bronbeeld. Dit leidt tot twee specifieke faalmodi die de auteurs definiëren:

1. Soft Erasure (Zachte Uitwissing): De bewerking wordt stilzwijgend genegeerd of verzwakt, waardoor het resultaat nauwelijks verandert ondanks dat er een output wordt gegenereerd. Dit gebeurt vaak bij gevoelige onderwerpen of wanneer de instructie bots met interne veiligheidsvoorkeuren.
2. Stereotype Replacement (Stereotype Vervanging): De bewerking introduceert ongevraagde, stereotype-gebaseerde demografische attributen. Bijvoorbeeld: een donkerhuidig persoon wordt lichter getint of verandert van ras, of een vrouw wordt omgezet in een mannelijke CEO-uitstraling, zelfs als de prompt dit niet expliciet vraagt.

2. Methodologie

De auteurs hebben een gecontroleerde benchmark ontwikkeld om deze demografisch voorwaardelijke fouten systematisch te meten.

• Dataset: Een set van 84 portretten afkomstig van de FairFace-dataset, gefactorieerd samengesteld over 7 rassen, 2 geslachten en 6 leeftijdsgroepen.
• Diagnostische Prompts: Een set van 20 prompts in twee categorieën:
  • Occupational Stereotypes: Rollen zoals CEO, militair, leraar, schoonmaker (om te testen of het model geslacht/ras stereotypering toepast).
  • Vulnerability Attributes: Situaties zoals fysieke beperkingen, veroudering of economische kwetsbaarheid (om te testen op "Soft Erasure").
• Modellen: Drie open-weight I2I-editors werden getest: FLUX.2-dev, Step1X-Edit-v1p2, en Qwen-Image-Edit-2511.
• Evaluatie Protocol:
  • Er werden in totaal 5.040 bewerkte afbeeldingen gegenereerd.
  • Evaluatie vond plaats via twee onafhankelijke Vision-Language Models (VLM's: Gemini 3.0 en GPT-5-mini) en menselijke evaluatie (via Prolific).
  • De scores werden gebaseerd op een 1-5 Likert-schaal voor: Edit Success, Huidskleurverandering, Rasverandering, Geslachtsverandering en Leeftijdsverandering.
• Mitigatie Strategie: De auteurs introduceerden een Feature Prompt mechanisme. Hierbij worden observabele fysieke kenmerken van het bronbeeld (bijv. "diepbruine huid met warme ondertoon", "ronde gezichtsvorm") expliciet toegevoegd aan de instructie om de identiteit te behouden, zonder de modelgewichten aan te passen.

3. Belangrijkste Resultaten

De analyse onthulde vier consistente patronen van demografische bias:

1. Alomtegenwoordige Soft Erasure: Vooral bij modellen als Step1X-Edit-v1p2 werden gevraagde bewerkingen vaak genegeerd, wat resulteerde in een lage "Edit Success" score.
2. Systematische Ras- en Huidskleurverandering: Er was een sterke trend naar "skin lightening" (lichter maken van de huid).
   • 62-71% van alle outputs had een lichtere huidskleur dan het bronbeeld.
   • Dit effect was disproportioneel: Indiase en zwarte proefpersonen vertoonden een huidverlichting van 72-75%, terwijl dit bij witte proefpersonen slechts 44% was.
   • Rasveranderingen waren eveneens significant: Indiase onderwerpen veranderden in 14% van de gevallen van ras, tegenover slechts 1% bij witte onderwerpen.
3. Asymmetrische Mitigatie: De "Feature Prompt" strategie (het expliciet beschrijven van fysieke kenmerken) werkte sterk asymmetrisch.
   • Voor niet-witte groepen (bijv. zwart, Indiaas) verminderde deze methode de rasverandering aanzienlijk (tot 1.48 punten op de schaal).
   • Voor witte onderwerpen was het effect verwaarloosbaar (-0.06 punten).
   • Dit suggereert dat de standaard "default" van de modellen al naar witte kenmerken neigt; de constraints corrigeren vooral de grotere afwijkingen bij minderheden.
4. Geslacht-Beroep Stereotypering: In 84-86% van de gevallen volgden de modellen stereotypen waarbij een beroep automatisch een specifiek geslacht oplegde (bijv. een vrouwelijke verpleegkundige of een mannelijke CEO), zelfs als het bronbeeld een ander geslacht had.

4. Belangrijke Bijdragen

• Formalisatie van Faalmodi: De eerste expliciete definitie en kwantificering van Soft Erasure en Stereotype Replacement in de context van I2I-editing.
• Gestandaardiseerde Benchmark: Een reproduceerbare benchmark met 5.040 bewerkte afbeeldingen die de demografische ongelijkheid in open-weight editors blootlegt.
• Prompt-Level Oplossing: Het aantonen dat identiteitsbehoud kan worden verbeterd zonder model-finetuning, puur door de prompt te verrijken met observabele kenmerken. Dit is een belangrijke bevinding voor de bruikbaarheid van bestaande modellen.
• VLM vs. Menselijke Validatie: De studie toont een sterke correlatie tussen VLM-scores en menselijke beoordelingen, wat suggereert dat geautomatiseerde evaluatie een schaalbaar alternatief is voor dure menselijke annotatie bij het detecteren van demografische bias.

5. Betekenis en Conclusie

Dit paper legt bloot dat huidige I2I-editors structurele, demografisch voorwaardelijke fouten bevatten die leiden tot representatieschade. De "identiteitsbehoud" is niet gelijk voor iedereen; minderheidsgroepen lopen een veel groter risico op het verliezen van hun ras- of geslachtskenmerken of het krijgen van ongevraagde stereotype attributen.

De conclusie is dat de verantwoordelijkheid voor demografische robuustheid niet bij de gebruiker mag liggen (die elke keer complexe prompts moet schrijven), maar bij de ontwikkelaars van de modellen. De huidige "default" instellingen van deze AI-systemen zijn fundamenteel ongelijk, met een bias richting westerse/witte normen. De auteurs pleiten voor trainingsdata-audits en architecturale verbeteringen om identiteit standaard te behouden, ongeacht de demografie van het onderwerp.