Prompt-Driven Color Accessibility Evaluation in Diffusion-based Image Generation Models

Deze studie introduceert de nieuwe metriek CVDLoss om de beperkte respons van diffusion-modellen op prompts voor kleurtoegankelijkheid bij kleurenblindheid systematisch te evalueren en te kwantificeren.

De kern

Kleuren voor iedereen: Een simpele uitleg van het onderzoek

Stel je voor dat je een kunstenaar bent die een magische robot hebt. Deze robot kan prachtige, kleurrijke schilderijen maken als je hem gewoon een zinnetje vertelt, zoals "een mandje met fruit" of "een vrolijke paradijsvogel". Dit is wat moderne AI (zoals Stable Diffusion) doet: het creëert beelden uit tekst.

Maar er is een probleem. Voor ongeveer 8% van de wereldbevolking werkt de wereld niet in de volle, heldere kleuren die jij ziet. Zij hebben een kleurenblindheid (in het Engels Color Vision Deficiency of CVD). Voor hen kunnen bepaalde kleuren, zoals rood en groen, eruitzien als dezelfde saaie grijstint. Een schilderij dat voor jou prachtig is, kan voor hen een onleesbare modderpoel zijn waar je niets van kunt onderscheiden.

De onderzoekers uit dit paper (Xinyao, Jose en Kaan) wilden weten: Kan die magische AI-robot zelf leren om kleuren aan te passen als je hem daar gewoon om vraagt?

De Grote Vraag: Is "Vriendelijk" genoeg?

De onderzoekers dachten: "Laten we de robot vragen om 'kleurenblind-vriendelijke' beelden te maken." Ze gaven hem verschillende opdrachten:

1. Gewoon: "Een mandje fruit."
2. Specifiek: "Een mandje fruit, maar gebruik een kleurenpalet dat goed is voor kleurenblinden."
3. Nog specifieker: "Een mandje fruit, speciaal voor mensen die rood niet kunnen zien."

Ze lieten de robot 320 verschillende plaatjes maken, van fruit en bloemen tot straten en cartoons.

De Nieuwe Meetlat: De "Structuur-Schokmeter"

Hoe meet je of een plaatje nu echt beter is? Je kunt niet zomaar vragen aan een kleurenblinde persoon of het plaatje "lekker" is. Je hebt een meetinstrument nodig.

De onderzoekers bedachten een nieuwe manier om dit te meten, genaamd CVDLoss.

• De Analogie: Stel je voor dat je een foto bekijkt door een bril die de kleuren verandert. Vaak zijn de lijntjes, randjes en texturen (zoals de nerven in een blad of de rand van een appel) nog steeds zichtbaar, maar dan in andere kleuren.
• Het probleem: Soms verandert de bril de kleuren zo erg, dat die lijntjes en randjes verdwijnen. De structuur van het plaatje is dan "kapot" gegaan.
• De oplossing: CVDLoss is als een schokmeter. Hij meet hoeveel de "randjes en lijntjes" van het plaatje verschuiven of verdwijnen als je ze bekijkt met een kleurenblinde bril.
  • Een lage score is goed: De structuur blijft hetzelfde, of je nu normaal kijkt of met een kleurenblinde bril.
  • Een hoge score is slecht: De structuur is verstoord; details zijn verdwenen.

Ze testten hun meetinstrument eerst op een bekende techniek (die plaatjes handmatig aanpast) om te zien of de meter wel werkte. En ja, hij deed het perfect: hij zag precies waar de structuur verbeterde.

Wat vonden ze? De Teleurstellende Waarheid

Toen ze de AI-robot lieten werken met hun speciale "vriendelijke" opdrachten, was het resultaat niet wat ze hoopten.

1. De robot is niet slim genoeg: De AI is getraind om mooie plaatjes te maken, niet om rekening te houden met toegankelijkheid. Als je vraagt om "kleurenblind-vriendelijk", begrijpt de robot niet precies wat dat betekent.
2. Het is een loterij: Soms werkte het wel (bijvoorbeeld bij "snoepjes" werden de kleuren soms beter), maar vaak werd het juist erger.
   • Bij "bloemen" zorgde de speciale opdracht ervoor dat de bloemen juist minder goed te onderscheiden waren. De robot had de kleuren zo veranderd dat de structuur verdween.
   • Bij "straten" en "cartoons" werd het resultaat onvoorspelbaar en chaotisch.

De les: Als je een AI vraagt om iets "toegankelijk" te maken, is het alsof je een kind vraagt om een huis te bouwen zonder dat je de blauwdruk hebt getoond. Het kan lukken, maar het kan ook een puinhoop worden.

Conclusie: Waarom dit belangrijk is

Dit onderzoek laat zien dat we niet zomaar kunnen vertrouwen op simpele tekstopdrachten om AI-beelden toegankelijk te maken voor iedereen. De AI moet nog veel leren.

Maar het goede nieuws is dat ze CVDLoss hebben bedacht. Dit is een nieuwe, slimme manier om te meten of een plaatje echt toegankelijk is, zonder dat je duizenden mensen hoeft te vragen. Het is als een "kwaliteitscontroleur" die direct ziet of de randjes en details nog intact zijn voor mensen met kleurenblindheid.

Kortom: AI kan nu prachtige plaatjes maken, maar het is nog geen meester in het maken van plaatjes voor iedereen. We hebben betere meetinstrumenten (zoals deze nieuwe schokmeter) nodig om te zien waar de AI faalt, voordat we kunnen zeggen dat het echt voor iedereen werkt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Prompt-Driven Color Accessibility Evaluation in Diffusion-based Image Generation Models" in het Nederlands.

Probleemstelling

Generatieve modellen, zoals diffusion-modellen, worden steeds vaker geïntegreerd in creatieve workflows vanwege hun vermogen om visueel hoogwaardige en semantisch rijke afbeeldingen te genereren op basis van tekstuele prompts. Echter, kleurtoegankelijkheid voor mensen met een Kleurenblindheid (Color Vision Deficiencies - CVD) blijft een onderbelicht gebied.

Hoewel bestaande methoden voor "daltonisering" (post-processing) hebben aangetoond dat ze de toegankelijkheid kunnen verbeteren, is het onzeker of generatieve modellen deze aanpassingen direct kunnen uitvoeren via prompt-engineering, zonder expliciete post-processing. Bestaande richtlijnen voor toegankelijkheid focussen vaak alleen op luminantie-contrast (helderheid), maar dit negeert perceptuele conflicten die ontstaan door verschillen in tint (hue) en verzadiging (saturation). Voor gebruikers met CVD kunnen deze kleurconflicten leiden tot het verlies van structurele details, randen en texturen, zelfs in afbeeldingen die voor mensen met normaal gezichtsvermogen duidelijk lijken.

Methodologie

De auteurs hebben een systematische evaluatie uitgevoerd om de effectiviteit van prompt-gestuurde toegankelijkheid te testen. De methode omvat vier kerncomponenten:

1. Dataset en Prompt-Design:

   • Er is een dataset gegenereerd met 320 afbeeldingen (10 per categorie) met behulp van het Stable Diffusion 3.5-large model.
   • Acht semantisch en visueel verschillende categorieën werden gebruikt: snoep, cartoon, koraalrif, bloem, fruit, papegaai, poster en straatbeeld.
   • Vier prompt-strategieën werden getest:
     • Standaard: Beschrijvend (bijv. "Een kom fruit").
     • Kleurenblind-bewust: Toevoeging van "met rood-groen kleurenblinde palet".
     • Protanopie-bewust: Toevoeging van "met protanopie-vriendelijk palet".
     • Deuteranopie-bewust: Toevoeging van "met deuteranopie-vriendelijk palet".

2. CVD-Simulatie:

   • Afbeeldingen werden gesimuleerd voor de twee meest voorkomende vormen van kleurenblindheid: protanopie (roodblind) en deuteranopie (groenblind).
   • Er werd gebruikgemaakt van het fysiologisch gebaseerde model van [VBM99] (geïmplementeerd in de DaltonLens-library) om de perceptie bij maximale ernst (volledige blindheid voor de betreffende kleur) te modelleren.

3. Nieuwe Meting: CVDLoss:

   • Om de toegankelijkheid objectief te kwantificeren, introduceerden de auteurs CVDLoss. Deze metric meet de verandering in lokale structuur, textuur en randen veroorzaakt door kleurverschuivingen.
   • In plaats van alleen luminantie te kijken, worden kleurgradiënten berekend in de OKLab-kleurruimte (HyAB-afstand).
   • De metric vergelijkt de gradiënt-magnitude maps (GMM) van de originele afbeelding met die van de CVD-gesimuleerde afbeelding. Een lagere CVDLoss betekent dat de structuur voor een persoon met CVD vergelijkbaar is met die voor iemand met normaal gezichtsvermogen.
   • Formule: $CVDLoss(I, I_{CVD}) = \frac{\sum_p (G(I)_p - G(I_{CVD})_p)^2}{N \cdot \max_p G(I)_p^2}$

4. Synthetische Validatie:

   • De geldigheid van CVDLoss werd getest door standaard-afbeeldingen te onderwerpen aan een daltonisatie-algoritme (post-processing). De verwachting was dat daltonisatie de CVDLoss zou verlagen (minder structuurverlies).

Belangrijkste Bijdragen

• Systematische Evaluatie: Eerste uitgebreide studie die de effectiviteit van puur prompt-gestuurde toegankelijkheid in diffusion-modellen evalueert.
• CVDLoss Metric: Introductie van een nieuwe, gradiënt-gebaseerde metric die specifiek ontworpen is om perceptuele-structurele discrepanties te meten die door CVD ontstaan, wat een verbetering is ten opzichte van bestaande luminantie-gebaseerde metrics.
• Validatie: Demonstreert dat CVDLoss sensitief reageert op toegankelijkheidsgerichte kleurtransformaties en consistent gedrag vertoont bij synthetische validatie.

Resultaten

De experimentele resultaten tonen aan dat prompt-engineering niet betrouwbaar is voor het verbeteren van kleurtoegankelijkheid:

• Inconsistentie: Diffusion-modellen zijn niet expliciet getraind op toegankelijkheidsbeperkingen. Het toevoegen van termen als "kleurenblind-vriendelijk" leidt tot onvoorspelbare resultaten.
• Categorie-afhankelijkheid:
  • Categorieën met sterke kleuren (zoals snoep en bloemen) vertonen de grootste variabiliteit. Terwijl snoep soms profiteerde, leidde de prompt bij bloemen vaak tot een toename van CVDLoss, wat betekent dat de lokale structuur juist werd verstoord.
  • Categorieën zoals cartoons, posters en straatbeelden toonden instabiliteit onder de algemene "kleurenblind-bewuste" prompts, met een bredere verdeling en hogere CVDLoss.
• Specifieke Prompts: Prompts die specifiek gericht zijn op één type kleurenblindheid (bijv. alleen protanopie) verminderden de verstoring enigszins, maar de effectiviteit hing sterk af van de compositie van de scène.
• Validatie: De synthetische validatie bevestigde dat daltonisatie (post-processing) de CVDLoss daadwerkelijk verlaagt (vooral bij protanopie), wat aantoont dat de metric correct functioneert als diagnose-instrument.

Betekenis en Conclusie

De studie concludeert dat generatieve modellen op dit moment niet in staat zijn om via prompts alleen betrouwbare, toegankelijke afbeeldingen te genereren. Het gebruik van toegankelijkheidsgerichte prompts kan zelfs leiden tot ongewenste resultaten en een verlies van perceptuele structuur, vooral in kleurrijke scènes.

De CVDLoss-metric wordt gepresenteerd als een waardevol hulpmiddel voor:

1. Het evalueren van de prestaties van generatieve modellen op het gebied van toegankelijkheid.
2. Het identificeren van fouten in post-processing pipelines.
3. Het bieden van inzicht in de beperkingen van huidige AI-modellen.

De auteurs wijzen erop dat toekomstig onderzoek moet focussen op het evalueren van meerdere daltonisatie-methoden, het testen van de metric bij echte gebruikers met CVD, en het ontwikkelen van modellen die expliciet getraind zijn op toegankelijkheidsbeperkingen, aangezien prompt-engineering alleen onvoldoende is.