GeoDiv: Framework For Measuring Geographical Diversity In Text-To-Image Models

Deze paper introduceert GeoDiv, een nieuw raamwerk dat grote taal- en visueel-taalmodellen inzet om de geografische diversiteit en socio-economische vertekening in door tekst gegenereerde afbeeldingen systematisch te meten, waarbij wordt aangetoond dat bestaande modellen regio's zoals India, Nigeria en Colombia vaak onterecht als arm en verwaarloosd afbeelden.

De kern

GeoDiv: De Reisgids voor eerlijke AI-foto's

Stel je voor dat je een wereldwijde reisgids hebt die je vertelt hoe het eruit ziet in elk land. Maar wat als die gids, elke keer als je vraagt "Hoe ziet een huis in Nigeria eruit?", alleen maar foto's toont van vervallen hutten met modderige wegen? En als je vraagt "Hoe ziet een huis in Japan eruit?", toont hij alleen maar strakke, moderne huizen?

Dat is precies wat er gebeurt met de kunstmatige intelligentie (AI) die foto's maakt op basis van tekst (zoals "T2I-modellen"). Deze AI's hebben een heel groot deel van het internet gelezen, maar ze hebben een slechte gewoonte ontwikkeld: ze blijven hangen in stereotypen. Ze vergeten de echte diversiteit van de wereld.

GeoDiv is een nieuw hulpmiddel, bedacht door onderzoekers, dat als een strenge, maar eerlijke inspecteur fungeert. Het kijkt niet alleen naar of een foto "leuk" is, maar of de AI de wereld eerlijk weergeeft.

Hier is hoe GeoDiv werkt, vertaald in alledaagse termen:

1. De Twee Sporen van de Inspecteur

GeoDiv kijkt naar twee belangrijke dingen, alsof het twee verschillende soorten camera's zijn:

• De "Rijkdom & Zorg"-camera (SEVI):
  Stel je voor dat je door een stad loopt. Kijk je alleen naar de luxe winkels en de glimmende auto's, of zie je ook de oude gebouwen, de arme buurten en de mensen die hun spullen repareren?

  • Rijkdom (Affluence): Is de scène arm of rijk?
  • Zorg (Maintenance): Is het spul eruitziend als nieuw en verzorgd, of juist versleten en kapot?
  • Het probleem: De AI's tonen vaak India, Nigeria en Colombia alleen als arm en vervallen, terwijl ze die landen ook als modern en welvarend zouden moeten kunnen tonen.

• De "Variatie"-camera (VDI):
  Stel je voor dat je een doos met speelgoedkinderen hebt. Als je om "een stoel" vraagt, krijg je dan 100 keer exact dezelfde houten stoel? Of krijg je een plastic tuinstoel, een comfortabele bank, een klapstoel en een houten kruk?

  • Vorm van het object: Zien we verschillende soorten auto's, huizen of stoelen?
  • De achtergrond: Staat de auto op een asfaltweg, een modderpad of in een garage?
  • Het probleem: De AI's zijn vaak saai. Ze kiezen steeds voor dezelfde "standaard" achtergrond en hetzelfde type object, ongeacht het land.

2. Hoe werkt het? (De Vertalers)

GeoDiv gebruikt slimme computerprogramma's (grote taalmodellen) als vertalers.

• De AI maakt eerst een foto (bijvoorbeeld: "Een foto van een auto in Mexico").
• Vervolgens vraagt GeoDiv aan de slimme vertaler: "Wat voor kleur is die auto?", "Is de weg geplaveid?", "Lijkt het huis rijk of arm?".
• De vertaler kijkt naar honderden foto's en maakt een lijstje: "80% van de auto's in Nigeria staat op een modderweg, terwijl 85% in de VS op asfalt staat."
• Dan berekent GeoDiv een diversiteitscore. Als de lijstje maar één antwoord heeft (allemaal modder), is de score laag. Als er veel variatie is, is de score hoog.

3. Wat hebben ze ontdekt? (De Schokkende Feiten)

Toen ze dit testten op 160.000 gegenereerde foto's van verschillende AI-modellen, vonden ze een paar duidelijke patronen:

• De "Arme Landen"-valstrik: AI-modellen tonen landen in Afrika en Zuid-Amerika (zoals Nigeria, India, Colombia) bijna altijd als arm, smerig en vervallen. Ze vergeten de moderne steden en de welvaart die daar ook bestaat.
• De "Rijke Landen"-droom: Landen als de VS, Japan en het VK krijgen vaak te veel luxe, strakke en perfecte foto's.
• De "Gladde maar Saai" AI: De nieuwste AI (FLUX.1) maakt prachtige, glimmende foto's die er heel rijk uitzien, maar ze zijn saai. Het zijn allemaal dezelfde perfecte huizen en straten. Het mist de echte, ruwe diversiteit van de wereld.
• De "Standaardstoel": Of je nu vraagt om een stoel in India of in Italië, de AI maakt vaak exact hetzelfde type stoel.

4. Waarom is dit belangrijk?

Stel je voor dat je een wereldkaart tekent, maar je tekent alleen de gebieden die je zelf kent en vergeten de rest. Dan denk je dat de wereld er zo uitziet. Dat is wat deze AI's doen.

GeoDiv is als een spiegel die de AI's laat zien: "Kijk eens, je bent vooroordelen aan het versterken!" Het helpt ontwikkelaars om hun modellen te verbeteren, zodat ze niet alleen mooie foto's maken, maar ook eerlijke foto's die de echte wereld weerspiegelen.

Kort samengevat:
GeoDiv is een meetlat voor eerlijkheid. Het zorgt ervoor dat wanneer een AI een foto maakt van een "huis in Kenia", het niet alleen een hut tekent, maar ook een modern appartement, een villa of een traditioneel huis. Het zorgt ervoor dat de digitale wereld eindelijk even divers wordt als de echte wereld.

Technische samenvatting

Probleemstelling

Text-to-Image (T2I) modellen, zoals Stable Diffusion en FLUX.1, worden steeds populairder, maar hun output vertoont vaak een gebrek aan geografische diversiteit. Deze modellen reproduceren en versterken schadelijke socio-economische en regionale vooroordelen. Bijvoorbeeld, prompts zoals "een foto van een auto in Afrika" leiden vaak tot beelden met stoffige, versleten omgevingen en beschadigde voertuigen, terwijl de continentale visuele en economische diversiteit wordt genegeerd.

Bestaande methoden om diversiteit te meten zijn ontoereikend:

1. Ze vertrouwen vaak op handmatig samengestelde datasets die beperkt zijn in schaal en dekking.
2. Ze focussen op oppervlakkige visuele gelijkenis (bijv. via FID of Vendi-Score), wat de interpretatie van waarom een model biased is, bemoeilijkt.
3. Ze missen de nuance om specifieke, landgebonden patronen van armoede, rijkdom en onderhoud te onderscheiden.

Er is dus een dringend behoefte aan een geautomatiseerd, interpreteerbaar raamwerk om de geografische diversiteit en de onderliggende socio-economische biases in gegenereerde afbeeldingen te kwantificeren.

Methodologie: Het GeoDiv Framework

GeoDiv is een raamwerk dat Large Language Models (LLMs) en Vision-Language Models (VLMs) gebruikt om geografische diversiteit te beoordelen langs twee complementaire assen:

1. Socio-Economische Visuele Index (SEVI)

Deze as meet de socio-economische cues in de afbeeldingen via twee dimensies, gescoord op een schaal van 1 tot 5 door een VLM:

• Welvaart (Affluence): Gaat van "verarmd" tot "luxe".
• Onderhoud (Maintenance): Gaat van "ernstig beschadigd" tot "uitstekend onderhouden".
  Deze scores worden gebruikt om de verdeling van socio-economische toestanden binnen een land te analyseren.

2. Visuele Diversiteitsindex (VDI)

Deze as meet de variatie in de visuele attributen van de hoofdobjecten en hun achtergronden:

• Entiteit-Appearance: Analyseert attributen van het hoofdobject (bijv. vorm, materiaal, kleur van een huis of auto).
• Achtergrond-Appearance: Analyseert de context (bijv. type weg, aanwezigheid van infrastructuur, indoor/outdoor).
  Voor deze analyse worden LLMs gebruikt om een set van vragen en antwoordmogelijkheden te genereren voor elke entiteit. Vervolgens gebruikt een VQA-model (Visual Question Answering) deze vragen om de gegenereerde afbeeldingen te analyseren.

Berekening van Diversiteit

Om de diversiteit te kwantificeren, gebruikt GeoDiv de Hill Number (gebaseerd op Shannon-entropie). Dit is een ecologische metric die het "effectieve aantal" unieke categorieën in een verdeling weergeeft.

• Een score van 1 betekent dat alle afbeeldingen identiek zijn (geen diversiteit).
• Een score dichter bij het maximum betekent een gelijke verdeling over alle mogelijke antwoorden (hoge diversiteit).
• De scores worden genormaliseerd (0-1) om vergelijkingen tussen vragen met verschillende aantallen antwoordopties mogelijk te maken.

Experimentele Opzet

• Dataset: 160.000 synthetische afbeeldingen gegenereerd door vier open-source modellen (Stable Diffusion v2.1, v3, v3.5 en FLUX.1-dev).
• Scope: 10 veelvoorkomende entiteiten (o.a. huis, auto, stoel) en 16 landen (variërend van de VS en Japan tot Nigeria en India).
• Validatie: Het framework is uitgebreid gevalideerd met menselijke annotaties via crowdsourcing (Prolific) om de nauwkeurigheid van de VLMs (zoals Gemini-2.5-flash en Qwen2.5-VL) te verifiëren.

Belangrijkste Resultaten

De toepassing van GeoDiv onthult systematische en ernstige biases in huidige generatieve modellen:

1. Socio-Economische Bias:

   • Landen zoals India, Nigeria en Colombia worden consequent afgebeeld als armer en slechter onderhouden dan landen zoals de VS, het VK en Japan.
   • Modellen genereren voor deze landen vaak beelden met een lage "Welvaart" en "Onderhoud" score, wat stereotypen van armoede versterkt.
   • FLUX.1 scoort hoog op SEVI (vaak rijk en goed onderhouden), maar dit geldt uniform voor alle landen, wat een gebrek aan realistische nuance suggereert.

2. Visuele Uniformiteit (VDI):

   • Er is een algemeen gebrek aan visuele diversiteit. Achtergronden zijn vaak leeg of rustig, zelfs voor objecten zoals auto's en huizen.
   • FLUX.1 toont een opvallende trade-off: hoge SEVI-scores (polijst, esthetisch) maar zeer lage VDI-scores (weinig variatie in object- en achtergrondattributen).
   • Nieuwere modelversies (zoals SD3.5) tonen soms zelfs een afname in diversiteit ten opzichte van oudere versies (SD2.1).

3. Land-specifieke Patronen:

   • Huis: In Egypte worden huizen bijna uitsluitend van steen gemaakt (99%), terwijl in het VK baksteen domineert.
   • Auto: 77% van de auto-afbeeldingen uit Nigeria toont een onverharde weg, terwijl dit in de VS slechts 15% is (85% verharde weg).
   • Stoelen: Modellen genereren zelden stoelen zonder rugleuning, ongeacht het land, wat een globaal bias in de trainingdata aangeeft.

4. Vergelijking met Realiteit:

   • Een vergelijking met het real-world dataset GeoDE toont aan dat synthetische datasets significant minder divers zijn, vooral wat betreft entiteit-uitstraling en onderhoud. GeoDE reflecteert de werkelijke wereldvariatie beter.

Bijdragen

De paper levert de volgende belangrijkste bijdragen:

1. GeoDiv Framework: Het introduceert het eerste systematische, interpreteerbare raamwerk voor het meten van geografische diversiteit, gesplitst in SEVI en VDI.
2. Data en Tools: De auteurs hebben gestructureerde attributenverzamelingen (via LLMs) en een dataset van 160.000 synthetische afbeeldingen vrijgegeven, inclusief menselijke annotaties voor validatie.
3. Diagnostisch Inzicht: Het framework onthult fijne, land-specifieke biases die door bestaande metrics worden gemist, en biedt een diagnose voor ontwikkelaars om hun modellen te verbeteren.
4. Validatie: Uitgebreide menselijke studies bevestigen dat de VLM-gedreven scores sterk correleren met menselijke oordelen over welvaart en onderhoud.

Significantie

GeoDiv is een cruciale stap naar eerlijkere en inclusievere generatieve systemen. Het beweegt de evaluatie van T2I-modellen voorbij puur visuele kwaliteit naar geografische en socio-economische representativiteit. Door biases kwantificeerbaar en interpreteerbaar te maken, biedt het een blauwdruk voor data-curatoren en modelontwikkelaars om stereotypen te doorbreken en ervoor te zorgen dat AI-modellen de wereld weerspiegelen zoals die is, in al zijn diversiteit, in plaats van versterkte vooroordelen. Het paper benadrukt dat "mooie" afbeeldingen (zoals die van FLUX.1) niet per se "juiste" of "inclusieve" afbeeldingen zijn.