GeoDiv: Framework For Measuring Geographical Diversity In Text-To-Image Models

Le papier présente GeoDiv, un cadre d'évaluation innovant utilisant des modèles de langage et de vision pour révéler les biais socio-économiques et le manque de diversité géographique dans les images générées par des modèles de type Text-to-Image, en montrant que des pays comme l'Inde, le Nigeria et la Colombie sont systématiquement représentés de manière appauvrie.

L'essentiel

🌍 GeoDiv : Le "Détective de la Diversité" pour les Images Générées par IA

Imaginez que vous demandez à un artiste robot (une Intelligence Artificielle) de dessiner une maison ou une voiture.

• Si vous dites "une maison au Japon", l'artiste dessine-t-il une maison moderne avec des toits en tuiles ?
• Si vous dites "une maison au Nigeria", dessine-t-il une maison en terre battue, en béton, ou en tôle ?

Le problème, c'est que ces artistes robots ont souvent un "stéréotype" caché dans leur cerveau. Ils ont tendance à dessiner le Japon comme un pays riche et propre, et le Nigeria comme un pays pauvre et délabré, même si la réalité est bien plus complexe et variée.

C'est là qu'intervient GeoDiv. C'est un nouveau cadre de travail (un outil de mesure) créé par des chercheurs pour vérifier si ces robots sont équitables ou s'ils renforcent des préjugés.

🕵️‍♂️ L'Analogie du "Détective à Double Lunettes"

Pour comprendre comment GeoDiv fonctionne, imaginez qu'il porte deux paires de lunettes spéciales pour examiner les images générées par l'IA :

1. Les Lunettes "Richesse et Propreté" (SEVI)
Ces lunettes ne regardent pas seulement ce qui est dessiné, mais dans quel état cela semble être.

• La question : Est-ce que la maison ressemble à un palace luxueux ou à une cabane en ruine ? Est-elle bien entretenue ou abîmée ?
• La métaphore : C'est comme un inspecteur immobilier qui note si le quartier est "huppé" ou "délabré".
• Ce que GeoDiv a découvert : L'IA a un biais terrible. Pour des pays comme l'Inde, le Nigeria ou la Colombie, l'IA dessine presque systématiquement des scènes pauvres et usées. Pour les États-Unis, le Japon ou le Royaume-Uni, elle dessine des scènes propres, luxueuses et parfaites. C'est comme si l'IA pensait que certains pays n'existaient que dans la pauvreté.

2. Les Lunettes "Variété Visuelle" (VDI)
Ces lunettes regardent la diversité des détails.

• La question : Si je demande 100 voitures au Nigeria, est-ce que l'IA dessine 100 fois la même voiture rouge sur une route de terre ? Ou est-ce qu'elle varie les couleurs, les modèles et les routes (pavées, en gravier, etc.) ?
• La métaphore : Imaginez un chef cuisinier qui doit préparer 100 plats pour différents pays. S'il fait toujours le même plat (du riz blanc) pour tout le monde, c'est ennuyeux et faux. GeoDiv vérifie si le chef a de la variété dans son menu.
• Ce que GeoDiv a découvert : L'IA manque cruellement d'imagination. Pour beaucoup de pays, elle répète les mêmes décors (routes en terre pour l'Afrique, routes pavées pour l'Europe) et les mêmes objets.

🤖 Comment GeoDiv "lit" les images ?

Au lieu de demander à des humains de regarder des milliers d'images (ce qui prendrait des années), GeoDiv utilise des super-assistants intelligents (des modèles de langage comme ceux qui font fonctionner les chatbots).

1. Le Questionnaire : GeoDiv pose des questions précises aux images générées. "Quelle est la couleur de la voiture ?", "La route est-elle en asphalte ou en terre ?", "La maison a-t-elle un toit en pente ou plat ?".
2. Le Calcul : Il analyse les réponses. Si toutes les voitures du Nigeria sont rouges et sur de la terre, le score de diversité est bas. S'il y a du bleu, du vert, du noir, et des routes variées, le score est haut.
3. Le Verdict : Il produit un rapport clair montrant où l'IA est biaisée.

📉 Les Résultats Choc

L'étude a testé 4 robots artistes populaires (comme Stable Diffusion et FLUX) sur 16 pays et 10 objets (maisons, voitures, chiens, etc.). Voici ce qu'ils ont trouvé :

• Le biais de la pauvreté : Les pays en développement sont presque toujours représentés comme misérables, même quand on demande simplement "une photo d'une voiture".
• Le piège de la perfection : Le modèle le plus récent et le plus "beau" (FLUX.1) dessine des images très propres et riches partout, mais c'est un problème ! En rendant tout le monde "riche et propre", il efface la vraie diversité culturelle et économique du monde. C'est comme peindre tout le monde avec le même maquillage : ça fait joli, mais ce n'est pas la réalité.
• Le manque de détails : Les arrière-plans (les rues, les paysages) sont souvent identiques d'un pays à l'autre, ce qui rend les images artificielles et stéréotypées.

🚀 Pourquoi c'est important ?

Imaginez que ces images servent à entraîner d'autres intelligences artificielles ou à montrer le monde aux gens. Si l'IA nous montre toujours l'Afrique comme un désert de pauvreté, cela renforce des idées fausses et dangereuses dans notre société.

GeoDiv est comme un "test de réalité". Il permet aux créateurs d'IA de dire : "Oh, notre modèle dessine trop de maisons en ruine pour l'Inde. On doit corriger ça pour qu'il montre aussi des maisons modernes, des villages, des villes, etc."

En résumé, GeoDiv ne cherche pas juste à savoir si une image est "jolie". Il cherche à savoir si elle est juste et représentative de la vraie diversité de notre monde, en évitant de tomber dans les pièges des stéréotypes. C'est un pas vers une IA plus humaine et plus équitable.

Résumé technique

Titre : GeoDiv : Cadre de mesure de la diversité géographique dans les modèles texte-à-image

1. Problématique

Les modèles de génération d'images par intelligence artificielle (Text-to-Image ou T2I), tels que Stable Diffusion et FLUX, gagnent en popularité mais souffrent d'un manque critique de diversité géographique. Leurs sorties tendent à :

• Renforcer les stéréotypes socio-économiques et régionaux (par exemple, représenter l'Afrique ou l'Inde systématiquement sous un jour de pauvreté et de délabrement, tandis que le Japon ou les États-Unis apparaissent toujours prospères et modernes).
• Manquer de nuances : Ils échouent à capturer la richesse visuelle et contextuelle réelle des différentes régions du monde.
• Manquer d'outils d'évaluation adaptés : Les métriques de diversité existantes se concentrent soit sur des ensembles de données curatés (limités en couverture), soit sur des similarités visuelles de bas niveau (comme la distance entre embeddings), ce qui rend l'interprétabilité des biais spécifiques à un pays difficile.

L'objectif de l'article est de combler ce vide en proposant un cadre automatisé, interprétable et sans référence externe pour quantifier la diversité géographique.

2. Méthodologie : Le Cadre GeoDiv

Les auteurs introduisent GeoDiv, un cadre évaluant la diversité géographique selon deux axes complémentaires, en exploitant les connaissances du monde intégrées dans les grands modèles de langage (LLM) et les modèles vision-langage (VLM).

A. L'Indice Visuel Socio-Économique (SEVI - Socio-Economic Visual Index)
Cet axe évalue les signaux visuels liés au bien-être et à la condition physique. Il se compose de deux dimensions notées sur une échelle de 1 à 5 par un VLM :

1. Affluence (Richesse) : Échelle allant de "pauvreté" à "luxe".
2. Maintenance (Entretien) : Échelle allant de "gravement endommagé" à "excellent état".

• Approche : Le VLM note chaque image individuellement. La distribution de ces notes permet de mesurer la diversité socio-économique au sein d'un pays ou d'un modèle.

B. L'Indice de Diversité Visuelle (VDI - Visual Diversity Index)
Cet axe mesure la variation des attributs visuels des entités principales et de leur contexte. Il utilise des LLM pour générer des questions spécifiques et des VLM pour répondre à ces questions sur les images (VQA - Visual Question Answering).

1. Apparence de l'Entité (Entity-Appearance) : Attributs comme la forme, le matériau, la couleur, ou la structure (ex: type de toit d'une maison, type de moteur d'une voiture).
2. Apparence du Fond (Background-Appearance) : Contexte de la scène (ex: type de route, présence d'infrastructures modernes, densité urbaine, végétation).

• Calcul de la diversité : Pour chaque question, la distribution des réponses est analysée. La diversité est quantifiée par le Nombre de Hill (exponentielle de l'entropie de Shannon), normalisé pour permettre des comparaisons équitables entre des questions ayant des ensembles de réponses de tailles différentes. Un score élevé indique une grande variété d'attributs.

Données et Validation :

• Jeu de données : 160 000 images générées par 4 modèles (SD 2.1, SD 3, SD 3.5, FLUX.1-dev) pour 10 entités courantes (maison, voiture, etc.) et 16 pays.
• Validation humaine : Des études sur plateforme (Prolific) ont validé la corrélation entre les scores générés par les VLM (notamment Gemini-2.5-flash) et les jugements humains, confirmant la fiabilité du cadre.

3. Résultats Clés

L'application de GeoDiv sur les modèles génératifs révèle des biais systématiques et profonds :

• Biais Socio-Économiques Systématiques :

  • Les pays du Sud global (Inde, Nigeria, Colombie) sont systématiquement représentés comme pauvres et délabrés (scores SEVI bas).
  • Les pays développés (USA, Royaume-Uni, Japon) sont représentés comme riches et bien entretenus.
  • Aucun modèle ne parvient à générer une couverture équilibrée de toutes les strates socio-économiques pour un même pays.

• Manque de Diversité Visuelle (VDI) :

  • La diversité des entités et des arrière-plans est globalement faible.
  • Exemples de biais spécifiques :
    • Les maisons en Égypte générées par SD 3.5 sont à 99 % en pierre, contre 88 % en brique pour le Royaume-Uni.
    • Les voitures au Nigeria sont à 77 % sur des routes en terre/gravier, contre 85 % sur des routes pavées pour les États-Unis.
    • Les modèles récents (SD 3.5, FLUX) montrent une tendance à réduire la diversité visuelle par rapport aux versions antérieures (SD 2.1).

• Compromis (Trade-off) :

  • Le modèle FLUX.1 obtient les meilleurs scores SEVI (images très "polies" et riches) mais les pires scores VDI (manque de variation visuelle, images trop homogènes). Cela suggère un compromis entre la sophistication esthétique et l'inclusivité/diversité.

• Comparaison avec la réalité :

  • Le jeu de données réel GeoDE présente une diversité nettement supérieure aux images synthétiques, confirmant que les modèles actuels ne reflètent pas fidèlement la complexité du monde réel.

4. Contributions Principales

1. Cadre GeoDiv : Introduction d'un framework interprétable et modulaire pour auditer la diversité géographique, utilisant les connaissances des LLM/VLM sans dépendre d'ensembles de données de référence massifs.
2. Données et Ressources Ouvertes :
   • Publication d'un jeu de données de 160 000 images synthétiques.
   • Mise à disposition des ensembles de questions-réponses structurés (via LLM) pour 10 entités.
   • Publication des annotations humaines et du code source pour le benchmarking futur.
3. Analyse Empirique : Révélation de biais géographiques subtils et grossiers dans les modèles T2I les plus avancés, démontrant que la "diversité" n'est pas automatiquement améliorée par les versions plus récentes des modèles.
4. Outil Diagnostique : Démonstration que GeoDiv peut servir d'outil pour guider les curateurs de données et les développeurs de modèles vers une meilleure représentation (ex: ajustement des prompts pour équilibrer les scores d'affluence).

5. Signification et Impact

Ce travail est une étape cruciale vers des systèmes génératifs plus équitables et inclusifs.

• Interprétabilité : Contrairement aux métriques de diversité "boîte noire" (comme le Vendi-Score), GeoDiv explique pourquoi une diversité est faible (ex: manque de routes pavées, uniformité des matériaux de construction).
• Prise de conscience : Il met en lumière comment l'IA générative peut perpétuer et amplifier les inégalités socio-économiques mondiales en normalisant des représentations stéréotypées.
• Futur : Le cadre est conçu pour être extensible à de nouvelles entités, pays et axes de mesure (comme la localisation culturelle), offrant une base pour le développement de modèles génératifs véritablement représentatifs de la diversité humaine.

En résumé, GeoDiv fournit la première méthode systématique pour quantifier et auditer les biais géographiques dans l'IA générative, soulignant l'urgence d'intégrer la nuance géographique dans le processus de formation et d'évaluation des modèles.