GeoDiv: Framework For Measuring Geographical Diversity In Text-To-Image Models

O artigo apresenta o GeoDiv, um novo framework que utiliza modelos de linguagem e visão para medir a diversidade geográfica em geradores de imagens, revelando que modelos como Stable Diffusion e FLUX.1-dev frequentemente perpetuam estereótipos socioeconômicos e retratam países como Índia, Nigéria e Colômbia de forma desproporcionalmente empobrecida.

O essencial

Imagine que você tem um pintor de sonhos muito famoso, chamado "IA". Esse pintor recebe pedidos do mundo todo: "Pinte uma casa no Brasil", "Desenhe um carro no Japão", "Faça uma foto de uma loja na Nigéria".

O problema é que esse pintor, embora seja incrível tecnicamente, tem um viés invisível. Ele parece ter uma "memória" que só guarda certas imagens de certos lugares. Se você pedir uma casa na Nigéria, ele pode pintar apenas casas de barro em terra seca, ignorando que existem prédios modernos, casas de luxo e vilas bonitas lá. Se pedir uma casa no Japão, ele pinta apenas casas super modernas e limpas, ignorando a diversidade real.

Aqui entra o GeoDiv, o "detective da diversidade" criado pelos autores deste artigo.

O que é o GeoDiv? (A Lente Mágica)

O GeoDiv é uma ferramenta nova que serve como uma lente de aumento inteligente para olhar as imagens criadas por essas IAs. Em vez de apenas dizer "a imagem é bonita" ou "a imagem é feia", o GeoDiv pergunta: "Esta imagem representa a realidade daquele país com todas as suas nuances?"

Para fazer isso, o GeoDiv usa dois "óculos" especiais (chamados de índices):

1. Os Óculos da Riqueza e do Cuidado (SEVI)

Imagine que você está olhando para uma foto de uma rua.

• O Óculo da Riqueza (Afloência): Pergunta: "Essa cena parece de uma pessoa rica, média ou pobre?"
• O Óculo do Cuidado (Manutenção): Pergunta: "As coisas estão novas e brilhantes, ou estão velhas e quebradas?"

A Descoberta Chocante: O GeoDiv descobriu que, quando a IA pinta países como Índia, Nigéria e Colômbia, ela quase sempre usa uma "paleta de pobreza". As casas parecem velhas, os carros parecem quebrados e o cenário é sempre de falta de recursos. Já para países como EUA, Japão e Reino Unido, a IA usa uma "paleta de luxo": tudo é novo, limpo e brilhante. É como se o pintor achasse que a vida na África ou na América Latina fosse sempre miserável, o que não é verdade.

2. Os Óculos da Variedade Visual (VDI)

Agora, imagine que você pede 100 fotos de "cadeiras" na França.

• Se todas as 100 fotos forem cadeiras de madeira, marrons, com encosto reto, o GeoDiv diz: "Pouca variedade!".
• Se houver cadeiras de metal, plásticas, coloridas, modernas, antigas, de jardim, de escritório, o GeoDiv diz: "Ótima variedade!".

A Descoberta: O GeoDiv viu que as IAs atuais são "preguiçosas" na variedade. Elas tendem a repetir os mesmos tipos de objetos e os mesmos cenários de fundo (como estradas de terra para países pobres e asfalto para países ricos), ignorando que a realidade é muito mais colorida e diversa.

Como o GeoDiv funciona? (O Detetive com Ajuda de Robôs)

O GeoDiv não olha as fotos sozinho. Ele usa uma equipe de robôs superinteligentes (chamados de Modelos de Linguagem e Visão) que funcionam como críticos de arte e sociólogos.

1. O Robô Perguntador: Ele gera perguntas específicas para cada foto. "Qual é o material do telhado?", "A estrada é de terra ou asfalto?", "A casa parece cara?".
2. O Robô Analista: Ele olha para milhares de fotos geradas e responde a essas perguntas.
3. O Cálculo: O GeoDiv junta todas as respostas e calcula um "ponto de diversidade". Se as respostas forem todas iguais (ex: 90% das casas na Nigéria são de terra), o ponto é baixo. Se as respostas forem variadas, o ponto é alto.

O que eles descobriram? (A Grande Revelação)

O estudo analisou 160.000 imagens de 4 IAs diferentes (como o Stable Diffusion e o FLUX) em 16 países.

• O Viés de Pobreza: As IAs tendem a retratar países em desenvolvimento como lugares sujos e pobres, mesmo quando o pedido é neutro (ex: "uma foto de um carro").
• O Viés de Luxo: Países ricos são retratados como lugares sempre perfeitos e limpos.
• A Armadilha da Beleza: Uma das IAs mais novas (FLUX.1) cria imagens lindas e muito "polidas" (parecem de revista), mas são pouco diversas. É como se ela tivesse um filtro de "beleza padrão" que apaga a realidade real dos lugares.
• O Mundo Real é Mais Rico: Quando compararam as imagens da IA com fotos reais do mundo (um banco de dados chamado GeoDE), viram que a realidade tem muito mais variedade de cores, materiais e estilos do que a IA consegue imaginar.

Por que isso importa? (A Analogia Final)

Pense no mundo como um grande buffet.
As IAs atuais, sem o GeoDiv, estão servindo um buffet onde:

• A mesa do "Japão" tem apenas sushi de alta qualidade.
• A mesa da "Nigéria" tem apenas comida simples e em recipientes velhos.

Isso cria estereótipos. Se as pessoas usarem essas imagens para entender o mundo, elas vão achar que a Nigéria é sempre pobre e o Japão é sempre futurista. Isso é injusto e falso.

O GeoDiv é o garçom crítico que chega e diz: "Ei, chef! Você está esquecendo de colocar pratos variados na mesa da Nigéria! Tem gente rica, tem gente com casas modernas, tem carros novos lá também. Vamos corrigir o cardápio para que o buffet seja justo e represente a verdadeira diversidade do mundo."

Conclusão Simples

Este paper não é apenas sobre tecnologia; é sobre justiça visual. O GeoDiv nos dá a ferramenta para medir se as IAs estão contando a história completa do mundo ou apenas uma versão estereotipada e enviesada. O objetivo é garantir que, no futuro, quando pedirmos uma imagem de um lugar, a IA nos mostre a verdadeira beleza e complexidade daquele lugar, e não apenas o que ela "acha" que é aquele lugar.

Resumo técnico

1. Problema e Motivação

Os modelos de Texto-para-Imagem (T2I), como o Stable Diffusion e o FLUX, tornaram-se ferramentas ubíquas, mas apresentam um problema crítico: a falta de diversidade geográfica e a perpetuação de estereótipos socioeconômicos e regionais.

• Viés de Representação: Ao gerar imagens de um mesmo objeto (ex: "uma casa") em diferentes países, os modelos tendem a produzir representações homogêneas e enviesadas. Por exemplo, países como Índia, Nigéria e Colômbia são frequentemente retratados como empobrecidos e degradados, enquanto países como EUA, Japão e Reino Unido são mostrados como ricos e impecáveis.
• Limitações das Métricas Existentes: As métricas atuais de diversidade (como FID ou Vendi-Score) focam na similaridade visual de baixo nível ou dependem de conjuntos de dados curados e limitados. Elas falham em capturar nuances socioeconômicas profundas, contextos culturais e variações específicas de países, tornando-se pouco interpretáveis para auditorias de viés geográfico.

2. Metodologia: O Framework GeoDiv

O GeoDiv é um framework automatizado e interpretável que utiliza o conhecimento de mundo embutido em Modelos de Linguagem (LLMs) e Modelos Visão-Linguagem (VLMs) para avaliar a diversidade geográfica ao longo de dois eixos complementares:

A. Índice Visual Socioeconômico (SEVI - Socio-Economic Visual Index)

Foca em capturar pistas econômicas e de condição física através de duas dimensões, avaliadas por um VLM em uma escala de 1 a 5:

1. Afluência (Affluence): Mede o nível de riqueza retratado (de "Empobrecido" a "Luxuoso").
2. Manutenção (Maintenance): Avalia a condição física do objeto/ambiente (de "Severamente Danificado" a "Excelente/Impecável").

• Objetivo: Quantificar se os modelos tendem a retratar certos países consistentemente como pobres ou mal conservados.

B. Índice de Diversidade Visual (VDI - Visual Diversity Index)

Mede a variação nos atributos visuais das entidades e dos fundos, utilizando LLMs para gerar perguntas e respostas (Q&A) e VLMs para extrair essas características das imagens.

1. Aparência da Entidade (Entity-Appearance): Analisa atributos como forma, material, cor e detalhes do objeto principal (ex: tipo de telhado de uma casa, material de um carro).
2. Aparência do Fundo (Background-Appearance): Analisa o contexto (ex: tipo de estrada, presença de infraestrutura moderna, vegetação).

C. Cálculo da Diversidade

Para quantificar a diversidade, o GeoDiv utiliza o Número de Hill (uma métrica inspirada na biodiversidade), que calcula o número efetivo de categorias distintas em uma distribuição.

• A pontuação é normalizada entre 0 e 1.
• Um escore baixo indica que o modelo gera apenas um tipo de representação (baixa diversidade), enquanto um escore alto indica uma distribuição uniforme de vários atributos.
• O framework é livre de referência (reference-free), não exigindo um conjunto de dados real para comparação, o que permite a avaliação de qualquer entidade ou país.

3. Configuração Experimental

• Modelos Avaliados: Stable Diffusion v2.1, v3 (SD3m), v3.5 (SD3.5) e FLUX.1-dev.
• Escopo: 160.000 imagens geradas sinteticamente cobrindo 10 entidades (ex: casa, carro, cadeira, prato de comida) e 16 países (incluindo EUA, Reino Unido, Japão, Índia, Nigéria, Colômbia, Egito, etc.).
• Validação Humana: Os autores realizaram estudos com crowdworkers para validar a precisão dos VLMs (especificamente o Gemini-2.5-flash e Qwen2.5-VL) na atribuição de pontuações SEVI e na identificação de atributos VDI. O Gemini-2.5-flash mostrou a maior correlação com avaliações humanas.

4. Principais Resultados

A aplicação do GeoDiv revelou vieses sistemáticos e limitações significativas nos modelos atuais:

• Viés Socioeconômico Sistêmico:

  • Países como Índia, Nigéria e Colômbia foram consistentemente retratados com baixos escores de Afluência e Manutenção (imagens empobrecidas e degradadas).
  • Países como EUA, Reino Unido e Japão receberam os escores mais altos, retratados como ricos e bem conservados.
  • O modelo FLUX.1, embora gere imagens esteticamente mais polidas (altos escores de Manutenção), falha em representar a diversidade socioeconômica real, gerando cenários uniformemente "luxuosos" para todos os países.

• Falta de Diversidade Visual (VDI):

  • A diversidade visual geral é baixa em todos os modelos.
  • Fundo (Background): A diversidade de fundos é particularmente baixa. Por exemplo, 77% das imagens de carros da Nigéria mostram estradas de terra/cascalho, enquanto 85% das dos EUA mostram estradas pavimentadas, independentemente da realidade complexa desses países.
  • Entidades: Há uma falta de variação nos atributos dos objetos. Por exemplo, casas no Egito são quase exclusivamente de pedra, enquanto no Reino Unido são de tijolo, com pouca variação interna dentro de cada país.

• Tendência de Modelos Novos: Versões mais recentes de modelos de difusão (como SD3.5 e FLUX.1) tendem a ter menor diversidade geográfica do que versões anteriores (como SD2.1), sugerindo que o refinamento para "polimento" visual pode estar sacrificando a diversidade contextual.

• Comparação com Dados Reais: Ao comparar com o conjunto de dados real GeoDE, os dados sintéticos mostraram-se significativamente menos diversos, especialmente na aparência de entidades e manutenção, confirmando que os modelos não capturam a complexidade do mundo real.

5. Contribuições Chave

1. Novo Framework (GeoDiv): Introdução do primeiro framework sistemático e interpretável para medir a diversidade geográfica em modelos generativos, decompondo-a em eixos socioeconômicos (SEVI) e visuais (VDI).
2. Conjunto de Dados e Anotações: Criação e liberação de um conjunto de dados de 160.000 imagens sintéticas, além de anotações humanas e distribuições de atributos para 10 entidades e 16 países.
3. Descoberta de Viés: Identificação de vieses geográficos sutis e graves, demonstrando que modelos atuais reforçam estereótipos de pobreza e degradação para nações em desenvolvimento.
4. Ferramenta de Diagnóstico: Demonstração de que o GeoDiv pode ser usado para auditar e guiar a melhoria de modelos, permitindo que criadores ajustem prompts ou dados de treinamento para aumentar a inclusão.

6. Significado e Impacto

O trabalho do GeoDiv é fundamental para o desenvolvimento de IA generativa ética e inclusiva. Ao fornecer uma métrica quantificável e interpretável para a diversidade geográfica, o framework:

• Expõe a "cegueira" dos modelos atuais em relação à complexidade socioeconômica global.
• Oferece um caminho para corrigir esses vieses, permitindo que desenvolvedores auditem seus modelos não apenas pela qualidade visual, mas pela representação justa e variada de diferentes culturas e realidades econômicas.
• Estabelece um novo padrão para avaliação de modelos T2I, indo além da fidelidade ao prompt para considerar a justiça representacional no cenário global.

Em suma, o GeoDiv argumenta que para que os modelos de IA sejam verdadeiros "modelos do mundo", eles devem refletir a diversidade real da humanidade, e não apenas os estereótipos presentes em seus dados de treinamento.