💻 computer science

Where Do Images Come From? Analyzing Captions to Geographically Profile Datasets

Este estudo analisa a representatividade geográfica de grandes conjuntos de dados de treinamento para modelos de texto-para-imagem, revelando um forte viés em favor de países de alta renda (como EUA e Reino Unido) e uma sub-representação severa de regiões como a África e a América do Sul.

Autores originais: Abhipsa Basu, Yugam Bahl, Kirti Bhagat, Preethi Seshadri, R. Venkatesh Babu, Danish Pruthi

Publicado 2026-02-11

📖 3 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Abhipsa Basu, Yugam Bahl, Kirti Bhagat, Preethi Seshadri, R. Venkatesh Babu, Danish Pruthi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

🌍 De onde vêm as imagens da Inteligência Artificial?

Uma investigação sobre o "mapa mental" das máquinas.

Imagine que você decide contratar um fotógrafo para registrar o mundo. Você pede para ele tirar fotos de "casas", "praias" e "carros". Mas, quando você abre o álbum, percebe algo estranho: quase todas as casas parecem vilas americanas, as praias parecem o litoral da Califórnia e os carros parecem modelos de luxo de Nova York. Onde estão as casas de barro do sertão brasileiro? Onde estão as praias do Sudeste Asiático? Onde estão as ruas de Lagos, na Nigéria?

Este é exatamente o problema que os pesquisadores deste estudo descobriram.

📸 O Problema: O "Álbum de Fotos" Viciado

As IAs que criam imagens (como o Stable Diffusion) não "inventam" coisas do nada; elas aprendem olhando para bilhões de imagens e legendas na internet. Os pesquisadores decidiram investigar de onde vêm essas imagens. Eles usaram uma técnica inteligente: em vez de tentar adivinhar a localização pela foto (o que é difícil), eles leram as legendas (os textos que acompanham as fotos) usando modelos de linguagem para descobrir quais países eram mencionados.

💰 A Descoberta: O "Mapa do Dinheiro"

Os pesquisadores descobriram que o "olhar" da IA é extremamente desigual. Eles encontraram três grandes problemas:

O Clube dos Ricos: Existe uma conexão direta entre o dinheiro de um país e o quanto ele aparece na IA. Quanto maior o PIB (a riqueza) de um país, mais fotos ele tem no banco de dados. Os Estados Unidos, o Reino Unido e o Canadá dominam o álbum, enquanto a África e a América do Sul são quase "invisíveis" (representando apenas uma fração minúscula dos dados).
O Filtro da Língua: A IA é "viciada" em inglês. Se a legenda está em inglês, ela quase sempre aponta para países de língua inglesa. É como se a IA só conhecesse o mundo através de um tradutor que só fala o que é popular no Ocidente.
A Armadilha do Estereótipo: Aqui está a parte mais preocupante. Mesmo quando a IA tenta mostrar um país diferente, ela tende a ser "preguiçosa" ou preconceituosa.
- Analogia: É como se você pedisse para um pintor desenhar um "carro na Índia" e ele desenhasse apenas carros velhos e enferrujados, ignorando que existem carros modernos e brilhantes por lá. A IA captura a "versão simplista" ou o estereótipo, e não a diversidade real da vida.

📉 O Resultado: Realismo sem Diversidade

Os pesquisadores usaram uma métrica para medir a "diversidade" (chamada de Vendi Score). Eles descobriram que, embora as imagens geradas pela IA pareçam muito reais (elas têm "precisão"), elas têm uma "cobertura" baixíssima.

É como se a IA fosse um chef de cozinha que sabe fazer um prato perfeito, mas só sabe fazer um único tipo de massa. Ele faz um espaguete incrível, mas se você pedir um prato típico de outro continente, ele vai te entregar algo que "parece" o prato, mas é uma versão pobre, repetitiva e sem graça.

💡 Por que isso importa para você?

Se as IAs que usamos para criar arte, notícias ou ferramentas de trabalho forem treinadas apenas com a visão de um pequeno grupo de países ricos, elas vão acabar apagando a cultura do resto do mundo.

O estudo é um alerta: para que a tecnologia seja justa e represente a humanidade de verdade, precisamos de "álbuns de fotos" que mostrem o mundo inteiro, e não apenas o quintal de quem tem mais dinheiro.

Resumo Técnico: "Where Do Images Come From? Analyzing Captions to Geographically Profile Datasets"

1. O Problema

Modelos de visão-linguagem (VLMs) e modelos de geração de imagem (como o Stable Diffusion) apresentam vieses geográficos significativos, falhando em representar fielmente a diversidade do mundo real. Embora se saiba que esses modelos são excessivamente centrados nos EUA e na Índia, a origem exata desse viés — se reside na composição dos dados de treinamento ou no comportamento do modelo — ainda não havia sido investigada em larga escala. O desafio técnico reside na dificuldade de geolocalizar imagens de escala web, que frequentemente carecem de metadados de GPS ou URLs confiáveis.

2. Metodologia

Os autores propõem uma abordagem inovadora baseada na análise de legendas (captions) para perfilar geograficamente os conjuntos de dados. A metodologia divide-se em três pilares principais:

Geolocalização de Legendas (Extract–Retrieve–Predict): Para superar as limitações de métodos tradicionais (como correspondência de strings ou NER), os autores utilizam um protocolo com LLMs (especificamente o Gemini-2.5-Flash):
1. Extração: O LLM identifica menções de locais nas legendas.
2. Recuperação: Essas menções são usadas para buscar candidatos no banco de dados geográfico GeoNames.
3. Predição: O LLM utiliza o contexto recuperado para mapear a menção ao país correto, resolvendo ambiguidades (ex: distinguir "Cambridge" no Reino Unido vs. EUA).
Filtragem de Presença de Entidade: Para garantir que a análise seja precisa, eles treinaram um classificador SVM baseado em características do CLIP para verificar se a entidade visual (ex: "casa", "carro") está realmente presente na imagem, evitando legendas que mencionam o objeto mas não o mostram.
Análise de Diversidade (Vendi Score): Utilizaram o Vendi Score para medir a diversidade semântica e visual, permitindo comparar se países com maior representação numérica possuem, de fato, uma maior variedade de conteúdo.

3. Principais Contribuições

Primeiro Perfil Geográfico em Larga Escala: Uma análise sistemática de três dos maiores datasets do mundo: Re-LAION2B-en, DataComp1B e Conceptual Captions (CC12M).
Novo Protocolo de Geolocalização: Demonstração de que o uso de LLMs com recuperação de base de dados (RAG-like) é superior a métodos de geoprocessamento tradicionais para dados de web-scale.
Desmistificação da Diversidade: Revelação de que a frequência de dados não garante diversidade visual ou semântica.

4. Resultados Principais

Desequilíbrio Geográfico Extremo: Nos datasets de língua inglesa, os EUA, Reino Unido e Canadá representam 48% das amostras com localização especificada. Em contraste, países da América do Sul e África representam apenas 1,8% e 3,8%, respectivamente.
Correlação com o PIB: Existe uma correlação fortíssima ( $\rho = 0,82$ ) entre o PIB nominal de um país e sua representação nos datasets. Países mais ricos são sistematicamente sobre-representados.
Desalinhamento com o Mundo Real: Em média, 33,8% dos países estão sub-representados em relação à sua ocorrência real no mundo para entidades específicas (como praias ou montanhas).
Viés de Geração (Stable Diffusion): Ao testar o modelo Stable Diffusion v1.3, os autores observaram que, embora as imagens geradas pareçam realistas (alta precisão), elas têm um recall quase nulo, o que significa que o modelo falha em cobrir a vasta diversidade visual real de um país, recorrendo frequentemente a estereótipos (ex: carros indianos sempre parecendo velhos ou degradados).
Efeito da Língua: Em datasets multilíngues, a representação segue o idioma (ex: legendas em espanhol aumentam drasticamente a representação da América do Sul), sugerindo que a diversidade linguística é uma via para a diversidade geográfica.

5. Significância

Este trabalho é fundamental para a comunidade de IA por fornecer uma base quantitativa para a curadoria de dados. Ele demonstra que o viés geográfico não é apenas um erro de "saída" do modelo, mas um reflexo direto de uma infraestrutura de dados de treinamento desigual. Os resultados servem como um alerta para desenvolvedores de modelos de fundação sobre a necessidade de coletar dados de forma mais inclusiva e de utilizar métricas de diversidade que vão além da simples contagem de amostras, visando modelos que sejam verdadeiramente globais e culturalmente conscientes.