Resumen Técnico: ¿De dónde vienen las imágenes?

Análisis de subtítulos para el perfilado geográfico de conjuntos de datos

1. El Problema

Los modelos de visión-lenguaje (VLM) y de generación de texto a imagen (como Stable Diffusion) presentan sesgos geográficos significativos, fallando al generar imágenes que representen fielmente diversas regiones del mundo. Aunque se sabe que existe este sesgo, la raíz del problema —la composición geográfica de los conjuntos de datos de entrenamiento a gran escala— no había sido estudiada de manera exhaustiva. El desafío técnico radica en que los metadatos de las imágenes suelen ser ruidosos o inexistentes, y la geolocalización directa de imágenes es difícil de validar a escala web.

2. Metodología

Los autores proponen un enfoque centrado en los datos que utiliza los subtítulos (captions) como señal principal para inferir la ubicación. Su metodología se divide en tres componentes clave:

• Perfilado Geográfico de Subtítulos (Extract-Retrieve-Predict): Para superar las limitaciones de los métodos tradicionales (como el emparejamiento de cadenas o el reconocimiento de entidades nombradas - NER), proponen un protocolo basado en LLMs (específicamente Gemini-2.5-Flash):
  1. Extracción: El LLM identifica menciones de lugares en el subtítulo.
  2. Recuperación: Se buscan las coincidencias más probables en la base de datos geográfica GeoNames.
  3. Predicción: El LLM utiliza la información recuperada como contexto para asignar el país correcto, resolviendo ambigüedades (ej. distinguir entre Cambridge, Reino Unido y Cambridge, EE. UU.).
• Filtro de Presencia de Entidad: Para asegurar que el análisis sea preciso, entrenan un clasificador binario (SVM basado en características de CLIP) para verificar que la entidad visual (ej. una "casa" o un "coche") esté realmente presente en la imagen, evitando falsos positivos donde el texto menciona un lugar pero la imagen no muestra la entidad.
• Métricas de Diversidad: Utilizan el Vendi Score para medir la diversidad semántica y visual de las imágenes y subtítulos, permitiendo comparar la variedad de contenido entre países con diferentes niveles de representación.

3. Contribuciones Clave

• Primer análisis a gran escala: Realizan un perfilado geográfico sistemático de tres conjuntos de datos masivos: Re-LAION2B-en, DataComp1B y Conceptual Captions (CC12M).
• Nuevo marco de trabajo: Introducen el método extract-retrieve-predict para la geolocalización de texto, superando a los métodos de geoparsing tradicionales.
• Evaluación de la generación: Analizan cómo el sesgo de los datos de entrenamiento se traduce en comportamientos estereotipados en modelos de generación como Stable Diffusion v1.3.

4. Resultados Principales

• Desequilibrio Geográfico Extremo: En los conjuntos de datos en inglés, EE. UU., el Reino Unido y Canadá representan el 48% de las muestras. En contraste, los países de África y América del Sur están severamente subrepresentados (3.8% y 1.8% respectivamente).
• Correlación con el PIB: Se encontró una correlación muy fuerte ($\rho = 0.82$) entre el PIB nominal de un país y su representación en los datos. Los países más ricos aparecen con mucha más frecuencia.
• Sesgo Lingüístico: En los subconjuntos multilingües, la representación se inclina hacia los países donde se hablan predominantemente esos idiomas (ej. el español aumenta la representación de Sudamérica).
• Diversidad vs. Frecuencia: Una mayor representación no garantiza mayor diversidad. Se observó que países con alta frecuencia pueden tener una diversidad visual baja, lo que puede reforzar estereotipos.
• Fallo en la Generación (Realismo vs. Cobertura): Al analizar imágenes generadas por Stable Diffusion, los autores descubrieron que, aunque las imágenes parecen realistas (alta precisión), tienen una capacidad de cobertura muy pobre (bajo recall). El modelo tiende a producir imágenes similares y estereotipadas (ej. coches indios que siempre parecen viejos o deteriorados).

5. Significancia

Este trabajo es fundamental para la comunidad de IA porque demuestra que los sesgos en los modelos generativos no son errores aleatorios, sino un reflejo directo de la composición desigual de la web. El estudio proporciona una base para que los curadores de datos puedan medir y mejorar la representatividad geográfica, permitiendo el desarrollo de sistemas de IA más inclusivos, culturalmente conscientes y globalmente precisos.