Quantifying Geospatial in the Common Crawl Corpus

Resumen Técnico: Cuantificación de la Información Geoespacial en el Corpus Common Crawl

Planteamiento del Problema
Los Modelos de Lenguaje Grande (LLM) han demostrado capacidades emergentes en el razonamiento geoespacial, como la comprensión de distancias, direcciones y relaciones entre hitos. Estas capacidades se atribuyen generalmente al preentrenamiento en vastos conjuntos de datos de texto sin etiquetar, derivados principalmente del corpus Common Crawl (CC). Si bien se han investigado los sesgos geoespaciales de los LLM —revelando disparidades en el rendimiento entre diferentes regiones y condiciones socioeconómicas—, la prevalencia subyacente y la naturaleza del contenido geoespacial dentro del propio corpus CC permanecen en gran medida inexploradas. Sin cuantificar la extensión de los datos geoespaciales en el corpus de entrenamiento, es difícil comprender plenamente los orígenes del razonamiento espacial de los LLM o las fuentes potenciales de sesgo geográfico.

Metodología
Los autores proponen un método para estimar la proporción de documentos web en las versiones recientes de CC que contienen información geoespacial, definida específicamente como:

1. Coordenadas: Pares de latitud-longitud o referencias de cuadrícula (por ejemplo, la Red Nacional Británica), excluyendo coordenadas astronómicas y la "Isla Nula" (0,0).
2. Direcciones Postales: Lo suficientemente específicas para ser geocodificadas en un punto, excluyendo menciones simples de hitos (por ejemplo, "La Casa Blanca") a menos que vayan acompañadas de una dirección.

El estudio se centra en tres versiones de CC que abarcan cinco años: CC-MAIN-2019-09, CC-MAIN-2021-39 y CC-MAIN-2024-10. Dada la escala de CC (miles de millones de páginas), los autores emplearon una estrategia de muestreo basada en la fórmula de Cochran para determinar un tamaño de muestra científicamente sólido de aproximadamente 39.900 documentos por versión (un total de ~119.700 documentos).

Para identificar el contenido geoespacial, los autores utilizaron Gemini 1.5 Flash, un modelo de lenguaje grande capaz de procesar entradas de contexto largo (hasta 1 millón de tokens). Esta elección se debió a la necesidad de manejar documentos web extensos y al rendimiento superior en cero disparos del modelo en la Reconocimiento de Entidades Nombradas (NER) y la clasificación de texto en comparación con los algoritmos tradicionales específicos del idioma. Se solicitó al LLM que recuperara coordenadas y direcciones de los documentos. Para garantizar la precisión, los autores realizaron un proceso de revisión manual:

• Verificación de Alucinaciones: Una muestra aleatoria de 100 documentos donde Gemini devolvió ejemplos se verificó manualmente para asegurar que los datos existían en la fuente.
• Verificación de Falsos Negativos: Una muestra aleatoria de 100 documentos donde Gemini devolvió "Ninguno" se revisó manualmente para asegurar que no se había pasado por alto ningún dato geoespacial.

Hallazgos Clave
El análisis arrojó las siguientes perspectivas cuantitativas sobre la prevalencia de datos geoespaciales en Common Crawl:

• Prevalencia General: Aproximadamente el 18,7% de los documentos web en las versiones de CC analizadas contienen información geoespacial (ya sea una dirección postal, coordenadas o ambas).
• Desglose:
  • El 16,1% de los documentos contienen una dirección postal.
  • El 7,0% de los documentos contienen un par de coordenadas.
  • El 4,3% de los documentos contienen ambas.
• Correlación: Entre los documentos con direcciones, el 27,1% también contienen coordenadas. Entre los documentos con coordenadas, el 62,0% también contienen una dirección.
• Distribución por Idioma: Hay poca diferencia en la prevalencia entre documentos en inglés y documentos en otros idiomas. Los documentos en inglés tienen una probabilidad ligeramente mayor de contener coordenadas (7,5% frente al 6,0%), mientras que los documentos en otros idiomas tienen una probabilidad ligeramente mayor de contener direcciones (16,2% frente al 15,1%).
• Fuente de las Coordenadas: La fuente más frecuente de coordenadas son las URL de Google Maps (hipervínculos o iframes incrustados). Los autores señalan que el menor uso de Google Maps en países como China, Rusia e Irán probablemente contribuye a la menor frecuencia de coordenadas en documentos en otros idiomas.
• Tipos de Archivo: Los archivos puramente geoespaciales (por ejemplo, .geojson, .kml) constituyen una fracción insignificante del corpus (0,003%–0,004%). La gran mayoría de los datos geoespaciales están incrustados en páginas web estándar (HTML/XML).

Significado y Afirmaciones
El artículo afirma llenar una brecha crítica en la literatura al proporcionar la primera estimación cuantitativa del contenido geoespacial en Common Crawl. Los autores argumentan que comprender esta prevalencia es un prerrequisito para cualquier debate completo sobre las capacidades y sesgos geoespaciales emergentes de los LLM.

Las implicaciones clave extraídas por los autores incluyen:

• Validación de las Capacidades de los LLM: El hallazgo de que casi el 19% del corpus de entrenamiento contiene datos geoespaciales respalda la observación de que los LLM adquieren conocimiento espacial durante el preentrenamiento.
• Orígenes del Sesgo: El estudio destaca que los documentos en inglés y aquellos del Dominio de Nivel Superior (TLD) .com están representados de manera desproporcionada en CC. Este desequilibrio sugiere que los LLM pueden estar expuestos a una visión del mundo sesgada durante el preentrenamiento, potenciando potencialmente ciertos sesgos geográficos mientras silencian otros.
• Investigación Futura: Los autores sugieren que los ~46 mil millones de documentos estimados que contienen datos geoespaciales representan una "mina de oro" para crear conjuntos de datos específicos de dominio para entrenar, ajustar finamente o evaluar LLM en tareas geoespaciales. Piden más investigación sobre la precisión y calidad de estos datos en diferentes regiones e idiomas para comprender y mitigar mejor los sesgos geoespaciales.