Quantifying Geospatial in the Common Crawl Corpus
Este artigo utiliza o Gemini 1.5 para quantificar a prevalência de informações geoespaciais no corpus Common Crawl, estimando que 18,7% dos documentos da web contêm tais dados, com variação mínima entre idiomas em inglês e não em inglês, estabelecendo assim uma base para o estudo de vieses geoespaciais em modelos de linguagem de grande porte.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine a internet como uma biblioteca massiva e caótica contendo bilhões de livros, artigos e páginas web. Essa biblioteca é chamada de Common Crawl. É a pilha gigante de texto bruto que "super-cérebros" (Modelos de Linguagem Grandes ou LLMs), como os que alimentam chatbots, consomem durante sua "infância" para aprender a falar e pensar.
Recentemente, cientistas notaram que esses super-cérebros estão ficando surpreendentemente bons em entender geografia. Eles podem dizer a você a distância entre Londres e Paris ou descrever como uma cidade se parece. Mas uma grande questão permaneceu: Onde eles aprenderam isso? A biblioteca que estudaram realmente continha mapas e endereços suficientes para ensiná-los?
Este artigo é como uma equipe de bibliotecários entrando nessa biblioteca massiva para contar exatamente quantas páginas contêm informações de localização.
A Missão: Contando o "Onde"
Os pesquisadores queriam saber: Quantas páginas web nessa biblioteca gigante mencionam realmente um lugar específico?
Eles definiram "lugar específico" de duas maneiras simples:
- Coordenadas: Os números exatos (como latitude e longitude) que fixam um ponto em um mapa.
- Endereços: Um nome de rua, cidade e número (como "Rua Principal, 123") que você poderia usar para enviar uma carta ou encontrar um prédio.
Eles decidiram não contar menções vagas como "a Torre Eiffel", a menos que tivesse um endereço anexado, porque queriam ter certeza de que a localização era precisa o suficiente para ser encontrada em um mapa.
O Trabalho de Detetive: Usando um Super-Escâner
A biblioteca é grande demais para humanos lerem página por página. Então, os pesquisadores usaram uma ferramenta poderosa de IA chamada Gemini 1.5 como seu "super-escâner".
Pense no Gemini como um estagiário muito rápido e muito inteligente. Os pesquisadores deram a ele uma pilha de páginas web aleatórias e perguntaram: "Ei, esta página tem um endereço de rua ou um conjunto de coordenadas de mapa? Se sim, mostre-me um exemplo."
Como a biblioteca é tão grande, eles não puderam verificar cada página individualmente. Em vez disso, usaram um truque estatístico (como um pesquisador de opinião pública perguntando a 1.000 pessoas para adivinhar a opinião de um país inteiro) para selecionar uma amostra representativa de cerca de 120.000 páginas de três períodos diferentes (2019, 2021 e 2024).
A Grande Revelação
Depois que a IA escaneou as páginas e os humanos verificaram duplamente os resultados para garantir que a IA não estava "alucinando" (inventando coisas), eles encontraram alguns números interessantes:
- A Mina de Ouro: Cerca de 18,7% de todas as páginas web na biblioteca contêm algum tipo de dados de localização específicos. Isso é aproximadamente 1 em cada 5 páginas.
- A Mistura:
- Algumas páginas tinham apenas um endereço (16,1%).
- Algumas tinham apenas coordenadas (7,0%).
- Algumas tinham ambos (4,3%).
- O Equilíbrio Linguístico: Surpreendentemente, não importava se a página estava em inglês ou em outro idioma. A "densidade de localização" era quase a mesma para ambos. Se a página estava em espanhol, chinês ou inglês, a chance de ter um endereço ou coordenadas era aproximadamente igual.
- O Efeito "Google Maps": Muitas das coordenadas encontradas eram apenas links para o Google Maps. Isso significa que, em países onde o Google Maps não é o principal aplicativo de mapas (como China ou Rússia), o número de links de coordenadas é menor, o que pode explicar por que alguns dados de localização são ligeiramente menos comuns nessas línguas.
O Que Isso Significa para os "Super-Cérebros"
O artigo conclui que a biblioteca da qual a IA aprendeu está realmente cheia de geografia. Não está vazia.
Como a IA consumiu tantas páginas com endereços e coordenadas, faz sentido que ela tenha aprendido a entender espaço, direções e distâncias. No entanto, os pesquisadores também notaram um "desequilíbrio de sabor" na biblioteca:
- Sites em inglês e .com estão super-representados (eles constituem uma enorme fatia da biblioteca).
- Isso significa que a IA pode estar "viciada" em direção ao mundo visto através de sites falantes em inglês e centrados nos Estados Unidos, potencialmente perdendo as nuances de outras partes do mundo.
A Conclusão
Os pesquisadores não construíram um novo mapa ou um novo aplicativo. Eles simplesmente fizeram um censo dos dados brutos da internet. Eles descobriram que a geografia está em toda parte nos dados usados para treinar IA. Isso explica por que a IA é boa em geografia, mas também nos alerta de que a "visão" da IA do mundo é fortemente moldada por quais sites eram mais comuns na biblioteca que ela estudou.
O artigo termina sugerindo que essa coleção massiva de dados de localização (cerca de 46 bilhões de páginas!) poderia ser uma "mina de ouro" para pesquisadores futuros que desejam treinar IA especificamente em tarefas de geografia, mas isso é um trabalho para estudos futuros, não para este.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.