Quantifying Geospatial in the Common Crawl Corpus
Cette étude utilise Gemini 1.5 pour quantifier la prévalence des informations géospatiales dans le corpus Common Crawl, estimant que 18,7 % des documents web contiennent de telles données avec une variation minimale entre les langues anglaises et non anglaises, établissant ainsi une base pour l'étude des biais géospatiaux dans les grands modèles de langage.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez l'internet comme une bibliothèque massive et chaotique contenant des milliards de livres, d'articles et de pages web. Cette bibliothèque s'appelle Common Crawl. C'est l'amoncellement géant de texte brut que les « super-cerveaux » (les grands modèles de langage ou LLM) comme ceux qui alimentent les chatbots consomment durant leur « enfance » pour apprendre à parler et à penser.
Récemment, des scientifiques ont remarqué que ces super-cerveaux deviennent étonnamment bons pour comprendre la géographie. Ils peuvent vous dire quelle est la distance entre Londres et Paris ou décrire à quoi ressemble une ville. Mais une grande question demeurait : Où ont-ils appris cela ? La bibliothèque qu'ils ont étudiée contenait-elle réellement suffisamment de cartes et d'adresses pour les enseigner ?
Ce papier est comme une équipe de bibliothécaires pénétrant dans cette bibliothèque massive pour compter exactement combien de pages contiennent des informations de localisation.
La Mission : Compter le « Où »
Les chercheurs voulaient savoir : Combien de pages web dans cette bibliothèque géante mentionnent réellement un lieu spécifique ?
Ils ont défini « lieu spécifique » de deux manières simples :
- Coordonnées : Les nombres exacts (comme la latitude et la longitude) qui épinglent un point sur une carte.
- Adresses : Un nom de rue, une ville et un numéro (comme « 123 rue Principale ») que vous pourriez utiliser pour envoyer une lettre ou trouver un bâtiment.
Ils ont décidé de ne pas compter les mentions vagues comme « la Tour Eiffel » à moins qu'elles ne soient accompagnées d'une adresse, car ils voulaient s'assurer que la localisation était assez précise pour être trouvée sur une carte.
Le Travail d'Enquête : Utiliser un Super-Scanner
La bibliothèque est trop immense pour que des humains la lisent page par page. Ainsi, les chercheurs ont utilisé un outil d'IA puissant appelé Gemini 1.5 comme leur « super-scanner ».
Imaginez Gemini comme un stagiaire très rapide et très intelligent. Les chercheurs lui ont donné une pile de pages web aléatoires et lui ont demandé : « Hé, cette page contient-elle une adresse postale ou un ensemble de coordonnées cartographiques ? Si oui, montrez-moi un exemple. »
Parce que la bibliothèque est si grande, ils n'ont pas pu vérifier chaque page individuelle. Au lieu de cela, ils ont utilisé une astuce statistique (comme un sondeur demandant à 1 000 personnes de deviner l'opinion d'un pays entier) pour sélectionner un échantillon représentatif d'environ 120 000 pages provenant de trois périodes différentes (2019, 2021 et 2024).
La Grande Révélation
Après que l'IA a scanné les pages et que les humains ont vérifié les résultats pour s'assurer que l'IA ne « hallucinait » pas (n'inventait pas de choses), ils ont trouvé des chiffres intéressants :
- La Mine d'Or : Environ 18,7 % de toutes les pages web de la bibliothèque contiennent une sorte de données de localisation spécifiques. C'est environ 1 page sur 5.
- Le Mélange :
- Certaines pages avaient juste une adresse (16,1 %).
- Certaines avaient juste des coordonnées (7,0 %).
- Certaines avaient les deux (4,3 %).
- L'Équilibre Linguistique : Étonnamment, cela n'a pas d'importance si la page est en anglais ou dans une autre langue. La « densité de localisation » était presque la même pour les deux. Que la page soit en espagnol, en chinois ou en anglais, la probabilité qu'elle contienne une adresse ou des coordonnées était à peu près égale.
- L'Effet « Google Maps » : Beaucoup des coordonnées trouvées étaient simplement des liens vers Google Maps. Cela signifie que dans les pays où Google Maps n'est pas l'application de carte principale (comme en Chine ou en Russie), le nombre de liens de coordonnées est plus faible, ce qui pourrait expliquer pourquoi certaines données de localisation sont légèrement moins courantes dans ces langues.
Ce Que Cela Signifie pour les « Super-Cerveaux »
Le papier conclut que la bibliothèque à partir de laquelle l'IA a appris est en réalité pleine de géographie. Elle n'est pas vide.
Parce que l'IA a consommé tant de pages avec des adresses et des coordonnées, il est logique qu'elle ait appris à comprendre l'espace, les directions et les distances. Cependant, les chercheurs ont également noté un « déséquilibre de saveur » dans la bibliothèque :
- Les sites web en anglais et en .com sont surreprésentés (ils constituent une énorme partie de la bibliothèque).
- Cela signifie que l'IA pourrait être « biaisée » envers le monde tel qu'il est vu à travers des sites web anglophones et centrés sur l'Amérique, manquant potentiellement les nuances d'autres parties du monde.
La Conclusion
Les chercheurs n'ont pas construit une nouvelle carte ou une nouvelle application. Ils ont simplement effectué un recensement des données brutes d'internet. Ils ont constaté que la géographie est partout dans les données utilisées pour entraîner l'IA. Cela explique pourquoi l'IA est bonne en géographie, mais cela nous met également en garde contre le fait que la « vision » du monde de l'IA est fortement façonnée par les sites web les plus courants dans la bibliothèque qu'elle a étudiée.
Le papier se termine en suggérant que cette collection massive de données de localisation (environ 46 milliards de pages !) pourrait être une « mine d'or » pour les futurs chercheurs qui souhaitent entraîner l'IA spécifiquement sur des tâches de géographie, mais c'est un travail pour des études futures, pas pour celle-ci.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.