Quantifying Geospatial in the Common Crawl Corpus
Diese Arbeit nutzt Gemini 1.5, um die Prävalenz geospatialer Informationen im Common-Crawl-Korpus zu quantifizieren und schätzt, dass 18,7 % der Webdokumente derartige Daten enthalten, wobei zwischen englischen und nicht-englischen Sprachen nur minimale Variationen bestehen, wodurch eine Grundlage für die Untersuchung geospatialer Verzerrungen in großen Sprachmodellen geschaffen wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich das Internet als eine riesige, chaotische Bibliothek vor, die Milliarden von Büchern, Artikeln und Webseiten enthält. Diese Bibliothek heißt Common Crawl. Es ist der riesige Haufen roher Texte, den „Super-Gehirne" (Large Language Models oder LLMs) wie die, die Chatbots antreiben, während ihrer „Kindheit" zu sich nehmen, um zu lernen, wie man spricht und denkt.
Vor kurzem stellten Wissenschaftler fest, dass diese Super-Gehirne überraschend gut darin werden, Geografie zu verstehen. Sie können Ihnen sagen, wie weit es von London nach Paris ist, oder beschreiben, wie eine Stadt aussieht. Doch eine große Frage blieb offen: Wo haben sie das gelernt? Enthielt die Bibliothek, die sie studierten, tatsächlich genügend Karten und Adressen, um sie zu unterrichten?
Dieser Artikel ist wie ein Team von Bibliothekaren, das in diese riesige Bibliothek geht, um genau zu zählen, wie viele Seiten Ortsinformationen enthalten.
Die Mission: Das „Wo" zählen
Die Forscher wollten wissen: Wie viele Webseiten in dieser riesigen Bibliothek erwähnen tatsächlich einen spezifischen Ort?
Sie definierten „spezifischen Ort" auf zwei einfache Arten:
- Koordinaten: Die genauen Zahlen (wie Breitengrad und Längengrad), die einen Punkt auf einer Karte festlegen.
- Adressen: Eine Straßenbezeichnung, eine Stadt und eine Nummer (wie „Hauptstraße 123"), die man verwenden könnte, um einen Brief zu senden oder ein Gebäude zu finden.
Sie beschlossen, vage Erwähnungen wie „der Eiffelturm" nicht zu zählen, es sei denn, sie hatten eine Adresse angehängt, da sie sicherstellen wollten, dass der Ort präzise genug war, um auf einer Karte gefunden zu werden.
Die Detektivarbeit: Ein Super-Scanner im Einsatz
Die Bibliothek ist zu groß, als dass Menschen Seite für Seite lesen könnten. Daher nutzten die Forscher ein leistungsstarkes KI-Tool namens Gemini 1.5 als ihren „Super-Scanner".
Stellen Sie sich Gemini als einen sehr schnellen, sehr klugen Praktikanten vor. Die Forscher gaben ihm einen Stapel zufälliger Webseiten und fragten: „Hey, hat diese Seite eine Straßenadresse oder einen Satz Kartenkoordinaten? Wenn ja, zeig mir ein Beispiel."
Da die Bibliothek so groß ist, konnten sie nicht jede einzelne Seite überprüfen. Stattdessen nutzten sie einen statistischen Trick (wie ein Meinungsforscher, der 1.000 Menschen fragt, um die Meinung eines ganzen Landes zu erraten), um eine repräsentative Stichprobe von etwa 120.000 Seiten aus drei verschiedenen Zeiträumen (2019, 2021 und 2024) auszuwählen.
Die große Enthüllung
Nachdem die KI die Seiten gescannt und Menschen die Ergebnisse doppelt überprüft hatten, um sicherzustellen, dass die KI nicht „halluzinierte" (Dinge erfand), fanden sie einige interessante Zahlen:
- Die Goldmine: Etwa 18,7 % aller Webseiten in der Bibliothek enthalten irgendeine Art von spezifischen Ortsdaten. Das sind ungefähr 1 von 5 Seiten.
- Die Mischung:
- Einige Seiten hatten nur eine Adresse (16,1 %).
- Einige hatten nur Koordinaten (7,0 %).
- Einige hatten beides (4,3 %).
- Die Sprachbalance: Überraschenderweise spielte es keine Rolle, ob die Seite auf Englisch oder einer anderen Sprache verfasst war. Die „Ortsdichte" war für beide fast gleich. Ob die Seite auf Spanisch, Chinesisch oder Englisch war, die Wahrscheinlichkeit, dass sie eine Adresse oder Koordinaten hatte, war ungefähr gleich.
- Der „Google Maps"-Effekt: Viele der gefundenen Koordinaten waren lediglich Links zu Google Maps. Das bedeutet, dass in Ländern, in denen Google Maps nicht die Haupt-Map-App ist (wie China oder Russland), die Anzahl der Koordinaten-Links niedriger ist, was erklären könnte, warum einige Ortsdaten in diesen Sprachen etwas seltener sind.
Was das für die „Super-Gehirne" bedeutet
Die Studie kommt zu dem Schluss, dass die Bibliothek, aus der die KI gelernt hat, tatsächlich voll von Geografie ist. Sie ist nicht leer.
Da die KI so viele Seiten mit Adressen und Koordinaten zu sich genommen hat, ist es nachvollziehbar, dass sie gelernt hat, Raum, Richtungen und Entfernungen zu verstehen. Die Forscher stellten jedoch auch ein „Geschmacks-Ungleichgewicht" in der Bibliothek fest:
- Englisch und .com-Websites sind überrepräsentiert (sie machen einen riesigen Teil der Bibliothek aus).
- Das bedeutet, dass die KI möglicherweise eine „Voreingenommenheit" gegenüber der Welt hat, wie sie durch englischsprachige, US-zentrierte Websites gesehen wird, und möglicherweise die Nuancen anderer Teile der Welt verpasst.
Das Fazit
Die Forscher haben keine neue Karte oder eine neue App erstellt. Sie haben einfach eine Volkszählung der Rohdaten des Internets durchgeführt. Sie fanden heraus, dass Geografie überall in den Daten vorhanden ist, die zum Trainieren von KI verwendet werden. Das erklärt, warum KI gut in Geografie ist, warnt uns aber auch davor, dass die „Sicht" der Welt durch die KI stark davon geprägt ist, welche Websites in der Bibliothek, die sie studierte, am häufigsten waren.
Die Studie endet mit dem Vorschlag, dass diese massive Sammlung von Ortsdaten (etwa 46 Milliarden Seiten!) ein „Goldmine" für zukünftige Forscher sein könnte, die KI speziell für Geografie-Aufgaben trainieren möchten, aber das ist eine Aufgabe für zukünftige Studien, nicht für diese.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.