Counting Documents Is Not Counting Text: Unit Bias in Web-PDF Corpus Statistics
Diese Arbeit zeigt auf, dass die Statistiken des Web-PDF-Korpus einem signifikanten „Unit Bias“ unterliegen, indem sie Metriken pro Dokument anstatt pro Token angeben, was die Tatsache verschleiert, dass ein kleiner Bruchteil großer Dokumente den Großteil des Textes enthält und dass aktuelle Kürzungspolitiken zum Verlust von über der Hälfte des gesamten Korpus-Inhalts führen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der riesigen, chaotischen Bibliothek des Internets ist eine neue Art von Buch unverzichtbar geworden, um künstlicher Intelligenz beizubringen, wie man denkt. Dies sind nicht die Webseiten, die wir mit einer Maus durchsuchen, sondern digitale Dokumente in einem Format namens PDF, dem Standard für das Teilen von Berichten, wissenschaftlichen Arbeiten und offiziellen Formularen. Jahrelang haben Forscher, die diese intelligenten Systeme entwickeln, jede digitale Datei als eine einzige, gleichwertige Einheit behandelt. Wenn ein Datensatz eine Million Dokumente enthält, gingen sie davon aus, dass er eine Million gleiche Informationsportionen bereitstellt, ungeachtet dessen, ob eine Datei ein einseitiges Flugblatt und eine andere eine fünfhundertseitige Enzyklopädie war. Diese Annahme hat die Art und Weise geprägt, wie wir die Größe und Qualität der Daten messen, die zum Training der fortschrittlichsten Computermodelle der Welt verwendet werden. Doch ein genauerer Blick offenbart, dass das Zählen von Dateien ein schlechter Weg ist, um Wörter zu zählen, und dass der Unterschied zwischen den beiden Einheiten alles verändert, was wir über die Daten zu wissen glaubten.
Eine aktuelle Studie von Luca Foppiano von der Common Crawl Foundation stellt die Standardmethode infrage, mit der Forscher diese massiven Textsammlungen beschreiben. Das Team untersuchte einen spezifischen Schnappschuss des Internets aus dem Jahr 2021, einen Datensatz, der fast acht Millionen Web-PDFs enthielt. Während die ursprünglichen Ersteller dieser Daten deren Größe in Bezug auf die Anzahl der Dokumente angaben, entschieden sich Foppiano und seine Kollegen, sie nach der tatsächlichen Menge an Text innerhalb dieser Dateien zu messen. Sie fanden ein erschreckendes Ungleichgewicht: Die Dokumente waren keineswegs austauschbar. Ein winziger Bruchteil der Dateien, speziell jene, die sehr lang waren, enthielt die überwältigende Mehrheit der Wörter. Tatsächlich hielten gerade einmal etwas mehr als drei Prozent der Dokumente die Hälfte des gesamten Textes, während die verbleibenden neunundsiebzig Prozent die andere Hälfte teilten. Das bedeutet: Wenn man die Sammlung nach der Dateianzahl betrachtet, erscheint sie als eine Bibliothek aus kurzen Notizen und Formularen, aber wenn man sie nach der Wortanzahl betrachtet, ist sie eine Bibliothek, die von massiven, umfangreichen Bänden dominiert wird.
Diese Schieflage in der Länge hat tiefgreifende Konsequenzen dafür, wie die Daten verarbeitet werden und was dabei verloren geht. Das Internet-Archiv, das diese Dateien bereitstellte, hat eine Regel, um Speicherplatz zu sparen: Es schneidet jede Datei ab, die größer als eine bestimmte Größe ist. Lange Zeit lag dieses Limit bei einem Megabyte. Die Studie zeigt, dass diese Regel fast ein Viertel der Dokumente in der Sammlung betraf, was beherrschbar klingen mag. Da jedoch die längsten Dokumente diejenigen waren, die abgeschnitten wurden, enthielten diese gekürzten Dateien fast zwei Drittel des gesamten Textes. Als die Forscher versuchten, die fehlenden Teile dieser abgeschnittenen Dateien zu rekonstruieren, entdeckten sie, dass der Schaden oft permanent war. Unter Verwendung zweier verschiedener Standardwerkzeuge zum Lesen der beschädigten Dateien fanden sie heraus, dass ein Werkzeug nur etwa elf Prozent der fehlenden Wörter wiederherstellen konnte, während das andere kaum ein Prozent wiederherstellte. Für die überwiegende Mehrheit dieser beschädigten Dateien konnten die Werkzeuge überhaupt keinen Text extrahieren, was die Computermodelle mit einer signifikanten Lücke in ihrem Wissen zurückließ.
Die Forscher untersuchten auch, was passiert, wenn das Speicherlimit erhöht wird, eine Änderung, die im Jahr 2025 stattfand, als das Limit auf fünf Megabyte angehoben wurde. Während diese Anpassung die Anzahl der abgeschnittenen Dateien reduzierte, löste sie das Problem des Textverlusts nicht. Selbst mit dem höheren Limit würden immer noch fast dreißig Prozent des gesamten Textes in der Sammlung abgeschnitten. Die Studie zeigt, dass es nicht ausreicht, das Größenlimit einfach zu erhöhen, um den wertvollsten Inhalt zu retten, da die größten Dokumente oft so massiv sind, dass selbst ein Fünf-Megabyte-Abschnitt zu klein ist, um ihren Anfang zu erfassen. Die Forscher kamen zu dem Schluss, dass die Art und Weise, wie wir über diese Datensammlungen sprechen, irreführend ist. Die Angabe von Statistiken nur nach der Anzahl der Dokumente verschleiert die Realität, dass einige wenige riesige Dateien fast alle Informationen halten. Um wirklich zu verstehen, was diese Systeme der künstlichen Intelligenz lernen, müssen wir die Wörter zählen, nicht nur die Dateien, und erkennen, dass die aktuellen Methoden zur Speicherung und Filterung des Internets den Großteil des Textes, den wir benötigen, verwerfen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.