Auditing Chinese Web-scale Corpora via Sampled BPE Token Statistics
Dieses Paper führt Sampled-BPE ein, eine leichtgewichtige Pipeline zur Auditierung auf Token-Ebene, die effizient Verschmutzungen in web-skaligen chinesischen Korpora identifiziert, indem sie BPE-Tokenizer auf kleinen Stichproben trainiert, wodurch eine weit verbreitete und sich verschiebende Kontamination in offenen Datensätzen aufgedeckt sowie ein hierarchischer Datensatz für weitere Analysen bereitgestellt wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich das Internet als eine riesige, endlose Bibliothek vor, in der jedes Buch, jeder Blog und jede kaputte Webseite eine einzelne Textseite darstellt. Jahrelang haben Wissenschaftler versucht, Computern das Lesen und Verstehen dieser Bibliothek beizubringen, um „Large Language Models“ (LLMs) zu bauen – superintelligente KI-Assistenten, wie man sie vielleicht in einem Chat erlebt. Aber hier liegt das Problem: Das Internet ist nicht nur eine saubere Bibliothek, sondern auch ein chaotischer, unordentlicher Marktplatz voller Spam, Betrugsmaschen und unangemessener Inhalte. Wenn eine KI aus dieser unordentlichen Bibliothek lernt, kann sie versehentlich schlechte Angewohnheiten übernehmen, wie etwa zu lernen, über Online-Glücksspiel zu schreiben oder seltsame, beleidigende Phrasen zu generieren. Dies wird als „Korpus-Kontamination“ (Corpus Pollution) bezeichnet. Um dies zu beheben, müssen Forscher die Bibliothek auditieren, aber die Bibliothek ist so gewaltig (Billionen von Seiten!), dass das Lesen jeder einzelnen Seite länger als ein Menschenleben dauern würde. Sie brauchen einen Weg, um einen Blick hineinzuwerfen und die schlechten Äpfel zu finden, ohne jede einzelne Seite prüfen zu müssen.
Genau das ist das Thema der Arbeit „Auditing Chinese Web-scale Corpora via Sampled BPE Token Statistics“. Die Autoren, ein Team der Tsinghua-Universität und anderer Institutionen, erkannten, dass der Versuch, das gesamte chinesische Internet nach schlechten Inhalten zu scannen, zu langsam und zu teuer wäre. Also erfanden sie eine clevere Abkürzung namens SAMPLED-BPE. Denken Sie an einen Meeresbiologen, der wissen möchte, wie stark ein riesiger Ozean verschmutzt ist. Anstatt jeden Tropfen Wasser aufzusammeln, nimmt er ein paar kleine Proben aus verschiedenen Stellen, analysiert sie und nutzt diese, um das Verschmutzungsniveau des gesamten Ozeans abzuschätzen. In diesem Fall ist der „Ozean“ das chinesische Web und die „Verschmutzung“ sind toxische oder Spam-behaftete Wörter (Tokens), die in KI-Modelle eingebettet werden.
Die Methode des Teams ist überraschend einfach, aber leistungsstark. Sie nehmen einen winzigen Ausschnitt der massiven chinesischen Textdaten (so wenig wie 0,25 % des Gesamten), trainieren einen speziellen „Tokenizer“ (ein Werkzeug, das Text in kleine Stücke, sogenannte Tokens, zerlegt) nur auf diesem Ausschnitt und schauen dann, welche Tokens am häufigsten vorkommen. Wenn ein Textstück in ihrer kleinen Stichprobe ständig auftaucht, ist es wahrscheinlich ein häufiges Muster im gesamten Datensatz. Sie nutzen dann einen smarten KI-Assistenten, um zu prüfen, was diese häufigen Textstücke tatsächlich bedeuten, indem sie das Web durchsuchen. Wenn sich herausstellt, dass ein Textstück eine Glücksspielseite oder eine pornografische Phrase ist, markieren sie dies.
Ihre Ergebnisse sind ein Schock. Sie haben 11 verschiedene Open-Source-chinesische Textsammlungen und 6 Schnappschüsse des chinesischen Webs von 2021 bis 2026 auditiert. Sie fanden heraus, dass die Verschmutzung überall ist, aber nicht gleichmäßig verteilt ist. Einige Datensätze sind relativ sauber, während andere absolut in schlechten Inhalten ertrinken. Beispielsweise wurde festgestellt, dass ein Datensatz namens OSCAR zu über 83 % verschmutzt ist, wobei der Großteil aus Inhalten für Erwachsene besteht. Ein anderer, mC4, war stark mit Begriffen aus dem Online-Glücksspiel belastet. Noch interessanter ist, dass sie entdeckten, dass der „Chinese Common Crawl“ (ein massiver, roher Dump des Webs) hochgradig verschmutzt ist und sich die Art der Verschmutzung im Laufe der Zeit ändert. Im Jahr 2026 war fast 69 % der Inhalte in ihrem Schnappschuss Material für Erwachsene, während die Glücksspielinhalte seit 2021 signifikant gesunken waren. Dies deutet darauf hin, dass das „schlechte Zeug“ im Web ein bewegliches Ziel ist; sobald eine Art von Spam blockiert wird, taucht eine andere auf.
Das Paper argumentiert zudem gegen die Idee, dass man einfach eine feste Liste von „schlechten Wörtern“ erstellen kann, um diese herauszufiltern. Da sich die Verschmutzung sehr schnell ändert und oft auf hinterhältige, abgekürzte oder kombinierte Wörter zurückgreift (wie das Mischen zweier normaler Wörter zu einem Glücksspielbegriff), würde eine statische Liste schnell nutzlos werden. Stattdessen schlagen die Autoren vor, dass wir das Web regelmäßig auditieren müssen, genau wie sie es getan haben. Um anderen dabei zu helfen, veröffentlichten sie einen massiven neuen Datensatz, der über 630.000 Datensätze dieser verschmutzten Tokens enthält, die in „Bäumen“ organisiert sind, welche zeigen, wie aus kurzen, schlechten Wörtern längere, komplexere Phrasen wachsen.
Kurz gesagt: Das Paper beweist, dass man nicht den ganzen Ozean lesen muss, um zu wissen, dass er schmutzig ist; eine kluge, kleine Probe reicht aus, um ein klares Bild zu erhalten. Sie haben gezeigt, dass das chinesische Web derzeit ein sehr verschmutzter Ort für das Training von KI ist und dass sich die Verschmutzung schnell und rasch verändert. Ihr neues Werkzeug, SAMPLED-BPE, macht es möglich, diese massiven Datensätze in Stunden statt in Monaten zu prüfen, was Forschern eine Möglichkeit gibt, ihre KI-Modelle sauber zu halten, ohne von der schieren Größe des Internets überwältigt zu werden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.