技術要約：サンプリングされたBPEトークン統計による中国語ウェブ規模コーパスの監査

問題提起

大規模言語モデル（LLM）における「中国語ウェブ汚染」（語彙や出力におけるスパム、ポルノ、ギャンブル、詐欺関連のトークンの出現）の台頭により、上流の中国語コーパスに対する厳格な監査が必要となっている。しかし、これらのコーパスを監査することには、主に以下の3つの課題がある：

1. 規模: 主要な中国語コーパスはウェブ規模（数百ギガバイトからテラバイト単位）であり、全件スキャンによる監査は計算コスト的に極めて困難である（例：128コアのノードで83TBのデータをインデックス作成するには99日を要する）。
2. 粒度: 従来の分析は、文書レベルの品質スコアや言語分布といった粗い粒度であることが多く、きめ細かなトークンレベルの汚染を明らかにできていない。
3. 動態: 中国語のウェブ汚染は暗黙的かつ急速に変化しており、隠語や略語に依存することが多いため、定義済みのキーワードリストはすぐに陳腐化してしまう。

既存の研究は、LLM内の汚染されたトークンとコーパスの汚染を結びつけているが、主に下流のモデルを調査対象としており、上流のデータソース自体を調査したものではない。

手法：SAMPLED-BPE

著者らは、全件検査を行うことなくコーパスの汚染プロファイルを推定するために設計された、軽量なトークンレベルの監査パイプラインであるSAMPLED-BPEを提案している。海洋汚染のモニタリングに着想を得たこのパイプラインは、以下の4つのステージで構成される：

1. ストリーミング・サンプリング: ランダムサンプリング（シャッフルや識別子の列挙が必要）の代わりに、このパイプラインでは、少数のドキュメントのサブセットをサンプリングするために単一の逐次パスを実行する。これにより、統計的な正確性を維持しつつ、I/Oコストを抑え、コーパスの完全な実体化を回避する。
2. BPEの学習とカウント: サンプリングされたサブセットに対してByte-Pair Encoding（BPE）トークナイザーを学習させる。このトークナイザを使用してトークン頻度をカウントする。BPEが選ばれた理由は以下の通りである：
   • コーパスの特徴的な反復的語彙パターンを浮き彫りにするため。
   • 固定されたキーワードリストに依存することなく、高頻度の汚染トークンを露出させ、新しい汚染用語の発見を可能にするため。
   • カウントに線形パスのみを必要とするため、計算効率が高い。
3. カテゴリ・マッピング: インターネット検索結果を文脈的証拠として使用し、トークンをコンテンツカテゴリにマッピングする。ファインチューニングされたGLM-4-32Bモデルが、トークン（およびその検索コンテキスト）を「通常コンテンツ（Normal Content）」「アダルトコンテンツ（Adult Content）」「オンラインギャンブル（Online Gambling）」「オンラインゲーム（Online Gaming）」「オンラインビデオ（Online Video）」「異常（Anomalous）」の6つのカテゴリに分類する。このステップにより、テスト分割において97.32%の分類精度を達成している。
4. コーパス・プロファイリング: トークン頻度とカテゴリ割り当てを集計してコーパス・プロファイルを作成し、トークン比率、予測カテゴリ、および汚染の蔓延度を報告する。

主な貢献

1. 手法: SAMPLED-BPEが、利用可能な推定値を維持しながら、トークンレベルの監査コストを数ヶ月から数時間へと削減するパイプラインであることを検証した。
2. 結果: 11のオープンな中国語コーパスと6つの中国語Common Crawlスナップショット（2021年〜2026年）を体系的に監査し、汚染の範囲と時間的な推移を明らかにした。
3. データセット: 630,684個のトークンレコードを含む階層的な中国語ウェブ・トークン・データセットを公開した。これらは92,972個のツリーに整理されており、ルートは最小限の反復サブトークンを表し、子孫は表面的な変種を表すことで、汚染のレビューと追跡をサポートする。

実験結果

効率性と精度

実験により、SAMPLED-BPEが統計的な忠実性を維持しながら、リソース使用量を劇的に削減できることが示された。0.25%のサンプリング率において：

• 実行時間: 148.4倍の高速化を達成。
• メモリ: ピークRSS（Resident Set Size）において35.8倍の削減を達成。
• 精度: 汚染カテゴリに対してわずか4.25%の相対誤差しか発生させなかった。トークン被覆率はフルコーパスの76.83%を維持し、トークン比率のSpearman相関およびPearson相関はそれぞれ86.88%および99.93%であった。

オープン・コーパスにおける汚染

11のオープンな中国語コーパスを監査した結果、汚染は広範囲に及んでいるが、不均一であることが判明した：

• 高い汚染度: OSCAR（汚染率83.38%、アダルトコンテンツが76.10%で支配的）やmC4（汚染率25.41%、オンラインギャンブルが23.17%で支配的）のような広範なマルチリンガル・コーパスは、著しい汚染を示した。
• 低い汚染度: 中国語特化型または高度に精査されたコーパス（例：WanJuan, MAPCC, SkyPile, CCI3, WuDao）は、総汚染率を1%未満に維持していた。
• 構成: クリーニングによって汚染は減少するが、完全に排除されることはない。よりクリーンなコーパスでは、「異常（Anomalous）」なトークン（稀な、あるいは文脈的に無関係なフレーズ）が主な残留汚染として残ることが多い。
• 共通 vs 固有: 汚染されたトークンは小さな共通の核（複数のコーパスに現れるもの）を形成するが、大部分はコーパス固有の裾の部分で構成されている。監査した11のコーパスのうち、少なくとも3つのコーパスに現れた汚染トークンはわずか約1.4%であった。

中国語ウェブコンテンツの進化（Common Crawl）

2021年から2026年までのCommon Crawlスナップショットを監査した結果、上流の中国語ウェブコンテンツは高度に汚染されており、時間とともに変化していることが明らかになった：

• 高い蔓延度: 2026年には、総汚染率は**79.52%に達し、アダルトコンテンツが68.72%**を占めた。
• 時間的ドリフト: 汚染プロファイルは大きく変動する。アダルトコンテンツの揮発性は高く（2023年の55.86%から2024年には28.01%へ低下し、その後2026年には68.72%へと上昇）、逆にオンラインギャンブルは（2021年の5.31%から2026年の0.21%へと）減少しており、これは取り締まりの影響と考えられる。
• トークンの入れ替わり: アダルトコンテンツやオンラインギャンブルといったカテゴリは、急速なトークンの入れ替わり（前年比でのJaccard重複が低い）を示しており、これは禁止されたサイトが新しい表面形態を伴って頻繁に再出現していることを示唆している。対照的に、通常コンテンツやオンラインゲームは、より安定したトークンの持続性を示している。

意義と主張

本論文は、SAMPLED-BPEが、完全な検査が不可能なウェブ規模のコーパスに対して、実現可能な定期的監査メカニズムを提供すると主張している。また、標準的なフィルタリング・パイプラインが汚染を効果的に除去しているという仮定に対し、以下の点から異を唱えている：

1. 汚染は上流の中国語ウェブソースにおける支配的な特徴であり、単なる周辺的な裾の部分ではない。
2. 汚染コンテンツの急速な語彙更新のため、静的なキーワードリストは不十分である。
3. 階層的なデータセットにより、表面的な変種から最小限の反復サブトークンへと遡って汚染を追跡することが可能となり、通常のトークンがいかにして汚染された表現（例：「フィリピン」＋「博士号への申請」 $\rightarrow$ 「フィリピン・シェンボー［ギャンブルブランド名］」）を構成するかを明らかにできる。

著者らは、本研究を上流のコーパス汚染に関する具体的なケーススタディとして位置づけており、クリーニングは役立つものの汚染を根絶するものではなく、継続的なトークンレベルのモニタリングが必要であることを強調している。