技術概要：Infini-News

問題提起

大規模なニュースコーパスは、計算社会科学（CSS）および自然言語処理（NLP）にとって不可欠な資源であり、特に国境を越えた制度的情報フロー、アジェンダ設定、フレーム効果の分析において重要である。しかし、そのようなデータへのアクセスは、重大な財政的および技術的障壁によって制約されたままとなっている。商業アーカイブ（Factiva、LexisNexis など）は、再現性やデータ再配布を制限する禁止的なコストと制限的なライセンス条項を課している。一方、Common Crawl News（CC-News）アーカイブのようなオープンな代替手段は無料であるが、別の課題を呈している：生データは数百テラバイトの HTML ファイルで構成されており、これを解析し、クリーニングし、構造化するには、莫大なエンジニアリング努力と計算リソースが必要となる。このため、専門的なインフラを欠く研究者にとって、大規模かつ縦断的かつ国境を越えたメディア研究はアクセス不可能なままとなっている。

手法

著者らは、完全なデータセットのローカル保存を必要とせずに、CC-News アーカイブ全体（2016 年 8 月から最新のスナップショットまで）を効率的に検索可能にする、検索優先型のツールキットおよびインデックス「INFINI-NEWS」を導入する。システムアーキテクチャは、以下の 3 つの主要コンポーネントで構成される。

1. データ取得と前処理

著者らは、CC-News アーカイブから 180 TB の生 WARC ファイルを処理した。

• 抽出: fastwarc を用いてアーカイブをストリーミングし、trafilatura でコンテンツを抽出することで、パイプラインは HTML のボイラープレート（ナビゲーション、広告）を除去し、クリーンな記事本文、タイトル、著者、公開日を分離する。trafilatura は、優れた性能（F1 0.91）と非ラテン文字の堅牢な処理能力が選定理由である。
• 保存: 抽出されたレコードは JSONL ファイルにシリアライズされ、生 WARC ファイルと比較してストレージ要件が約 2 桁減少する。
• 保存（維持）: パイプラインは、コンテンツのシンジケーションや「ジャーナリズムの流用（churnalism）」を研究するための自然な頻度分布を維持するため、意図的に重複コンテンツを保持する。言語モデルのトレーニングデータを歪める可能性があるデュープリケーション除去の落とし穴を避けるためである。

2. メタデータ付与

フィルタリングおよび比較研究を支援するため、2 つのアノテーションパイプラインが適用された。

• 言語識別: 単一分類器アプローチの限界に対処するため、著者らは 3 つの最先端分類器を採用する。
  • GlotLID v3: 2,102 の言語・スクリプトラベルを網羅する fastFast ベースの分類器で、50 文字以上の記事に適用される。
  • lingua: 短い入力（1,000 文字未満）に最適化された n-gram 統計検出器で、75 言語をカバーする。
  • CommonLingua: 334 言語でトレーニングされた 235 万パラメータのバイトレベル CNN+ アテンションモデルで、すべての空でない記事に適用される。
  • これらのラベルは、単一の「最良」ラベルに統合されるのではなく、別々の列として提供され、研究者が特定のワークロードに適した動作点（カバレッジ対精度）を選択できるようにする。
• 地理的帰属: 5 つのソースの連鎖により、ドメインに原産国を割り当てる。(i) 国コードトップレベルドメイン（ccTLD）、(ii) ニュース組織の Wikidata キャッシュ、(iii) 4 つのキュレーションされた outlet リスト、(iv) 構造的 HTML 証拠（JSON-LD、フッター）、(v) コーパス言語ルール。これにより、222 カ国にわたる記事の 83.4% について国が解決された。

3. 検索可能インデックス（Infini-gram）

核心的な革新は、接尾辞配列構造（特に FM インデックス変種を使用する infini-gram-mini エンジン）に基づいた Infini-gram インデックスの構築にある。

• メカニズム: 標準的な転置インデックスとは異なり、これらの構造は圧縮形式でコーパスの接尾辞を格納し、二分探索を介して任意のテキストパターンに対する完全な部分文字列検索を $O(m \log n)$ の時間でサポートする。
• 機能: このエンジンはバイト上で直接動作し、トークン化、語幹抽出、または事前計算された n-gram を必要とせずに任意の部分文字列をサポートする。これにより、言語やスクリプトの境界を越えた検索が可能となる。
• パフォーマンス: 検索はサブ秒で結果を返す（13.57 億記事の完全コーパスにおける中央値の遅延は 6.48 ミリ秒）。メモリマップド読み込みを使用することで、特定の検索のためにテラバイト単位のデータをダウンロードする必要がなくなる。

主要な貢献

1. 処理済みコーパス: カスタム解析インフラを必要とせず、13.5 億件以上の記事を含む、メタデータが豊富に付与された CC-News アーカイブ全体のクリーニング済みバージョン。
2. 多ソース付与: コーパスには、3 つの異なる分類器からの言語タグと、記事の 83.4% に対する地理的帰属が含まれており、商業アグリゲーターで通常利用可能な 30〜40 言語を超えてカバレッジを大幅に拡大している。
3. 効率的な検索インフラ: 年間およびアーカイブ全体の Infini-gram インデックスの構築により、研究者は任意のテキストパターンをサブ秒で完全アーカイブから検索し、オンデマンドでデータセットを構築できる。
4. FAIR 準拠: 発行は FAIR 原則に準拠しており、永続的な DOI、バージョン管理、ドキュメントを提供する。責任ある使用を確保するため、アクセスは機関所属と研究目的によってのみ制限される。

結果と統計

• 規模: コーパスには、約 10 年間（2016 年 8 月〜2026 年 4 月）にわたる 1,357,027,742 記事が含まれており、月平均 1,160 万記事である。
• 多様性: データセットは 133,565 の一意のホスト名（103,052 ドメイン）と 1,172 の一意の ISO 639-3 言語コード（GlotLID 経由）をカバーしており、そのうち 166 言語は少なくとも 10,000 記事を含んでいる。
• 地理的カバレッジ: 帰属は、222 カ国にわたる 59,885 ドメイン（58.1%）および 11.32 億記事（83.4%）について正常に解決された。ボリューム上位の国には、米国（22.2%）、ドイツ（5.5%）、イタリア（4.5%）が含まれる。
• パフォーマンスベンチマーク:
  • 検索遅延: 完全コーパス（117 シャード）に対する部分文字列検索は、メモリマップド I/O を使用して、中央値（p50）で 6.48 ミリ秒、p99 で 7.73 ミリ秒の遅延を達成する。
  • 比較: これらの検索は、DuckDB を介して基盤となる Parquet ファイルに対して同等の SQL LIKE 検索を実行するよりも 2 桁高速である（同処理は月あたり 800〜1,050 ミリ秒を要した）。
• カバレッジ検証: コーパスのボリュームは、高リソース言語において商業アグリゲーターである Factiva と同等かそれ以上である（例：英語記事 5.07 億件対 Factiva の 3.88 億件）一方、商業提供物に欠ける数百の低リソース言語もカバーしている。

意義と主張

本論文は、INFINI-NEWS が、完全なアーカイブのローカル保存を必要とせずに、効率的な検索とターゲットニュースデータセットのオンデマンド構築を可能にする、最初の FAIR 準拠ツールキットであると主張している。「検索優先」の設計を採用することで、このシステムは縦断的かつ国境を越えたメディア研究の障壁を下げ、研究者が以下を行うことを可能にする。

• 基盤となるファイルをダウンロードすることなくコーパスを検索する。
• 特定のキーワード、時間範囲、ドメイン、または言語に基づいてオンデマンドでデータセットを構築する。
• ドメイン全体での文字列の逐語的な出現を追跡することで、コンテンツフロー、シンジケーション、調整された情報操作を分析する。
• データ不足またはコストのために以前はアクセス不可能だったメディアシステムや言語間での比較研究を行う。

著者らは、単一国または単一言語の研究に内在するサンプリングバイアスを克服する広範で多言語かつ地理的に多様なデータを提供することで、メディア研究の外部妥当性と一般化性を確保するための重要な一歩として、このリソースを位置づけている。このツールキットは、誤情報やフレーム効果の研究から、大規模言語モデルのトレーニングデータの汚染監査、および検索拡張生成（RAG）システムの構築まで、多様な研究アプリケーションをサポートするように設計されている。