Robust, Scalable Detection of Text Containment in Large Web-Crawled Corpora

技術要約: FindMyText

問題提起
本論文は、**テキスト包含（text containment）**という課題に取り組んでいる。これは、特定の入力テキスト（クエリ $q$）が、大規模なターゲットコーパス（$\mathcal{C}$）内に、全体的または部分的に存在するかどうかを判定するものである。このタスクは、著作権侵害やライセンス違反を評価するために、大規模言語モデル（LLM）の事前学習データの構成を検証する上で極めて重要である。

既存のアプローチには、この文脈において以下のような重大な限界がある：

• 完全一致（Exact Matching）: 事前学習コーパスは広範な前処理（OCR、ボイラープレート除去、正規化、セグメンテーション）を受けるため、クエリテキストがコーパスのテキストと逐一一致することは稀であり、この手法は失敗する。
• 配列アラインメント（例：Smith-Waterman）: 類似性の測定には正確であるが、計算複雑性が二次関数的であり、数百万のドキュメントを含むウェブクロールされたデータセットへのスケーリングには不向きである。
• 近傍重複検出（例：Jaccard類似度、MinHash、高密度検索/Dense Retrieval）: これらの手法は、多くの場合、グローバルな類似性や意味的な近接性を測定する。これらは、特定の連続したテキスト断片（包含）を共有しているドキュメントと、単に語彙や概念を共有しているだけのドキュメントを区別することに苦慮する。
• メンバーシップ推論攻撃（Membership Inference Attacks）: 黒箱型LLMに対する最近の研究は、著作権保護されたコンテンツの生成を回避するように設計されたプロダクションモデルに対しては、信頼性が低いことを示唆している。

手法
FindMyTextは、フォーマットの不一致に対して堅牢でありながら、大規模なデータセットへのスケーリングを可能にするように設計されたオープンソースのPythonツールキットである。システムは2つのステージで動作する。

1. インデックス作成（前処理）:

   • ウィノイング（Winnowing）: システムはドキュメントから $k$-gram（shingle）を抽出し、それらをハッシュに変換する。そして、代表的なフィンガープリントを選択するために、ウィノイングメカニズム（Schleimer et al., 2003）を適用する。サイズ $w$ のウィンドウをスライドさせ、各ウィンドウ内の最小ハッシュを選択することで、システムはインデックスの数を劇的に削減しつつ、共有される長さ $k+w-1$ のあらゆる部分文字列が少なくとも1つの共通のフィンガープリントを生み出すことを保証する。
   • 転置インデックス（Inverted Index）: フィンガープリントは、各ハッシュを (doc_id, position) のリストにマッピングする、ディスクベースのメモリマップ型転置インデックスに格納される。これにより、特定のフィンガープリントを含むドキュメントを効率的に検索できる。

2. 検出（クエリ実行）:

   • フィンガープリント照合: クエリ $q$ に対して、システムはフィンガープリントを抽出し、インデックスから一致するドキュメントを検索する。
   • チェイン特定（中核となる革新）: 単に共有されたフィンガープリントをカウントする標準的な手法とは異なり、FindMyTextは**一致するフィンガープリントのチェイン（連鎖）**を明示的に特定する。
     • 共有されたフィンガープリントを、クエリ内の位置（$p_q$）と、コーパスドキュメントに対する位置オフセット（$\delta = p_d - p_q$）によって定義される2次元空間にマッピングする。
     • 共有されたテキスト断片は、この空間において幾何学的に一貫したクラスター（$p_q$ が緩やかに増加し、$\delta$ がほぼ一定である状態）として現れる。
     • システムは、位置のギャップ（$\tau_{pos}$）とオフセットの変動（$\tau_{off}$）の閾値を用いて、挿入や削除を許容しながら、これらの点をクラスタリングする。
     • 最小サイズ（$\kappa$）よりも小さいクラスターは破棄される。
   • スコアリング: 包含スコアは、最大の有効なフィンガープリントクラスターのサイズとして定義され、単なる類似性ではなく、共有されたテキストの長さを示す堅牢な尺度を提供する。

主な貢献

1. 新しいチェインベースの手法: 本論文は、位置の一貫性に基づいてフィンガープリントをクラスタリングすることで、共有されたテキスト断片を特定する手法を導入しており、真の包含と単なる類似性を区別する。
2. 合成ベンチマーク: 著者らは、Smith-Watermanアルゴリズムに基づく「オラクル（Oracle）」を用いて、困難なベンチマークを構築した。このベンチマークは、「ポジティブ」なインスタンス（現実的な前処理による編集を受けた共有断片を持つテキスト）と、「ネガティブ」なインスタンス（置換やパラフレーズによって作成された、意味的には類似しているが共有断片を持たないテキスト）を生成する。
3. 実験的検証: このツールキットは、Wikipedia（100万記事）、ArXiv論文、および一般的なウェブコンテンツ（HPLTデータセット、5000万以上のテキスト）の3つの多様なコーパスで評価された。

結果
実験では、FindMyTextをBM25、高密度検索（Qwen3-Embedding-4Bを使用）、および単純な共有フィンガープリントカウント法と比較した。

• 性能: チェインベースのアプローチは、Wikipediaで 0.998、ArXivで 0.991、HPLTで 0.999 というAUC-ROCスコアを達成し、ほぼ完璧な結果を示した。
• ベースラインの失敗: ベースライン手法（BM25、高密度検索、および単純なフィンガープリントカウント）は、性能が悪かった（AUC-ROCはしばしば0.60未満、あるいはランダムな確率に近い）。ベースラインは、意味的には類似しているが共有テキスト断片を持たないドキュメントと、実際にクエリテキストを含むドキュメントを区別できなかった。
• スケーラビリティ: システムは、ディスクベースのストレージとベクトル化されたルックアップにより、巨大なインデックスサイズにもかかわらず、効率的なクエリ時間（Wikipediaで10ms、5000万ドキュメントのHPLTコーパスで450ms）を示した。

意義と主張
本論文は、FindMyTextが、特に法的および透明性の義務（例：EU AI法）に特化したテキスト包含のための、堅牢でスケーラブルなソリューションを提供すると主張している。

• 法的整合性: 著者らは、このツールが意味的な類似性ではなく、法的意味での「実質的な類似性（保護された表現の複製）」を対象としていることを強調している。これにより、著作権保護された素材を事前学習データセット内で特定するのに適している。
• 堅牢性: この手法は、フォーマットやセグメンテーションの変化が完全一致を隠蔽してしまう、ウェブクロールデータの「ノイズの多い」現実に対処するように明示的に設計されている。
• 透明性: 特定のテキスト（著作権のある書籍など）がコーパス内に存在するかどうかを検証できるようにすることで、このツールは、LLMプロバイダーの内部データやブラックボックスモデルにアクセスすることなく、データのキュレーションとモデルの解釈可能性を助ける。

著者らは、現在のツールキットは検出に焦点を当てているが、今後の課題として、CommonCrawlのような主要な公開コーパスに対するプリコンパイル済みインデックスのリリースを含んでいると結論付けている。