技術的概要：キャナリートークンを用いた AI ウェブスクレイパーの特定

問題定義

大規模言語モデル（LLM）は、事前学習およびクエリ時の拡張（例：検索拡張生成やライブウェブ検索）の両方において、ウェブからスクレイプされたデータに依存しています。これはモデルのパフォーマンスを向上させますが、サイトの安定性、プライバシー、著作権、倫理に関する重大な懸念を引き起こします。ウェブサイト所有者は、通常 Robots 除外プロトコル（robots.txt）などのメカニズムを使用して、特定のスクレイパーによるコンテンツへのアクセスを制限したいと考えています。しかし、どの特定のウェブスクレイパー（User-Agent 文字列で識別される）がどの AI チャットボットにデータを供給しているかに関する信頼性の高い知識が欠如しているため、これらの制御の有効性は損なわれています。

AI 関連のスクレイパーを特定するための既存の方法は、企業の自発的な開示、研究者による単発の実験、またはクラウドソーシングされた報告に依存しています。これらの方法は信頼性もスケーラビリティも欠いています。さらに、AI チャットボットがコンテンツをライブで取得しているのか、サードパーティの検索エンジンからのキャッシュデータに依存しているのか、あるいはアクセス制御を回避するために身元を偽装しているのかは不明なままです。この不透明さは、サイト所有者が AI エコシステムから効果的にオプトアウトすることを妨げています。

手法

著者は、ウェブスクレイパーと AI チャットボットとの関係を正確かつ自動的に推論するための新しい手法として、キャナリートークンの使用を提案します。このアプローチは、3 段階のパイプラインから構成されます。

1. キャナリートークンウェブサイトの展開:

   • 著者は、一般的なコンテンツタイプ（例：個人ポートフォリオ、企業サイト）を模倣した 20 の固有のウェブサイトを展開しました。
   • 各ウェブサイトのテンプレートには、キャナリートークン（固有のランダム化された文字列、例：名前、場所、または数字）のプレースホルダーが含まれていました。
   • 動的配信: スレイパーがサイトにアクセスすると、システムはUser-Agentと**自律システム番号（ASN）**の固有の組み合わせに基づいて訪問者を識別しました。
   • トークン割り当て: 各固有のスクレイパーには、ページコンテンツに埋め込まれた一連の固有のキャナリートークンが配信されました。スクレイパーが複数回訪問した場合、同じトークンが配信され、異なるスクレイパーには異なるトークンが配信されました。

2. AI チャットボットへのクエリ:

   • 2 ヶ月間の伝播期間の後、著者は特定のプロンプトを使用して 22 の本番環境 AI チャットボット（ChatGPT、Claude、Copilot、Gemini などを含む）にクエリを送りました。
   • プロンプトは、展開されたウェブサイトに関する情報を含む応答を引き出すように設計され、具体的にはキャナリートークンに対応する詳細（例：「アリスの出身地は何ですか？」）を求めました。
   • 変種情報や不一致を確認するために、フォローアップクエリが使用されました。

3. スクレイパーの推論:

   • 著者は、チャットボットの応答からキャナリートークンを抽出しました。
   • 一致アルゴリズム: チャットボットの応答に、特定のスクレイパーに固有に割り当てられたトークンが含まれていた場合、一致が確立されました。
   • 閾値: 誤検知（例：幻覚や偶然の一致）を軽減するため、データセット全体で少なくとも2 つのトークン（$t=2$）に関連付けられているか、1 回の固有のウェブサイト相互作用（$w=1$）が観察された場合にのみ、スクレイパーがチャットボットにデータを供給すると推論されました。
   • 曖昧な一致（例：部分集合トークンや数値的な偶然の一致）は、信頼性を確保するために破棄されました。

実験設定

• 対象: 主要プロバイダー（OpenAI、Anthropic、Google、Microsoft など）および検索エンジンプロバイダーからの 22 の本番環境 AI チャットボット。
• 条件: 本研究は、3 つのアクセス可能性条件の下で数ヶ月にわたって実施されました。
  1. 完全アクセス可能: すべてのサイトがオンライン（ベースライン）。
  2. オフライン: キャッシングをテストするために 10 サイトをオフライン化。
  3. 制限付き: 10 サイトはオンラインのままですが、プロトコル遵守をテストするために robots.txt 経由でブロックされました。
• 指標: 推論されたデータソースにおける特定の User-Agent 文字列の存在と、ブロック後のコンテンツの持続性。

主要な結果

1. スレイパーからチャットボットへのマッピング（RQ1）

本研究は、22 のチャットボットのうち 18 によって使用されている User-Agent を特定することに成功しました。

• 宣言済み vs 実際: 一部のチャットボットは自己宣言された User-Agent（例：ChatGPT の OAI-SearchBot）を使用しましたが、多くのチャットボットは汎用ブラウザエージェント（例：Chrome、Safari）またはサードパーティ検索エージェント（例：Googlebot、Bingbot、Bravebot）を利用していました。
• アイデンティティのローテーション: Kimiなどの一部のシステムは、大量の User-Agent リストをローテーションさせるように見え、静的な文字列による識別を困難にしました。
• サードパーティへの依存: 多くのチャットボットは、独自の直接クローラーではなく、検索エンジンクローラー（例：Googlebot）に関連付けられたコンテンツを返しており、直接スクレイピングではなく検索エンジンのインデックスに依存していることを示唆しています。

2. キャッシングと持続性（RQ2）

• 一般的なキャッシング: ウェブサイトをオフラインにしても、大多数のチャットボットはそれらのサイトに関連するコンテンツの返却を続けました。
• 検索エンジンキャッシング: サードパーティ検索エージェント（Googlebot、Bingbot）に依存するチャットボットは、検索エンジンのインデックス付けと一致する高い持続性を示しました。
• 直接キャッシング: 汎用ブラウザエージェント（例：Grok、Solar）を使用するチャットボットでさえ、ソースがオフラインになった後もコンテンツを提供し続け、独自のキャッシュを維持していることを示しました。

3. ブロックの有効性（RQ3）

• 標準制御の無効性: サイトをオフラインにするか robots.txt 制限を実装しても、チャットボットが以前にスクレイプされたコンテンツを返すことを防ぐことはほとんどできませんでした。
• 無視される robots.txt: robots.txt 条件において、多くのチャットボットはコンテンツの返却を続け、プロトコルを無視しているか、制限以前に存在するキャッシュデータに依存していることを示唆しました。
• 例外: Duck.aiのみが、オフラインおよび robots.txt 条件の両方でコンテンツの返却を停止した唯一のシステムとして観察され、可用性とプロトコル指示を積極的に評価していることを示唆しました。

意義と主張

本論文は、AI チャットボットにおけるリアルタイムコンテンツ取得を支えるインフラストラクチャに対する最初の重要な検討を提供すると主張しています。主な貢献点は以下の通りです。

1. 新しい測定手法: キャナリートークンアプローチは、自発的な開示に依存することなく、権限を持たない第三者がどのスクレイパーがどの LLM にデータを供給するかを推論するための信頼性が高く自動化された方法を提供します。
2. 不透明性の暴露: この研究は、データ供給チェーンが公的な開示が示唆するものよりも複雑であることを明らかにしています。AI チャットボットは頻繁にサードパーティの検索エンジンや汎用ブラウザエージェントに依存しており、コンテンツをキャッシュすることが多く、robots.txt などの標準的なブロックメカニズムを AI 出力からデータを削除するために無効にしています。
3. 制御への示唆: 発見事項は、AI スクレイピングからオプトアウトしたいウェブサイト所有者が、robots.txt やサイトのオフライン化のみに頼ることはできないことを示唆しています。本論文は、複雑で多当事者のデータ供給チェーン全体で好みを信号し、それを執行するための新しいメカニズムの必要性を強調しています。

著者は、彼らのアプローチがスクレイパーの特定を可能にするものの、現在の AI ウェブスクレイピングの状況は依然として不透明であり、従来のアクセス制御措置に対して抵抗的であると結論付けています。