技術的要約：誤情報の方が「オープン」なのか？ ウェブにおける robots.txt によるゲートキーピングに関する研究

問題提起

大規模言語モデル（LLM）は、学習コーパスを更新するためにウェブクローリングに依存することが増えており、この慣習はデータの質や誤情報の取り込みに関する懸念を強めている。Robots Exclusion Protocol（REP）は、ウェブサイト所有者が自動化されたエージェントに対してアクセス設定を伝えるための自発的なメカニズムとして機能しているが、異なるカテゴリーのコンテンツプロバイダー（具体的には、信頼できるニュースメディアと誤情報サイト）が、AIクローラーの管理にどのように robots.txt を活用しているかは不明なままである。本研究が扱う核心的な問題は、これら2つのグループの間でアクセス制御の設定方法に格差が存在し、その結果、信頼できるコンテンツよりも誤情報コンテンツの方がAIの学習データとしてアクセスしやすいという非対称性が生じているのではないか、という点である。

メソドロジー

本研究では、robots.txt の構成および能動的なブロック行動に関する、長期的かつ多角的な分析を採用している。

• データセットの構築: 著者らは、Media Bias/Fact Check (MBFC) の分類に基づき、4,079のウェブサイトからなるデータセットを作成した。これには、「高/非常に高い」の事実報道能力を持つとされる3,369の「信頼できる」ニュースサイトと、「低/非常に低い」の事実報道能力（疑問のある情報源または陰謀論・疑似科学としてラベル付け）を持つとされる710の「誤情報」サイトが含まれる。
• AIエージェントの特定: Dark Visitors、Cloudflare Radar、先行研究（Liu et al.）、および ai.robots.txt リポジトリの4つのソースから、63種類のユニークなAI関連ユーザーエージェントのリストを編纂した。
• データ収集:
  • 横断的クロール: 2025年5月に、7つの地理的に分散したAWSベンチマーク（ドイツ、スウェーデン、米国、ブラジル、アフリカ、アジア、オーストラリア）から、robots.txt ファイルとホームページのレスポンスを取得した。堅牢性を確保するため、最も寛容な有効な結果を保持した。
  • 長期的分析: 2023年9月から2025年5月までの6つの4ヶ月間隔の履歴スナップショットをInternet Archiveから取得し、除外ディレクティブの進化を追跡した。
  • 能動的ブロックの測定: robots.txt を超えたブロックメカニズムを検出するため、特定のAIクローラー（例：ClaudeBot、Anthropic-AI）をエミュレートするように User-Agent ヘッダーのみを変化させながら、ホームページへの逐次的なHTTPリクエストを実行した。これらのレスポンスをコントロール・クロールと比較することで、ユーザーエージェント文字列に基づく能動的なサービス拒否を特定した。
• 検証: 本研究では、機能していないサイトと、robots.txt ファイルが単に存在しないサイトを、HTTPステータスコードとリダイレクトを分析することで区別している。

主な貢献と結果

1. robots.txt 設定における格差

本研究は、信頼できるサイトと誤情報サイトがAIエージェントへのアクセスをどのように構成しているかについて、鮮明な対照を明らかにしている。

• 制限の普及率: 有効な robots.txt ファイルを持つサイトの中で、信頼できるニュースサイトの**60.0%が少なくとも1つのAIエージェントに対して DisallowAll ディレクティブを含んでいるのに対し、誤情報サイトではわずか9.1%**であった。
• 除外の範囲: 信頼できるサイトは平均15.5種類の異なるAIエージェントをブロックしているが、誤情報サイトがブロックしているAIエージェントは平均0.77種類であった。
• 特定のエージェント: 信頼できるサイトの50%以上が GPTBot を拒否しており、40〜50%が主要なエージェント（CCBot、ClaudeBot、Google-Extended など）を制限している。対照的に、誤情報サイトは特定のエージェントを禁止することは稀であり、単一のエージェントに対する DisallowAll 率はいずれも5%未満であった。
• 人気度要因: この格差はサイトの人気度（Trancoランク）を制御しても持続しており、これは差がリソースの可用性そのものではなく、コンテンツソースの性質に起因していることを示している。

2. 能動的ブロックメカニズム

本研究では、能動的ブロック（User-Agent ヘッダーに基づくHTTPレスポンスによるアクセスの拒否）を測定した。

• 採用状況: 両方のカテゴリーで能動的ブロックが利用されているが、宣言されたポリシーとの相関関係は異なる。
• 相関関係: 信頼できるサイトについては、能動的ブロックの挙動は robots.txt のディレクティブと密接に一致している。例えば、16.9%の信頼できるサイトは ClaudeBot と Anthropic-AI の両方を能動的にブロックしており、そのうちのほぼ半分が対応する robots.txt ルールも保持している。
• 誤情報サイトの挙動: 誤情報サイトは、robots.txt の宣言なしに能動的ブロックに比較的依存している（例：9.8%が両方のエージェントを能動的にブロックしているが、それらに対する robots.txt ルールを持つサイトは2%未満である）。

3. 長期的傾向（2023–2025）

6つのスナップショットの分析により、時間の経過とともに格差が拡大していることが明らかになった。

• 信頼できるサイト: 少なくとも1つのAIエージェントを拒否する信頼できるサイトの割合は、2023年9月の**23%から、2025年5月までにはほぼ60%**へと上昇した。拒否されるエージェントの中央値は、2025年初頭までに25を超えた。
• 誤情報サイト: これらのサイトは概して受動的であり、除外率は10%未満に留まり、ブロックされるエージェントの中央値は期間中ほぼゼロのまま推移した。
• トリガー: 信頼できるサイトにおける制限の増加は、AIによるデータ使用に関する公的な発表、特定のクローラーの挙動（例：指示を無視するPerplexityBot）、およびEU AI法のような法的進展と相関している。

重要性と主張

本論文は、その知見が、LLMが利用可能な学習データの構成を根本的に変えかねないコンテンツアクセシビリティの非対称性を浮き彫りにしていると主張している。

• データ環境の変化: 信頼できるニュースソースが robots.txt や能動的ブロックを通じてAIクローリングから体系的にオプトアウトしていく一方で、誤情報サイトが寛容なままであることにより、AIの学習に利用可能なデータにおける低品質または虚偽の情報のリレーション（割合）が増加する可能性がある。
• 自己強化ループ: 著者らは、寛容な誤情報サイト（これらの一部はAI生成である可能性もある）が継続的にスクレイピングされ、再配布され、将来の学習コーパスに再投入されることで、誤情報の拡散力と認識された正当性が増幅されるリスクがあると示唆している。
• 倫理的および透明性の影響: 本研究は、ウェブの透明性とデータ倫理のためのガバナンスツールとしての robots.txt の重要な役割を強調している。これは、現在のプロトコルの自発的な性質が、コンテンツの信頼性と「オープンさ」が逆相関の関係にあるという、不平等な競争環境を生み出していることを示唆している。

著者らは、AIクローラーの実際の挙動を検証しているわけではなく（設定された制限のみを検証している）、特定の除外ポリシーと特定のプロプライエタリなLLM学習データセットの最終的な構成との間の直接的な因果関係を確立することはできないとして、主張に対して慎重な姿勢を保っている。しかし、観察されたアクセス制御メカニズムの傾向は、進化するAIのデータランドスケープを示す重要な指標であると主張している。