BaRA: BFS-and-Reflection Web Data Collection Agent

問題提起
大規模言語モデル（LLM）ベースのウェブエージェントは、ウェブデータ収集における手動スクリプト作成の必要性を減少させてきました。しかし、これらのエージェントを実際のウェブサイトにデプロイすると、頻繁に脆弱性を示します。具体的には、関連するページを見落としたり、不完全なマルチモーダル出力を返したり、直接ダウンロード不可能なメディアURLを生成したりすることがよくあります。これらの失敗は「サイレント」なことが多く、明示的なエラーが発生することなく終了しながらも、必要なサイト範囲をカバーできなかったり、有効なアーティファクトを取得できなかったりします。既存のベンチマークは、ナビゲーションの成功と抽出の品質を混同していることが多く、エージェントがページを見つけることに失敗したのか、それとも見つけたページからのデータ抽出に失敗したのかを分離して特定することを困難にしています。本論文では、固定されたインタラクション・予算の下でのサイトレベルのデータ収集という、これまで強調されてこなかった特定の状況に対処します。ここでの目標は、限定された内部ページの集合をカバーし、プロベナンス（由来）を伴う検証可能でダウンロード可能なマルチモーダル・アーティファクトを返すことです。

手法：BaRAエージェント
著者らは、既存のブラウザ実行ランタイム（具体的には Browser-use 上に構築されたもの）の上で動作するように設計された制御レイヤーである、BFS-and-Reflection Agent (BaRA) を提案します。BaRAは、2つの一般的な失敗モード、すなわち「単一の深いブランチへの早期のコミットメント（による不十分なカバレッジ）」および「不完全な実行後の脆い失敗」に対処するように設計されています。このフレームワークは、以下の3つのコアコンポーネントで構成されています。

1. 有界幅優先探索（Bounded BFS）トラバーサル:
   エージェントが深く構造化されていないパスへと漂流することを防ぐため、BaRAは有界BFSコントローラーを採用しています。シードURLから開始し、エージェントはURLと深度のFIFOキューを維持します。エージェントは、以下の手順によってフロンティアを系統的に拡張します。

• 候補となるURLを正規化し、重複を削除する。
• サイト外のリンクや非コンテンツのエンドポイント（例：ログインページ）を除外する。
• DOM順序に従い、各ページにつき最大 $W$ 個のユニークな子リンクを保持する。
• 最大深度 $D$ および最大訪問ページ数 $P$ を強制する。
  これにより、予測可能なカバレッジが確保され、解釈可能な訪問記録が生成されます。

2. 履歴に基づく自己リフレクション（History-Based Self-Reflection）:
   ウェブ環境は（動的なDOM、ポップアップ、タイムアウトなどの理由により）脆弱であることを認識し、BaRAはリフレクション・ループを実装しています。試行が失敗した場合、または出力が不完全な場合（例：空のテキストや欠落したメディアURL）、システムは終了しません。代わりに、リフレクション・モジュールが実行履歴と部分的な出力を分析し、失敗の種類と箇所を診断します。その後、遭遇したウェブサイトの挙動により適合するように（例：スクロールの継続やメディアの再抽出を指示するなど）、次の試行のための指示を（リトライ制限 $A$ まで）書き換えます。

3. 制約付きページ単位の抽出と検証:
   ページが発見されると、BaRAは厳格な抽出プロトコルを適用します。エージェントはターゲットURLに留まり、遅延読み込み（lazy-loading）されるコンテンツを明らかにするために有界のスクロールを実行し、生のテキストとともに、画像およびビデオのURLを厳格なフォーマットで出力しなければなりません。決定的なことに、パイプラインには、抽出されたメディアURLが最終的なアーティファクトとして返される前に、ダウンロード可能であるかを確認するダウンロード検証ステップが含まれています。

主な貢献
本論文は、3つの主要な貢献を概説しています。

1. 堅牢性志向のフレームワーク: 固定されたインタラクション・予算の下での有界BFSトラバーサルと履歴ベースの自己リフレクションを統合し、サイトレベルのカバレッジとアーティファクトの妥当性を向上させるために特別に設計された収集フレームワーク。
2. 制約付き抽出プロトコル: 返されるマルチモーダル・アーティファクトがマシン処理可能であり、ダウンロード可能であることを保証する、ページ単位の抽出および検証プロトコル。
3. 新しい評価セットアップ: リンク発見（ステップ1）とダウンロード可能な抽出（ステップ2–3）を明示的に分離した評価手法。これにより、合成環境および実世界のウェブ設定の両方において、失敗がナビゲーションのエラーによるものか、あるいは抽出・検証のエラーによるものかを詳細に分析することが可能になります。

実験結果
著者らは、50の合成ウェブサイト（グラウンドトゥルースのリファレンスセットあり）と、乱雑または動的なレイアウトを特徴とする3つの公開実世界ウェブサイト（berkeley.edu, imgur.com, loc.gov）でBaRAを評価しました。ベースラインには、Pure LLM（非対話型）、SeeAct-Vision（ビジョン対応）、および Browser-use（標準的なブラウジングエージェント）が含まれます。

• リンク発見: BaRAは、与えられた予算の下で内部ページのターゲットセットを確実に列挙し、すべてのベンチマークにおいて完璧な精度（1.0000）を達成しました。対照的に、Browser-use は実世界のウェブサイトにおいて大幅に低下し（例：berkeley.edu で0.6250）、Pure LLM は全体的にパフォーマンスが悪く、存在しない階層をハルシネーション（幻覚）することがよくありました。
• マルチモーダル抽出: BaRAは、テキスト、画像、ビデオの抽出において一貫してベースラインを上回りました。最も顕著な改善は見られたのは、ダウンロード可能な画像およびビデオのリカバリにおいてでした。例えば、合成ベンチマークにおいて、BaRAはBrowser-useに対して画像精度で+0.2200、ビデオ精度で+0.2600向上しました。すべてのベースラインが有効なメディアの取得に失敗した非常に動的なサイトであるimgur.comにおいて、BaRAは画像およびビデオ抽出で非ゼロのスコアを達成した唯一の手法でした。
• 定性的分析: ケーススタディにより、他のエージェントは正しいページに到達している可能性はあるものの、ハルシネーションを起こしたURLを返したり、遅延読み込みされるコンテンツを見落としたりすることが多いことが明らかになりました。BaSAの構造化されたトラバーサルとリカバリ・ロジックの組み合わせにより、実際の内部ページURLと、サイトジェネレーターによって使用されている特定のメディアソースを忠実に復元することができました。

意義と主張
本論文は、カバレッジ指向の制御（有界BFSによる）が、強力なグラウンディング（接地）そのものよりも、実世界のウェブサイトにおける堅牢なリンク発見にとって重要であることを示していると主張しています。さらに、履歴ベースの自己リフレクションとダウンロード検証が、サイトのカバレッジを信頼できる有用な出力へと変換するために必要であると論じています。著者らは、正しいページに到達することは問題の「半分」に過ぎないことを強調しています。システムはまた、ページのコンテキストを保持し、遅延読み込みされるコンテンツを露出し、実際にダウンロード可能なリソースを返さなければなりません。

本研究は、BaRAを、ウェブデータ収集における明示的なカバレッジ制御とアーティファクト検証の必要性を浮き彫りにする研究プロトタイプとして位置付けています。著者らは、フレームワークが依然としてLLMの挙動やブラウザの安定性に依存していることを謙虚に認め、今後の課題として、より豊かなインタラクション（タブ、モーダル）やストリーミングメディアへの対応を挙げています。また、ツールの誤用を警告し、公開ページに限定し、サイトのポリシーに従って使用することを推奨しています。