インターネットという広大で絶えず変化する風景の中で、たった一つの特定の事実を見つけ出すことは、常に組み替えられ続けている干し草の山の中から一本の針を探すようなものです。人工知能にとって、このタスクは中心的な課題となっています。エージェントとして知られる現代のコンピュータプログラムは、デジタル研究者のように振る舞うよう設計されています。彼らは質問を読み、ウェブを検索し、リンクをクリックし、情報を繋ぎ合わせて答えを形成することができます。これらのタスクが単純なときは、プログラムはうまく機能します。しかし、検索に多くのステップを要し、遠く離れた点と点を結びつけるために情報の層を深く掘り下げなければならないとき、プログラムはしばしば苦戦します。核心的な困難は、コンピュータがどのように自身の失敗から学ぶかという点にあります。もしプログラムが数時間検索してようやく正解に辿り着いたとしても、そのプログラムは、どの特定の検索やどの特定のウェブページが成功の鍵となったのかを知りません。それは、期末試験で満点を取ったものの、どの学習セッションやどの教科書の章が実際に最も役に立ったのかを説明できない学生のようなものです。何がうまくいったのかを知らなければ、プログラムは次回のための戦略を改善することができません。
ある研究チームは、デジタルエージェントのウェブの見方と、その旅路からの学び方を変えることで、この問題に取り組みました。彼らは、コンピュータが通常ウェブページを処理する方法、つまり視覚的なレイアウトを剥ぎ取り、すべてをプレーンテキストに削減してしまう方法が、重要な手がかりを失わせている原因であることに気づきました。ウェブページが単なる単語のリストに変換されると、構造や表、そして答えを保持していることが多い視覚的な文脈が消えてしまいます。これを修正するために、研究者たちはエージェントに対し、画面の写真を撮るように、ウェブページを完全な視覚的スナップショットとして扱うよう教えました。これにより、レイアウトと視覚的な手がかりが保持され、異なる検索の間でも情報はより安定し、認識しやすくなります。
このより明確な視点を基盤として、チームは「情報認識型クレジット割り当て（information-aware credit assignment）」と呼ぶ新しい学習手法を導入しました。これは、長い検索の最後まで待ってから成功か失敗かの単一の成績を与えるのではなく、道中のあらゆるステップに注目する方法です。この手法は、シンプルな問いを投げかけます。「この特定のアクションは、有用な情報をもたらしたか？」と。何千もの異なる検索試行を比較することで、システムは、エージェントが正解を見つけた際に、どの特定のウェブページや検索結果が一貫して存在していたかを特定できます。そして、それらの有用な情報の断片が見つかった特定の瞬間に「報酬」を与えます。これにより、漠然とした、あるいは全か無かの教訓が、何が機能し何が機能しなかったのかを示す詳細な地図へと変わるのです。
このアプローチの結果は、深い多段階の推論を必要とする一連の困難な情報探索チャレンジによってテストされました。研究者たちは、膨大な計算資源や独自のデータに依存する他の主要なプログラムと比較を行いました。モデルのサイズがより小さいにもかかわらず、彼らのシステムは一貫して他のシステムを凌駕しました。複雑なブラウジングを含む困難なベンチマークにおいて、この新手法は25パーセントの成功率を達成し、これは次に優れたオープンソースシステムが達成した15パーセントを大幅に上回りました。一般的なAIアシスタントの能力を測定するために設計された別のテストでは、3倍の大きさを持つシステムを上回り、7割近い精度に達しました。改善は単に正解を多く導き出したことだけではなく、効率性についても同様でした。視覚的なスナップショットがページの構造を保持していたため、システムはコンテンツを理解するために処理する単語数を大幅に減らすことができ、果てしない生のテキストの塊を読み通そうとする際に生じる混乱を回避できました。
研究者たちはまた、エージェントが収集した特定の情報の断片を見ることで、なぜこの手法がこれほど上手く機能するのかを調査しました。彼らは、システムが最も価値のある手がかりを特定することにおいて非常に優れていることを発見しました。システムが有用であるとフラグを立てたトップ評価の情報のみを取り出した場合、エージェントはランダムな情報や最も有用性の低い情報を使用した場合よりも、はるかに高い頻度で質問に正しく答えることができました。これは検索にどれほどの時間がかかっても同様であり、システムがノイズの中からシグナルを認識することを学んでいることを証明しました。この研究は、人工知能をウェブの視覚的な現実に根ざさせ、適切なタイミングで適切な情報の価値を判断するように教えることで、単に速いだけでなく、知識を追求する上でより賢く、より信頼できるエージェントを生み出すことができることを示唆しています。
技術要約：視覚的にグラウンディングされた長期間の情報探索エージェントのための情報認識型クレジット割り当て
問題定義
長期間の情報探索エージェントにおける強化学習（RL）は、主に2つのボトルネックに直面している：スパースなクレジット割り当て（疎な報酬割当）と不安定な情報表現である。
- スパースなクレジット割り当て: マルチステップのウェブブラウジングを必要とするタスクでは、最終的な回答が正しいかどうかのみが報酬として示される。これは、どの特定の検索やフェッチ（取得）アクションが、成功に必要な重要な情報を獲得したのかを特定できない。そのため、エージェントは有用な証拠の獲得と不毛な探索を区別できず、中間的なリトリーバル（検索・取得）の決定を最適化することが困難になる。
- 不安定な表現: 既存のエージェントは通常、ウェブページを処理するためにテキストベースのパース・パイプライン（線形化、要約、またはチャンキング）に依存している。これらの手法は、レイアウト構造、視覚的キュー、および表（テーブル）を破棄してしまうことが多い。さらに、コンテキスト予算やツール・パイプラインの違いにより、同じウェブページであっても、異なる軌跡（エージェントの実行過程）間でパース、切り詰め、または要約が異なってしまうことがあり、獲得された証拠が識別不能かつ比較不能なものとなっている。
手法
著者らは、長期間のウェブエージェント学習を証拠帰属問題として扱うフレームワークである**情報認識型クレジット割り当て（Information-Aware Credit Assignment: ICA）**を提案する。この手法は、以下の3つのコアコンポーネントで構成される。
1. 視覚的スナップショットに基づく証拠ユニット
線形化されたテキストの代わりに、本フレームワークは取得されたウェブページをレンダリングされたスナップショットとして表現する。これらのスナップショットは、レイアウト、表、およびマルチモーダルなキューを含む、完全な可視コンテンツを保持する。
- 安定性: スナップショットは、安定したコンテンツレベルの観測値として機能し、異なる軌跡間での同一の情報源の整合性のある識別と比較を可能にする。
- 効率性: レイアウトを保持することで、スナップショットはトークン使用量を大幅に削減する（パースされたテキストよりも27%〜65%少ない）。また、長期間のタスクで一般的なコンテキスト・オーバーフローの問題を軽減する。
2. 情報認識型クレジット割り当て (ICA)
ICAは、導入された情報の有用性に基づいて中間ステップに密な報酬を割り当てる、事後的な報酬伝播メソッドである。
- 原子的証拠の関連付け: システムは「原子的証拠ユニット」（例：特定の検索結果や完全なウェブページのスナップショット）を定義する。そして、ユニットを獲得した軌跡と獲得しなかった軌跡の成功率を比較することで、各ユニットの関連性に基づく有用性スコア（Δe）を算出する。
- Pe+: 証拠 e が獲得された場合の成功確率。
- Pe−: 証拠 e が獲得されなかった場合の成功確率。
- Δe=Pe+−Pe−。
- ターンレベルの報酬伝播:
- ツール・ターン: 検索またはフェッチのターンが高い有用性を持つ証拠ユニット（獲得されたユニットの上位割合にランク付けされたもの）を導入した場合、正のバイナリ報酬を受け取る。
- 回答ターン: 最終的な回答ターンは、正解性に基づいた非対称なシェイピング報酬を受け取る。これは、エージェントが徹底的に探索を行った場合には失敗によるペナルティを軽減する（予算を考慮したシェイピング）。
- アドバンテージ計算: 報酬は正規化され、ターンレベルのアドバンテージとして割り当てられる。これにより、検索の質に関する監督と最終的な回答の結果を分離する。
3. ICA-GSPO 最適化
この手法は、ICAを**グループ・シーケンス・ポリシー最適化（Group Sequence Policy Optimization: GSPO）**と統合する。全軌跡にわたって重要度比を計算する標準的なGSPOとは異なり、ICA-GSPOは各ターンに対して独立して重要度比を計算する。この設計は、エージェントのマルチターン構造に適合しており、単一のトークンによる大規模なポリシーの変化が軌跡レベルの推定を汚染することを防ぐ。最終的な目的関数は、ツール・ターンと回答ターンのサロゲート損失を固定の重み係数で集約する。
主な貢献
- 証拠帰属の定式化: 本論文は、長期間のウェブエージェント学習を証拠帰属問題として再定義し、単なる最終的な結果ではなく、それが導入する情報の質に基づいてリトリーバル・アクションを最適化する。
- 安定した視覚的観測: 安定したコンテンツレベルの観測モダリティとして、レンダリングされたウェブページのスナップショットを導入し、取得された情報の一貫したクロス・トレージェクト比較を可能にした。
- ICAメカニズム: ツールによって獲得された情報の有用性を推定し、高い有用性を持つ証拠を導入した特定の検索およびフェッチのターンに密な報酬を伝播させる、事後的なクレジット割り当て手法を提案した。
- 性能向上: ICAとGSPOの統合は、複数のベンチマークにおいて一貫した改善を示し、8Bモデルが15Bパラメータ未満のほとんどのオープンソースエージェントを上回る性能を発揮した。
実験結果
著者らは、4つの長期間情報探索ベンチマーク（BrowseComp、GAIA、Xbench-DS、Seal-0）を用いて、提案手法を評価した。
- 性能: 提案された Qwen3-VL-8B-ICA モデルは、BrowseCompで 25.0、GAIAで 69.9、Xbench-DSで 71.0、Seal-0で 25.2 のPass@1精度を達成した。これは、テキストベースのベースライン（例：WebExplorer-8BはBrowseCompで15.7）を大幅に上回り、より大規模なプロプライエタリ・システムとも匹敵する。
- アブレーション研究:
- スナップショット vs テキスト: 教師あり微調整（SFT）において、スナップショットを使用することは、レイアウトに敏感なベンチマーク（GAIA、Xbench-DS）において、テキスト・パースよりも一貫した改善をもたらした。
- ICA vs GSPO: ICAはバニラのGSPOを一貫して上回り、特に長期間かつノイズの多いタスクにおいて顕著な利点が見られた。
- 証拠の十分性: ICAによって選択された証拠（有用性スコアに基づく上位 p%）は、ランダムまたは低スコアのベースラインと比較して、有意に高い回答精度（71.0%）を達成した。これは、有用な証拠を特定する手法の能力を検証している。
- トークン効率: スナップショットベースのアプローチは、すべてのデータセットにおいてコンテキスト・オーバーフロー率を0.0%に減少させた。一方、テキストベースのベースラインは、BrowseCompにおいて最大36.0%のオーバーフロー率に苦しんだ。
意義と限界
意義:
本論文は、視覚的に構造化された外部観測に強化学習を接地させ、獲得された証拠の粒度でクレジット割り当てを行うことが、長期間のウェブエージェントを訓練するための重要な一歩であると主張している。効果的な最適化には、単に正しい回答に報酬を与えるだけでなく、有用な情報を導入した特定の検索アクションに対して明示的にクレジットを割り当てることが必要であることを示している。
限界:
著者らは、主に2つの制限事項を認めている。
- 視覚的冗長性: 現在のフレームワークは、Vision Transformerに直接入力される圧縮されていない視覚表現に依存しており、これがトークンの冗長性と、特に視覚的に高密度な、あるいは極めて長いウェブページにおける計算オーバーヘッドを引き起こす。
- コンテキスト管理: 本システムには、無制限の探索に対処するための高度なコンテキスト管理戦略（動的なコンテキスト削減やメモリベースの移動窓など）が欠けており、非常に深い検索タスクにおいてコンテキスト・オーバーフローや初期に取得された証拠の喪失を招く可能性がある。
著者らは、これらの効率性のボトルネックに対処するために、今後の研究は視覚トークンの圧縮と適応的なメモリ管理に焦点を当てるべきであると示唆している。
毎週最高の AI 論文をお届け。
スタンフォード、ケンブリッジ、フランス科学アカデミーの研究者に信頼されています。
受信トレイを確認して登録を完了してください。
問題が発生しました。もう一度お試しください。
スパムなし、いつでも解除可能。
週刊ダイジェスト — 最新の研究をわかりやすく。登録