🤖 machine learning

HyperEyes: Dual-Grained Efficiency-Aware Reinforcement Learning for Parallel Multimodal Search Agents

HyperEyes は、視覚的グラウンディングと検索を並行動作として融合させる二重粒度の効率性認識型強化学習フレームワークを通じて訓練された並列マルチモーダル検索エージェントであり、既存の逐次エージェントと比較して優れた精度を達成するとともに推論コストを大幅に削減します。

原著者： Guankai Li, Jiabin Chen, Yi Xu, Xichen Zhang, Yuan Lu

公開日 2026-05-11

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Guankai Li, Jiabin Chen, Yi Xu, Xichen Zhang, Yuan Lu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ある写真に写った6人の容疑者に関わる謎を解こうとする探偵になったと想像してください。

従来の方法（逐次検索）：
従来のAIエージェントは、非常に綿密だが遅い探偵のように動作します。彼らは写真を見て、最初の人物を選び、その人物の顔を切り取り、インターネットでその人物を検索し、結果を読み、次に2番目の人物へと移ります。このプロセスを一人ずつ繰り返します。

問題点： 写真に6人が写っている場合、探偵は図書館へ6回別々の旅をすることになります。6番目の人物にたどり着く頃には、最初の5回の旅でノートが情報で溢れかえり、集中することが難しくなります。これは、6皿のコース料理を作るために、1つの鍋のお湯を沸かし、それが終わるのを待ってから次の鍋を沸かすようなものです。時間がかかりすぎ、エネルギーの無駄遣いになります。

新しい方法（HyperEyes）：
この論文は、「より長くではなく、より広く検索せよ」という哲学に従う新しいAIエージェントHyperEyesを紹介しています。
HyperEyesは図書館を6回訪れる代わりに、写真全体を見て、6人の容疑者を同時に特定し、6つの検索リクエストを1回の旅で並行して送信します。これは、6人の異なる研究者を同時に図書館へ送り、全員が並行して作業し、1つの整理された報告書を持ち帰るようなものです。

HyperEyesのトレーニング方法（「学校」の比喩）

研究者たちはAIに単に速くなるよう指示したのではなく、2つの主要なフェーズを持つ特別なトレーニング学校を構築しました。

1. 「厳格な教師」フェーズ（データ合成）：
まず、練習問題の膨大なライブラリを作成しました。しかし、彼らが求めたのは単に「正しい」答えではなく、「最も速い」正しい答えでした。

彼らは**Progressive Rejection Sampling（段階的拒否サンプリング）**という技術を使用しました。教師が生徒にテストを与える様子を想像してください。生徒が問題を解くのに10分かかった場合、教師はその試行を破棄します。2分で解けた場合、教師はそれを保持します。彼らは、AIが最初から機敏になる方法を教えるために、最も速く効率的な解決策のみを保持しました。

2. 「二重粒度」コーチングフェーズ（強化学習）：
AIが基礎を習得した後、2段階の特別なコーチングシステムを適用しました。

マクロレベル（全体像）： 彼らはAIにTRACEと呼ばれる報酬システムを与えました。これは、「3ステップで謎を解けばゴールドスターをもらえるが、5ステップかかればペナルティを科す」と言うコーチのようなものです。重要なのは、コーチが時間経過とともに厳しくなる点です。AIが3ステップで解けるようになれば、コーチは基準を2ステップに引き上げます。これにより、AIは単に正確であるだけでなく、常に効率を高めることを強制されます。
ミクロレベル（細部）： 時折、AIは途中で失敗します。On-Policy Distillation (OPD) は、AIが失敗したときのみ介入する「ゴーストライター」のように機能します。ゴーストライター（より賢く大きなAI）は、生徒AIに正しい次の単語をささやき、すでに正しくできた部分に時間を浪費することなく、どこで間違えたかを正確に教えます。

新しいスコアカード（IMEB）

研究者たちは、従来のテストが正解かどうかのみを重視し、時間や「図書館への旅」（ツール呼び出し）の回数を無視していることに気づきました。
彼らは**IMEB（Image Multi-Entity Benchmark）**と呼ばれる新しいベンチマークを作成しました。

比喩： 競走を採点すると想像してください。従来のテストは、誰がゴールラインを最初に越えたかだけを見ていました。新しいテスト（IMEB）は、ゴールラインを越えた人物だけでなく、最も少ない燃料でゴールした人物も見ています。彼らは、正確さには報酬を与えるが、時間とエネルギーの浪費には厳しくペナルティを科すコスト認識スコアを導入しました。

結果

HyperEyesを既存の最高水準のAIエージェントと対比してテストした結果：

精度： 競合他社よりも正解を多く導き出しました（具体的には、最高のオープンソースの競合他社より9.9%優れていました）。
効率性： 劇的に高速でした。同じ問題を解くために必要な「図書館への旅」の回数が5.3倍少なくなりました。

まとめ

HyperEyesは、渋滞する片側1車線の道路から、多車線の高速道路へのアップグレードのようなものです。AIにすべての手がかりを一度に見るよう教え、不要な迂回を科すことで、研究者たちはAIをより賢くするだけでなく、はるかに効率的にし、複雑な視覚パズルを時間の一部で解決するエージェントを創り出しました。

技術的概要：HyperEyes

問題定義

既存のマルチモーダル検索エージェントは、主にターゲットエンティティを 1 つずつ処理する逐次パラダイムに依存している。多段推論には効果的であるが、このアプローチは、クエリが自然に独立した部分検索に分解される場合（例えば、単一の画像内の複数のエンティティを特定する場合など）、重大な相互作用の冗長性を引き起こす。従来のエージェントは、「切り取り後に検索」するパイプラインに悩まされており、初期の局所化エラーが下流の結果を汚染し、逐次性によりマルチエンティティクエリが冗長で反復的な相互作用ラウンドに強制される。さらに、現在のトレーニングパラダイムは主に最終回答の精度を最適化しており、冗長なものよりもコンパクトな並列トラジェクトリを好むためのインセンティブが欠如している。その結果、並列能力はしばしば力ずくの過剰検索に劣化し、精度を向上させることなく遅延とトークン消費を増大させる。

手法

著者は、「長く検索するのではなく、広く検索する」という原則に基づいて設計された並列マルチモーダル検索エージェント「HyperEyes」を提案する。このシステムは、視覚的グラウンディングと検索を単一の原子行動に融合させ、単一のターン内で複数のエンティティにわたる同時検索を可能にする。

1. 統合グラウンデッド検索（UGS）

HyperEyes は、視覚的グラウンディングを前提ステップから検索行動のパラメータへと再定義する。2 段階のプロセス（切り取り後に検索）の代わりに、エージェントは単一のターン内ですべてのターゲットエンティティのバウンディングボックスを同時に予測し、画像およびテキストの両方の並列検索クエリを配信する。これにより、エンティティの識別と下流の推論が分離される。

2. トレーニングパイプライン

トレーニングプロセスは 2 つの段階で構成される：

段階 1：並列適応データ合成とコールドスタート監督
- データ合成： 著者は、271,000 件のツール依存タスクのデータセットを編成し、その中には微細分類データセットのモザイク増強を通じて合成された 20,000 件の視覚的多エンティティクエリと、5,000 件のテキスト的多制約クエリが含まれる。
- 漸進的拒否サンプリング（PRS）： 高品質の教師あり微調整（SFT）トラジェクトリを生成するために、著者は PRS を採用する。このアルゴリズムは、増加するターン予算全体にわたってトラジェクトリをサンプリングし、各クエリに対して最短の成功トラジェクトリのみを厳格に保持する。これにより、冗長なツール呼び出しと反復的な再定式化がフィルタリングされ、30,000 件の効率志向のコールドスタートトラジェクトリが抽出される。
段階 2：二粒度効率認識強化学習（RL）
精度と効率の両方を最適化するために、著者は 2 レベルの RL フレームワークを導入する：
- マクロレベル（TRACE）： ツール使用参照適応コスト効率（TRACE） と呼ばれるトラジェクトリレベルの報酬メカニズムである。これは、現在のエポックで最もパフォーマンスの高いロールアウトに基づいてトレーニング中に単調に厳格化されるツール呼び出しラウンドの参照閾値（ $\hat{t}_c$ ）を利用する。これにより、真の多段検索を過度に制限することなく不要なツール呼び出しを抑制する暗黙のカリキュラムが作成される。報酬は、参照閾値を超えたり精度を満たさなかったりするトラジェクトリにペナルティを科し、効率的な範囲内にあるトラジェクトリに報酬を与える。
- ミクロレベル（OPD）： 失敗したロールアウトにおけるスパースな結果報酬のクレジット割り当て不足に対処するために、著者は**オンポリシー蒸留（OPD）**を適応させる。より強力な「教師」モデル（HyperEyes-235B）が、失敗したトラジェクトリに対してのみ「生徒」モデル（HyperEyes-30B）に密なトークンレベルの修正信号を提供する。これにより、生徒は教師の推論コストを継承することなく、有効な中間推論ステップから学習できる。

3. 評価ベンチマーク（IMEB）

既存のベンチマークは効率を無視して精度のみを評価していることを認識し、著者は**IMEB（Image Multi-Entity Benchmark）**を導入する。この人間が編成したデータセットは、複数のエンティティにわたる同時局所化と検索を必要とする 300 件のインスタンスで構成される。また、トークン消費とツール呼び出しラウンドにペナルティを科すことで推論の正しさと検索効率を同時に定量化する指標として、**コスト認識スコア（CAS）**を提案する。

主要な貢献

HyperEyes エージェント： 統合グラウンデッド検索行動空間で動作する並列マルチモーダル検索エージェントであり、複数のエンティティを同時にグラウンディングして検索することで高い効率を達成する。
二粒度 RL フレームワーク： マクロレベルの適応的効率制約（TRACE）とミクロレベルのトークンレベル蒸留（OPD）を組み合わせ、検索行動を最適化する新しいトレーニングアプローチ。
効率認識ベンチマーク（IMEB）： マルチエンティティ視覚シナリオにおいて、回答精度と検索効率を同時に評価する初のベンチマークであり、CAS 指標を伴う。
データ合成パイプライン： 漸進的拒否サンプリングを使用して並列適応トレーニングデータを生成し、ゼロ冗長性トラジェクトリを抽出する手法。

実験結果

HyperEyes は、Qwen3-VL バックボーン（30B および 235B）を使用して、6 つのマルチモーダル検索ベンチマーク（MMSearch、FVQA、LiveVQA、BCVL、MMSearch+、および IMEB）で評価された。

精度と効率： HyperEyes-30B（RL）は、最も強力な同等規模のオープンソースエージェント（VDR）を精度で 9.9% 上回り、平均してツール呼び出しラウンドを 5.3 倍削減している。
最先端のパフォーマンス： HyperEyes-235B（RL）は、プロプライエタリな Gemini-3.1-Pro のパフォーマンスに迫り、エージェントワークフロー設定において他のオープンソースおよび商用エージェント（例：Claude-Opus-4.6、Kimi-K2.5）を上回っている。
コスト認識スコア： CAS 指標の下では、HyperEyes-30B は、複雑な多段ベンチマークにおいて 2 番目に優れたオープンソース競合他社よりも4.3 倍高いスコアを達成し、マルチエンティティ IMEB ベンチマークでは7.6 倍高いスコアを達成している。
アブレーション研究： 実験により、厳格な品質フィルタリング（データ量を 75% 削減）が、生データ量よりも精度を大幅に向上させることが確認された。さらに、適応的 TRACE 報酬と OPD 用の効率整合型教師は、ツール呼び出しの冗長性を削減し、精度を向上させるために重要である。

意義と主張

本論文は、HyperEyes がオープンソース検索エージェントの新たな基準を確立し、マルチモーダル検索におけるエージェントの精度と運用効率は対立する目標ではなく相補的なものであることを実証していると主張する。「長く検索する」逐次的アプローチから「広く検索する」並列アプローチへ移行することで、従来の「切り取り後に検索」パイプラインに内在する冗長性とノイズの蓄積を排除する。著者は、この研究が、検証可能でソースにグラウンディングされた回答が不可欠な分野において、効率的でグラウンディングされたマルチモーダルアシスタントを構築するための再現可能な基盤を提供すると主張している。IMEB とトレーニングパイプラインの公開は、効率認識型マルチモーダルエージェントに関する研究への参入障壁を下げることを目指している。