💬 NLP

IterResearch: Rethinking Long-Horizon Agents with Interaction Scaling

IterResearchは、Interaction ScalingとMDPに着想を得たワークスペース再構築に基づく反復的なディープリサーチ・パラダイムを導入しており、これにより既存のエージェントにおけるコンテキストの制限を克服し、学習済みモデルとしても、またフロンティア・システムに対するプロンプティング戦略としても、長期的なタスクにおいて大幅な性能向上を実現します。

原著者： Guoxin Chen, Zile Qiao, Xuanzhong Chen, Donglei Yu, Haotian Xu, Wayne Xin Zhao, Ruihua Song, Wenbiao Yin, Huifeng Yin, Liwen Zhang, Kuan Li, Minpeng Liao, Yong Jiang, Pengjun Xie, Fei Huang, Jingren Z

公開日 2026-02-03

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Guoxin Chen, Zile Qiao, Xuanzhong Chen, Donglei Yu, Haotian Xu, Wayne Xin Zhao, Ruihua Song, Wenbiao Yin, Huifeng Yin, Liwen Zhang, Kuan Li, Minpeng Liao, Yong Jiang, Pengjun Xie, Fei Huang, Jingren Zhou

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、IterResearch の論文を、分かりやすい言葉と独創的な比喩を用いて解説したものです。

大きな問題：「エンドレス・スクロール」の罠

想像してみてください。あなたは、インターネットの奥深くに隠された特定の事実を見つけ出すという、非常に難しいミステリーを解こうとしています。

現在のほとんどのAIエージェントは、**「ページをめくらずに」**本を読もうとする人のように動いています。彼らはページ1を読み、次にページ2を読み、次にページ3を読みます。しかし、古いページを閉じて新しく始める代わりに、同じ巨大な紙の束の底に新しいページをどんどん追加し続けてしまいます。

結果： 50ページに達したとき、その束はあまりに高く積み上がり、人は頂上を見ることができなくなります。彼らは古いテキストによって「窒息」してしまうのです。
ノイズ： もし彼らがページ5で間違った事実を読んでしまったら、その間違った事実はページ50に到達してもずっとスタックの中に残り続け、彼らを混乱させ続けます。

論文ではこれを**「モノコンテクスト・パラダイム（単一文脈パラダイム）」**と呼んでいます。これは、一歩進むごとにどんどん重くなっていく重いバックパックを引きずりながら、マラソンをしているようなものです。やがて、あなたは倒れてしまいます。

解決策：「スマート・ノートブック」（IterResearch）

著者らは、AIの新しい思考法である IterResearch を導入しました。巨大な紙の束を引きずる代わりに、AIは新しいことを学ぶたびに書き換えられる**「スマート・ノートブック」**を使用します。

その仕組みは、以下のステップで行われます。

「リセット」ボタン：
あなたが探偵だと想像してください。あなたは手がかりを集めます。これまで触れたすべての紙切れをすべて持ち続ける代わりに、あなたは一度座り、これまでに知っていることを要約して清潔なノートに書き込み、それから散らかった紙切れをすべて捨てます。
- 論文の用語： 反復的なワークスペース再構築（Iterative Workspace Reconstruction）。
- 比喩： AIはデスクを片付け、不可欠な「事件ファイル（レポート）」だけを残し、次の調査ラウンドを新鮮でクリーンな状態から開始します。これにより、大量の古いテキストによる「窒息」を防ぎます。
「進化する」レポート：
AIは単に事実を記憶するだけでなく、生きているレポートを書き上げます。新しい情報を見つけるたびに、このレポートを更新し、ゴミをフィルタリングして、黄金（重要な情報）だけを残します。
- 論文の用語： 進化するレポート・メモリ（Evolving Report Memory）。
- 比喩： それは、AIがリアルタイムで編集するWikipediaのページのようなものです。古くなった情報、間違った情報、あるいは無関係な情報は削除され、新しく正しい情報が追加されます。「メモリ」は、調査がどれほど長く続いても、小さくクリーンなまま保たれます。
「効率性」のコーチ：
AIは、いかに効率的に検索するかを学ぶ必要があります。論文では、EAPO（効率重視のポリシー最適化）と呼ばれるトレーニング手法を紹介しています。
- 比喩： コーチが、パズルを5手で解いたあなたには金メダルを授与しますが、50手かかったあなたには、ただの薄暗い星しか与えない状況を想像してください。たとえ正解に辿り着いたとしても、コーチはあなたに、ただ運良く正解するまで掘り続けるのではなく、より速く、より賢くなることを教えます。

驚くべき結果

論文では、この新しい「スマート・ノートブック」方式を、従来の「エンドレス・スクロール」方式と比較テストしました。その結果は以下の通りです。

競合を圧倒： 新しいAI（IterResearch）は、6つの異なる難解なテストにおいて、他のどのオープンソースAIエージェントよりも有意に高いスコアを記録しました。GoogleやOpenAIなどが提供する最も高価な独自のシステムとの差を縮めました。
「超ロング」マラソン： 最も衝撃的な結果は、**インタラクション・スケーリング（相互作用のスケーリング）**でした。
- 比喩： 古いエージェントは、バックパックが重くなりすぎるため、通常20歩か30歩ほどで諦めるか混乱してしまいます。しかし、IterResearchは、汗一つかくことなく2,048ステップまで走り続けることができました。
- 結果： ステップ数を増やした（最大2,048ステップまで）とき、そのパフォーマンスは、ひどい3.5%から驚異的な42.5%へと跳ね上がりました。これは、問題が「AIがタスクを解くには頭が悪すぎる」ことではなく、古い手法ではAIが十分に長く調べ物を行えるようにできなかったことが原因であることを証明しました。
普遍的なトリック： 著者らは、この手法を使うためにAIを再学習させる必要さえなく、この方法が使えることを発見しました。もし「スマート・ノート・ブック」の指示（プロンプト）を別の強力なAIに与えれば、そのAIは即座に長いタスクにおいて非常に優れた能力を発揮します。それは、標準的な懐中電灯に、何マイル先も見通せる新しいレンズを取り付けるようなものです。

まとめ

IterResearch は、AIが深いリサーチを行うための新しい方法です。見つけた情報をすべて溜め込む（それが最終的にAIを窒息させる）代わりに、定期的に知っていることを要約し、ノイズを捨て、新鮮な状態で再開するのです。

これにより、AIは以下のことが可能になります：

より長い期間（最大2,048ステップ）クリアに思考する。
より効率的に答えを見つける。
現在利用可能なほぼすべてのオープンソースエージェントよりも優れた働きをする。

これは、AIを「紙の山に溺れている人」から、「完璧に整理され、常に更新される事件ファイルを携えた探偵」へと変貌させるのです。

技術要約: IterResearch

問題提起

ディープリサーチ・エージェントの最近の進展は、外部ソースに対する動的な推論を通じて、自律的な知識構築を行う可能性を示している。しかし、既存のアプローチは主にモノコンテクスト（単一文脈）パラダイムに依存しており、そこでは取得されたすべての情報と中間的な推論ステップが、単一の継続的に拡大するコンテキストウィンドウに付加される。著者らは、このパラダイムにおける長期間のタスク（long-horizon tasks）に対する2つの決定的な失敗モードを特定している：

コンテクストの窒息 (Context Suffocation): コンテキストウィンドウが過去の相互作用で満たされるにつれ、能動的な推論に利用可能なスペースが縮小し、結果として不十分な結論や浅薄な結論へと劣化する制約されたレスポンスを強いる。
ノイズの汚染 (Noise Contamination): ウェブ検索や初期の探索エラーによる無関係な情報がコンテキストに恒久的に埋め込まれ、推論プロセス全体を通じて信号の質を希釈させる連鎖的な干渉を引き起こす。

これらの制限により、既存のエージェントは探索の深さが増すにつれて、持続的な推論能力を維持することが困難となっている。

メソドロジー

本論文では、インタラクション・スケーリング (Interaction Scaling) の観点から長期間のリサーチを再定義する、新しい反復的ディープリサーチ・パラダイムである IterResearch を提案する。このメソドロジーは、以下の2つのコアコンポーネントで構成されている：

1. 反復的ディープリサーチ・パラダイム (MDPに着想を得たアーキテクチャ)

線形なコンテクスト蓄積の代わりに、IterResearchは $\langle S, D, E, T, R \rangle$ というタプルによって定義されるマルコフ決定過程 (MDP) フォーマットを採用している。

状態空間 ( $S$ ): 各状態 $s_t$ は、不可欠な要素のみを含む戦略的に再構築されたワークスペースである。これには、不変の問い $q$ 、進化するレポート $M_t$ （検証された知見の圧縮メモリとして機能）、および前ステップからの即時的なコンテクストが含まれる。
決定空間 ( $D$ ): 方策 $\pi$ は、内部思考 ( $Think_t$ )、更新されたレポート ( $M_{t+1}$ )、および外部アクション ( $a_t$ ) からなる複合的な決定 $d_t$ を生成する。
遷移関数 ( $T$ ): 決定的なのは、遷移関数が履歴を付加するのではなく、ワークスペースを再構築することである。履歴の軌跡は意図的に破棄され、合成された知識のみが更新されたレポートとして保持される。これにより、ワークスペースのサイズは相互作用のラウンド数に関わらず一定 ( $O(1)$ ) に保たれ、理論的には無制限の探索が可能となる。

2. 効率性を考慮した方策最適化 (Efficiency-Aware Policy Optimization: EAPO)

この反復的パラダイムを効果的に訓練するために、著者らは2つの課題に対処するEAPOを提案している：

幾何学的報酬割引 (Geometric Reward Discounting): すべての成功した軌跡が等しく価値を持つわけではないことを認識し、著者らは標準的な幾何学的割引 ( $r_t = \gamma^{T-t} \cdot R_T$ ) を適応させている。これにより、暗黙的な効率性の圧力が生まれ、エージェントが徹底的な探索ではなく、簡潔で集中した探索を通じて正しい結論に到達することを促す。
適応的ダウンサンプリング (Adaptive Downsampling): 反復的パラダイムは軌跡を複数の独立した訓練サンプル（1ラウンドにつき1つ）に分解するため、質問によってサンプル数は変動する。著者らは、適応的ダウンサンプリングを採用することで、データの99%以上を保持しながら、訓練バッチをデータ並列サイズに適合させ、安定した分散訓練を実現している。

主な貢献

新しいパラダイム: 進化するレポートメモリを維持し、戦略的なワークスペース再構築を行うことで、コンテクストの窒息とノイズの汚染を排除するIterResearchを提案した。
訓練戦略: 効率性のための幾何学的報酬割引と、可変長の軌跡に対する安定した訓練のための適応的ダウンサンプリングを組み合わせたEAPOを開発した。
実証的検証: IterResearchが既存のオープンソース・エージェントを大幅に上回り、最先端のプロプライエタリ・システムとの差を縮めることを示す広範な実験を行った。

実験結果

著者らは、6つの困難なベンチマーク（Humanity's Last Exam (HLE), BrowseComp, BrowseComp-zh, GAIA, Xbench-DeepSearch, SEAL-0）にわたってIterResearch（Qwen3-30B-A3Bベース）を評価した。

性能向上: IterResearchは、6つのベンチマークにおいて既存のオープンソース・エージェントに対し、平均 +14.5 パーセントポイント (pp) の向上を達成した。すべてのオープンソース・ベースラインを凌駕し、プロプライエタリなシステム（例：HLEおよびBrowseComp-zhにおけるOpenAIのDeepResearchを上回る）と比較しても競争力のある、あるいは優れた性能を示した。
インタラクション・スケーリング: このパラダイマは、40Kのコンテキスト長で 2048回の相互作用 まで拡張できるという、前例のないスケーリング能力を示した。最大相互作用制限を2から2048に増やすにつれて、性能は 3.5%から42.5% へと劇的に向上した。これは、コンテキスト・オーバーフローのためにモノコンテクスト的手法では構造的に不可能な成果である。
クロス・パラダイム転移: IterResearchによって生成された軌跡は、訓練データとして使用された場合、モノコンテクスト・エージェントを大幅に強化することが判明した。これは、このパラダイムが異なるアーキテクチャ間でも転移可能な優れた探索行動を誘発することを示唆している。
プロンプティング戦略: 訓練なしで、IterResearchのプロンプティング構造を最先端モデル（例：o3, DeepSeek-V3.1）に適用したところ、標準的なReActプロンプティングと比較して、特に長期間のタスクにおいて大幅な改善（BrowseCompで最大 +19.2pp）が見られた。

意義と主張

本論文は、IterResearchを、訓練されたエージェントとしても、またモデルに依存しないプロンプティング・パラダイムとしても機能する、長期間の推論のための多用途なソリューションとして位置づけている。著者らは3つの根本的な洞察を主張している：

インタラクション・スケーリング: 反復的パラダイムは極限のインタラクション・スケーリングを解き放つ。これは、長期間のタスクにおける困難さの認識が、固有の推論限界ではなく、不十分な探索能力に起因している可能性を示唆している。
優れた探索行動: このパラダイムは、異なるアーキテクチャのパラダイムを使用するエージェントに対しても、転移可能な訓練シグナルを生み出す高品質な探索行動を誘発する。
モデルに依存しない有効性: ワークスペース再構築を伴う反復的構造は、長期間の推論のための根本的な認知上の優位性を提供し、特定のファインチューニングを必要とせずに、多様なモデル・アーキテクチャにわたって性能を向上させる。

本研究は、線形な蓄積ではなく、戦略的な合成を伴う反復こそが、長期間の推論の課題を克服するために不可欠であると結論付けている。