MARS: Co-evolving Dual-System Deep Research via Multi-Agent Reinforcement Learning
本論文は、大規模推論モデルのトークン効率の低さと知識の限界を克服するために、二重の認知システム（速い直感と遅い熟考）を共進化させる新しいマルチエージェント強化学習フレームワークであるMARSを導入し、教師あり微調整なしで知識集約型タスクにおいて最先端の性能を達成するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
大きな問題：「考えすぎ」と「情報の鮮度切れ」
想像してみてください。あなたには、難しいパズルを解くのが得意な、非常に賢いアシスタント（AI）がいます。しかし、このアシスタントには2つの大きな欠点があります。
- 考えすぎ（Over-Thinker）： あなたが簡単なニュース記事を読んだり、ウェブページを要約したりするよう頼むと、彼らは時々「深い思考モード」に入ってしまいます。本来は深い分析など必要ないことに対してまで、あらゆる単語を分析し、時間とエネルギーを浪費してしまうのです。それはまるで、ナッツを割るためにスレッジハンマー（大槌）を使うようなものです。
- 情報の鮮度切れ（Out-of-Date Library）： このアシスタントの知識は、学習した日止まっています。もし昨日起きたことについて尋ねても、彼らは全く分かりません。膨大な量の新しい情報に直面すると、混乱して自力で調べることができないのです。
解決策：MARS（二つの脳のチーム）
研究者たちは、MARSと呼ばれる新しいシステムを作り上げました。一つの脳ですべてをやろうとするのではなく、人間の脳の仕組みにヒントを得て、同じAIの中に2つの異なる「個性」を持つチームを構築しました。
- システム1（素早い偵察兵）： これは「直感的」な脳です。速く、効率的で、スキャンが得意です。その役割は、大量の新情報（例えば10個の異なるウェブページや研究論文）を眺め、最も重要な事実だけを素早く抜き出すことです。それは、前方に走り、役に立つ物資だけを掴み、ゴミを置いていく偵察兵のようなものです。
- システム2（深く考える人）： これは「熟考する」脳です。動作は遅く、慎重で、複雑な論理パズルを解くのが得意です。システム1から送られてきた、洗練され抽出された事実を受け取り、それを使って実際の問題を解決します。
魔法のトリック：
従来のシステムでは、「偵察兵」と「考える人」は別々に訓練されていました。そのため、偵察兵は考える人が何を必要としているのかを知らず、考える人が関心のない情報を要約してしまったり、逆に考える人がどうしても必要とする詳細を見逃したりすることがありました。
MARSでは、彼らは**共進化（co-evolve）**します。一緒に訓練されるのです。偵察兵は、考える人がパズルを解くためにどのような情報が必要かを正確に学び、考える人は、偵察兵に対してどのように正しいものを要求すべきかを学びます。彼らは同じ「スコア（報酬）」を共有しているため、他人同士ではなく、完璧なチームとして機能します。
学習方法：「グループゲーム」
これら2つのシステムに、人間の教師なしで協力する方法（「Zero RL」と呼ばれ、あらかじめ書かれた例題なしでゼロからスタートする手法）を教えるために、研究者たちは**GRPO（Group Relative Policy Optimization）**に基づいた巧妙なトレーニングゲームを用いました。
これは、スポーツチームがチャンピオンシップに向けて練習する様子に似ています。
- チームのミーティング（ビン・パッキング）： チームが情報を集めに行く際、10個の異なるウェブページを見つけるかもしれません。一度にすべてを読むには多すぎます。システムは「ビン・パッキング（荷物を袋に詰める戦略）」を用います。これによって、バラバラでサイズの異なるページを、整理された扱いやすい塊へとまとめ、偵察兵が圧倒されることなく同時に読み取れるようにします。
- スコアボード（共有された報酬）： チームは外に出て、問題解決に挑みます。もし正解すれば、偵察兵と考える人の両方にポイントが入ります。失敗すれば、どちらにもポイントは入りません。これにより、彼らに協力を強いています。
- フェアプレイ（分離された勾配）： ここがトリッキーな部分です。彼らは報酬を共有していますが、研究者たちは、偵察兵には「うまく要約すること」に対して、考える人には「うまく推論すること」に対して、それぞれ適切にクレジット（手柄）が与えられるようにしました。これはリレーレースのようなものです。チームが勝てば両方のランナーにメダルが贈られますが、コーチは誰が第一走者として走り、誰が第二走者として走ったのかを正確に把握しています。これにより、偵察兵は単に「考える人を強化する」のではなく、「より優れた偵察兵」になることを学びます。
- チームのバランス調整（バランス・サンプリング）： 時には偵察兵が5つのページを読む必要があり、時には1つだけで済むこともあります。これはトレーニングデータの不均衡を生み出します。システムは特別なサンプリング手法を用いて、偵察兵と考える人が平等に練習時間を確保できるようにし、一方が学習プロセスを支配してしまうことがないようにしています。
結果：小さなチーム、大きな勝利
研究者たちは、高度な科学、数学、歴史を扱うHLE (Humanity's Last Exam) という非常に難しい試験でMARSをテストしました。
- アンダードッグ（格下）： MARSは、比較的規模の小さいモデル（80億パラメータ）を使用しました。
- 巨人たち： 彼らは、より巨大なモデル（320億または720億パラメータ）や、大手テック企業の高価な独自プロプライエタリ・モデルと比較しました。
- 結果： MARSは、人間の例題を用いた教師あり微調整（SFT）が行われた大型モデルを打ち破りました。さらに、ゼロからの人間による指導なしで、かつるべく小さな脳でありながら、最も進んだ商用モデルの性能に極めて接近しました。
なぜこれが重要なのか（論文による解説）
論文によれば、秘訣は単に多くのツール（検索エンジンや計算機など）を持つことではなく、**パートナーシップ（協力関係）**にあるとしています。
- 「偵察兵（システム1）」がいなければ、「考える人（システム2）」は大量の生のデータに圧倒され、ミスを犯してしまいます。
- 「考える人（システム2）」がいなければ、「偵察兵」は実際の問題を解決することなく、ただ要約するだけになってしまいます。
- 二人が揃うことで、膨大な最新情報を読み込み、複雑で多段階の推論問題を効率的に解決できるシステムが生まれます。
要するに、MARSはAIに対し、いつ「素早くスキャン」し、いつ「深く考える」べきか、そして混乱することなくどうやって両方を同時に行うかを教えているのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。