技術要約：正解ではないが有用である：マルチエージェント・メッセージにおける回答の正確性を超えた軌跡の価値

問題提起

マルチエージェント推論システムは、最終的な回答を合成する前に、候補となるメッセージをフィルタリングするために、合意、信頼度スコア、あるいは学習されたランキングといったメカニズムにますます依存するようになっている。これらの手法は、「正しい可能性が高いメッセージは、保持する価値もあるメッセージである」という仮定の下で動作している。しかし、本論文は、提案の正確性（メッセージが提示する回答が正しいかどうか）と、軌跡の価値（メッセージ全体——推論と回答の両方——をダウンストリームの統合器に公開することが、最終的な結果に寄与するか、あるいは悪影響を与えるか）を混同していることを指摘し、異議を唱えている。

核心となる問題は、誤った最終回答を含むメッセージであっても、後続のエージェントが問題を解決することを可能にする有用な分解、制約、または科学的原理を提供する場合があることである。逆に、正しい回答を含むメッセージであっても、その推論が誤解を招く内容であり、統合プロセスを妨害する場合がある。現在の正確性を最大化するプロトコルは、「誤った」メッセージを破棄してしまうことがあり、その結果、重要な推論ステップを失う可能性がある。また、逆に「正しい」メッセージを保持することで、ノイズを導入してしまうこともある。本論文は次のように問いかける。「提案の正確性は、メッセージ全体を公開することがダウンストリームの統合に役立つかどうかを決定する要因となるのか？」

手法：多様な仮説審議 (Diverse Hypothesis Deliberation: DHD)

回答の正確性と独立して軌跡の価値を測定するために、著者らは制御された測定プロトコルである多様な仮説審議 (DHD) を導入した。DHDは、候補プールを固定したままメッセージの可用性のみを変化させることで、個々のメッセージの寄与を分離するように設計されている。

プロトコルの流れ

1. リクルートメント（採用）: 動的なリクルーターが、5つの補完的な問題固有の役割（例：化学者、物理学者）を5人の仮説生成者に割り当てる。極めて重要な点は、リクルーターは正解を知らないということである。
2. 独立した生成: 5人の仮説生成者が、推論と提案された回答を含む構造化されたメッセージを独立して生成する。彼らは、他のピアのメッセージ、スコア、または正解にはアクセスできない。
3. キャッシュ: 生成された5つのメッセージのプール ($H_5$) をキャッシュする。内容や正確性に基づいてメッセージをフィルタリング、編集、または再生成することはない。
4. 統合とリプレイ: 別の統合器が、選択されたメッセージのサブセットから最終的な回答を合成する。プロトコルでは、2つのリプレイ・メカニズムを採用している：
   • シングルメッセージ・リプレイ: 統合器は1つのメッセージ ($h_i$) のみを見て、独立したソルバー（メッセージなし）と比較される。
   • イン・プール・リーブ・ワン・アウト (LOO): 統合器はフル・プール ($H_K$) を見て、削減されたプール ($H_K \setminus \{h_i\}$) と比較される。
5. 評価: 正解を知らないエバリュエーター（評価者）が、統合器の最終回答を正解と比較する。

軌跡の価値の定義

本研究では、メッセージを隠した場合の正確性の変化に基づいて、リプレイ効果 ($\Delta_{i,K}$) を定義する：

• Helpful（有用）: フル・プールでは正解だが、メッセージを除いた削減されたプールでは不正解となる。
• Harmful（有害）: 削減されたプールでは正解だが、フル・プールでは不正解となる。
• Neutral（中立）: 正確性に変化がない。

本論文では、提案の正確性（Wrong/Correct）とリプレイ効果（Helpful/Harmful/Neutral）を交差させることで、メッセージを6つのセルに分類している。焦点となるのは、Wrong-Helpful（回答は誤っているが、有用な推論を持つ）および Correct-Harmful（回答は正しいが、有害な推論を持つ）である。

実験設定

• ベンチマーク: 数学と科学をカバーする5つの多様なベンチマーク（Omni-MATH-2, JEEBench, SciBench, LAB-Bench, MaScQA）。
• モデル: 2つのオープンなモデルファミリー：gpt-oss-120b (OSS) および gemma-4-31B-it (Gemma)。
• 堅牢性: 通常のリプレイ変動と真の効果を区別するため、著者らは1,000個の層化された問題に対して制御された繰り返しリプレイを行い、置換テストとブートストラップ分析を実施した。

主な結果

1. Wrong-Helpful メッセージの普及

すべてのベンチマークおよび両方のモデルファミリーにおいて、Wrong-Helpful メッセージはすべてのベンチマークとモデルの組み合わせに現れた。

• 提案された回答が誤っており、かつ最終的な正確性に変化（反転）をもたらしたメッセージのうち、10個中4個以上（OSSで41.9%、Gemmaで45.3%）がHelpfulであった。
• これは、誤った回答は全体として害を及ぼす可能性を高めるものの、それが効果の方向性を決定するわけではないことを示している。つまり、かなりの割合の誤ったメッセージが、価値のある推論を提供しているのである。

2. 正確性は軌跡の価値を決定しない

本研究は、提案の正確性が軌跡の価値の優れた予測因子ではないことを示している：

• Wrong-Helpful: 不正確な回答であっても、再利用可能な推論（例：数論における偶奇の分解など）を含んでいることがあり、それによって統合器が正解に到達できる。
• Correct-Harmful: 正しい回答を持つメッセージであっても、有害になる場合がある。例えば、「倍増の注意書き（doubling caveat）」を伴う正しい回答は、他のエージェントによる誤った計算を強化してしまい、統合器を誤った最終結果（例：43ではなく85）へと導くことがある。
• 統計的有意性: 制御された繰り返しリプレイにより、これらの効果が通常の再試行による変動を超えていることが確認された（$p = 0.0002$）。多重比較制御を用いた分析により、Gemmaにおいて5つのベンチマークすべてで再現可能な Wrong-Helpful ケースが回収された。

3. 恩恵の源泉：推論か回答か

コンポーネント・マスキング（推論または回答のいずれかのフィールドを隠し、もう一方を残す手法）を通じて、著者らはなぜ Wrong-Helpful メッセージが機能するのかを調査した。

• 10個の再現可能な Wrong-Helpful メッセージの診断サンプルにおいて、推論（reasoning）を隠すと、統合器の成功率は44%まで低下した（フルメッセージの成功率82%から38ポイントの低下）。
• 誤った回答（wrong answer）を隠した場合、成功率は64%に低下した（82%から18ポイントの低下）。
• これは、Wrong-Helpful メッセージの恩恵が、添付された誤った回答ではなく、主にその推論の内容に由来することを示唆している。

4. 選択の機会

本論文は、繰り返される軌跡の価値のエビデンスが、正確性のみに基づくものよりも優れた統合の選択肢を特定できるかどうかをテストした。

• 繰り返し得られたエビデンスを用いたクロスフィット選択（cross-fitted selection）を用いることで、提案の正確性のみに基づいて選択するベースラインに対し、精度で**+1.68 ポイント (OSS)** および +2.61 ポイント (Gemma) の向上を達成した。
• これにより、繰り返される価値のエビデンスには、提案の正確性だけでは捉えきれない意思決定に関連する情報が含まれていることが確認された。

意義と主張

本論文の中心的主張は、**「回答の正確性は情報を提供してはいるが、軌跡の価値を決定するものではない」**ということである。

• 概念的転換: 著者らは、提案のローカルな正確性と、特定の統合プールにおけるメッセージのコンテキスト的な価値を区別している。メッセージの価値は、その記述の真偽ではなく、意思決定者がそれを使って「何ができるか」に基づいて決まる。
• 方法論的貢献: DHDは、生成、選択、および統合を分離する測定プロトコルを提供する。最終的な正確性を最適化しようとするシステム（メッセージを書き換えたり破棄したりする可能性がある）とは異なり、DHDはメッセージを固定して、その具体的な推論の軌跡への寄与を測定する。
• 実用的含意: 結果は、回答の正確性のみによってエージェントをフィルタリングすることは、有用な制約や分解を破棄するリスクがあることを示唆している。将来のシステムは、単に提案された回答ではなく、その軌跡の価値（再利用可能な推論）に基づいてメッセージに「耳を傾ける」ことを学習することで、恩恵を受ける可能性がある。
• 限界: 著者らは、軌跡の価値はコンテキスト依存的（プールや統合器に依存する）であり、テキストの固有の属性ではないことを述べている。本研究は、繰り返されるエビデンスの下での同一問題における機会を測定したものであり、未知の問題に対する汎化問題や、インタラクティブな討論を解決したと主張するものではない。

要約すると、本論文は、マルチエージェント推論において「誤った」メッセージが「有用」であり、「正しい」メッセージが「有害」になり得ることを確立している。メッセージの軌跡の価値は、回答の正確性とは別に測定され、学習されるべき独立した特性である。