🤖 AI

When Does Combining Language Models Help? A Co-Failure Ceiling on Routing, Voting, and Mixture-of-Agents Across 67 Frontier Models

本論文は、ルーティングや投票といったマルチモデルLLMシステムの性能向上は、根本的に「同時失敗率」（すべてのモデルが同時に失敗する頻度）によって制限されており、この指標は標準的な相関尺度では捉えきれず、強力なクエリレベルのルーティング信号が存在しない限り、アンサンブルの精度を単一の最良モデルの精度にまで制限してしまうことが多いと論じている。

原著者： Josef Chen

公開日 2026-06-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Josef Chen

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ビッグアイデア：なぜ「多くの声」が必ずしも「より良い答え」につながらないのか

あなたは、難しいパズルを解こうとしているマネージャーだと想像してください。あなたの手元には、67人の異なる専門家（AIモデル）というチームがあります。テック業界での一般的なアドバイスはこうです。「最も賢い一人を選ぶのではなく、グループに問いかけて多数決を取れ。もし意見が分かれたとしても、グループの判断は通常、単独の人間よりも賢いものだ」。

この論文は、このアドバイスがしばしば間違っていると主張しています。時には、グループの専門家に聞くことが、単一の最高の専門家に聞くのと全く同じ答えをもたらす一方で、コストだけが大幅に高くなってしまうことがあります。実際、非常に難しい問題に対しては、グループ全体が同時に失敗してしまうことがあり、いくら多数決を行ってもそれを解決することはできません。

2つの主要な問題

著者らは、モデルの組み合わせが「ガラスの天井」（突破できない限界）に突き当たる理由が主に2つあることを発見しました。

1. 「全員間違い」の天井（共通の盲点）

67人の専門家に非常にトリッキーな数学の問題を尋ねたとします。

従来の信念： もし専門家たちが多様であれば、彼らは異なる間違い方をするはずだ。専門家Aが間違っていても、専門家Bは正しいかもしれない。
現実： 複雑な数学やコーディングのような、自由記述形式の難しい問題に対しては、67人全員が同時に、全く同じ間違いを犯すことがよくあります。彼らは「盲点」を共有しているのです。

論文ではこれを $\beta$ (ベータ) と呼んでいます。これは、すべてのモデル が同じ問題で失敗する割合のことです。

ルール： どのように組み合わせようとも（投票、ルーティング、あるいはカスケード化）、精度は 100% マイナス $\beta$ を超えることはできません。
例え： 67人の人々が部屋の中に隠された鍵を探している場面を想像してください。もし全員が同じ間違った角（全員が同じ間違った教えを受けているため）を探しているとしたら、何人聞いても意味がありません。何人増やしたところで、決して鍵を見つけることはできないのです。

2. 「相関の罠」（誤った指標）

現在、企業は複数のモデルを使うかどうかを判断する際に、2つのモデルがどれくらいの頻度で同じ間違いをするかを測定する $\rho$ (ロー) という指標を見ています。

罠：この論文は、 $\rho$ が「全員間違い」の問題を予測する上で極めて不適切な指標であることを証明しています。2つのモデルが非常に異なって見えても（低い相関）、最も難しい問題においては共に失敗することがあります。
例え： これは、2人の気象予報士が「明日、雨が降るかどうか」について一致しているかどうかを確認するようなものです。彼らは日常的には90%の確率で意見が一致しません。しかし、巨大なハリケーン（難しい問題）が襲来したとき、彼らは二人とも間違える可能性があります。日々の合意形成を確認しても、大きな嵐が来たときに二人が共に失敗するかどうかは分かりません。

2つのレジーム：いつ組み合わせ、いつ止めるべきか

論文はタスクを、2つの明確な「世界（レジーム）」に分類しています。

世界A：「天井に縛られた」タスク（自由記述形式の数学・コード）

何が起きているか： これらは選択肢のない、難しい問題です。
結果： 「全員間違い」の割合（ $\beta$ ）が高くなります。専門家たちは共に失敗します。
教訓： ここでモデルを組み合わせることは無意味です。グループ全体が同じ盲点に陥っているため、単一の最高のモデルを超えることはできません。論文では、これらのタスクにおいて「全員間違い」の割合は、標準的な数学的予測よりも約2.5倍高いことが判明しました。

世界 B：「実現可能性に縛られた」タスク（科学・多肢選択式）

何が起きているか： これらは答えが明確であるか、あるいは選択肢が存在するタスク（多肢選択式のテストなど）です。
結果： 「全員間違い」の割合はほぼゼロです。専門家たちが共に失敗することは稀です。
教訓： ここには、改善の余地が確かに存在します。専門家たちの意見は分かれているため、スマートなシステムであれば理論的には正しいものを選び出すことができます。しかし、論文によれば、現在の「ルーター」システム（どのモデルを使うかを決定するAI）は、これらを見分けるにはあまりにも無知であり、その機会を逃してしまっています。

「フォーマット」による驚き

著者らは、科学の問題（GPQA）を用いた興味深い実験を行いました。

多肢選択式として尋ねた場合、モデルたちが一斉に間違えることはほとんどありませんでした。
自由記述形式（選択肢を排除した場合）として尋ねると、モデルたちは突然、高い割合で共に失敗し始めました。
教訓： 「全員間違い」を引き起こしているのは、トピック（科学）ではなく、**フォーマット（形式）**なのです。自由記述形式の質問は、「全員間違い」という盲点を誘発します。

経済的な教訓：多様性 vs 品質

論文は、「賢いモデルと、多様だが能力の低いモデルを混ぜれば、より良い結果が得られる」という一般的な考えもテストしました。

発見： これは通常、間違いです。もし「能力の低い」モデルが違いすぎると、それが誤った答えに投票してしまい、賢いモデルの足を引っ張ることになります。
例外： 多様性が役立つのは、モデルの品質が同等である場合のみです。もし、同じくらい賢いが「異なるタイプの間違い」をするモデルのグループを組み合わせるならば、組み合わせの効果が得られます。しかし、天才と初心者を混ぜ合わせる場合、初心者がチーム全体の足を引っ張ることになります。

まとめ：どうすべきか？

「ペアワイズ相関（対となる相関）」の数字を信じるのをやめること。 その数値は、グループ全体が共に失敗するかどうかについては何も教えてくれません。
「全員間違い」の割合（ $\beta$ ）を確認すること。 複雑なマルチモデル・システムを構築する前に、それらが同じ難しい問題で共に失敗していないかを確認してください。もし失敗しているなら、あなたは天井に突き当たっています。いくら多数決を行っても、それを突破することはできません。
単にモデルを増やすだけでは不十分。 すでに共通の盲点を持っているグループにモデルを追加することは、間違った部屋を探している捜索隊に人数を増やすようなものです。それは何の助けにもなりません。
「フォーマット」に注目すること。 自由記述形式の質問を行う場合は、モデルが共に失敗することを想定してください。もし、それらを多肢選択形式に変えることができれば、モデルを効果的に組み合わせる能力を引き出せるかもしれません。

結論： 今日の最も困難な自由記述タスクにおいて、最高峰のモデルたちはあまりにも似通っており、共に失敗してしまいます。モデルを組み合わせても、どのモデルがどの質問に対して正しいのかを知るための非常に具体的なシグナルがない限り、単一の最高のモデルを超えることは滅多にありません。魔法はモデルの数にあるのではなく、「どのように異なる形で失敗するか」を見つけ出すことにあるのです。

技術要約：ルーティング、投票、およびMixture-of-Agentsにおける共失敗の天井（Co-Failure Ceiling）

問題提起

大規模言語モデル（LLM）のオーケストレーションの分野は、単一の「最良」のモデルを選択することから、ルーティング、投票、カスケード、およびMixture-of-Agents（MoA）を介して異種混合のモデルプールを管理することへとシフトしている。実務家は現在、多様性が精度向上をもたらすかどうかを判断するための主要な診断指標として、**ペアワイズ誤差相関（ $\rho$ ）**に依存している。支配的な仮定は、低い $\rho$ は高い多様性を意味し、したがって高い集団改善の可能性を意味するというものである。

本論文は、 $\rho$ は誤った診断指標であると主張する。それは、あらゆるポリシー（ルーター、多数決、またはカスケードなど）の出力がメンバーモデルの回答である場合、その達成可能な精度は、ペアワイズ相関ではなく、 $\beta$ （すべてのモデルが同一のクエリに対して失敗する割合）によって制限されると断定している。中心的な問題は、 $\rho$ は $\beta$ を特定できないことである。異なる結合誤差分布は、同一の周辺分布とペアワイズ相関を持ちながら、全く異なる共失敗率（co-failure rates）を持つ可能性がある。その結果、 $\rho$ に依存することは、「共失敗の裾（co-failure tail）」を系統的に過小評価することにつながり、買い手がオーケストレーションの価値を過大評価したり、達成可能な精度の天井を見誤ったりする原因となる。

メソドロジー

理論的枠組み

著者らは、オーケストレーションを予算制約付きの割り当て問題として定式化している。

天井定理 (Prop. 1): メンバーの回答を出力する任意の選択ポリシー $\pi$ について、精度は $1 - \beta$ によって制限される。ここで $\beta = P(\text{すべての } m \text{ 個のモデルが誤り})$ である。単一の最良モデルに対する最大可能利得は $\Delta_{ceil} = (1 - \beta) - \bar{q}_{best}$ である。
非識別性 (Prop. 3): $m \ge 3$ の場合、共失敗率 $\beta$ はペアワイズ誤差法則の関数ではない。著者らは、同一の一次元および二次元の周辺分布（したがって同一の $\rho$ ）を持つが、異なる $\beta$ を持つ結合分布が存在することを証明している。
過小価格化メカニズム (Prop. 2): 著者らは、誤差を共通ショック（すべてのモデルが確率 $\pi$ で失敗する）と独立した誤差の混合としてモデル化している。彼らは、ペアワイズ $\rho$ に校正された単一因子ガウスコピュラが、 $\beta_{sf}$ を予測し、これはプールサイズ $m$ が増加するにつれて 0 に収束する一方で、真の $\beta$ は $\pi > 0$ に収束することを実証している。したがって、過小価格化比率 $\beta / \beta_{sf}$ は、プールサイズとともに発散する。
有限サンプル証明書: ホールドアウト・クエリセットに対する Clopper–Pearson 区間を用いて、著者らはデプロイ前の「$0 $証明書」を導出している。$ \beta $の下限が$ 1 - \beta_{lo}$ を現在の単一最良モデルの精度に近いものにする場合、いかなるポリシーもそのオーケストレーションのオーバーヘッドを正当化できない。

実験設定

本研究では、21のプロバイダー（GPT-5.5、Claude Opus 4.8、Gemini 3.1 Proなどを含む）による67のフロンティアモデルを、以下の3つのレジームにわたって評価している：

飽和混合 (Saturated Mix): 標準的なベンチマーク（GSM8K, MMLU, ARC-Challenge, MATH-500）。
困難な単一ドメイン (Hard Single-Domain): MMLU-Pro および MATH-Hard (Level-5)。
構造的に分離されたドメイン (Structurally Disjoint Domains):
- オープンエンド形式の数学（MATH-500, MATH-Hard）。
- 実行検証型コード（ストレス・テスト付きの競技プログラミング問題）。
- 大学院レベルの科学（GPQA-Diamond）。これらは多肢選択形式と自由記述形式の両方でテストされている。

採点は、LLMジャッジのバイアスを避けるため、厳密にプログラムによるもの（完全一致、整数抽出、または実行ベース）とする。ただし、特定の自由記述形式のGPQA実験については、5人のパネルによる採点を行う。コストは実際のAPI使用量に対して計上される。

主要な結果

1. 共失敗の裾と $\rho$ の罠

オープンエンドのドメイン（数学およびコード）において、経験的な全誤り率 $\beta$ は、ペアワイズ相関から予測される値よりも大幅に高い。

MATH-500 (67モデル): 経験的 $\beta = 0.052$ (330クエリ中17)。正しくテトラコリック校正された単一因子ガウスコピュラは、 $\beta_{sf} = 0.021$ を予測する。経験的な裾は、コピュラの予測よりも2.5倍厚い。
コードコンテスト: 経験的 $\beta = 0.079$ 。単一因子モデルはこれを3.1倍過小評価している。
プールサイズの効果: モデルのランダムなサブセットを再サンプリングすると、過小価格化比率はプールサイズとともに単調に増加する（ $k=2$ で 1.0 から $k=67$ で中央値 2.5 まで）。
多肢選択 vs 自由記述: 多肢選択形式の GPQA では $\beta \approx 0$ である。しかし、同じ質問を自由記述形式（選択肢を排除）で行うと、 $\beta$ は 0.127 に跳ね上がる。これは、共失敗レジームが主題ではなく、タスク形式（オープンエンド性）によって駆動されていることを裏付けている。

2. オーケストレーションの2つのレジーム

本論文は、天井の挙動が異なる2つの明確なレジームを特定している：

天井制約型 (Ceiling-Bound: オープンエンドの数学/コード): ここでは $\beta > 0$ が無視できない。天井 $1-\beta$ は低く、「オラクル利得（理論上の最大改善）」は小さい。主な制限は共失敗の裾であり、ペアワイズ $\rho$ はこれを検出できない。
実現可能性制約型 (Realizability-Bound: 科学/多肢選択): ここでは $\beta \approx 0$ である。天井は事実上開かれており、オラクル利得は大きい（例：GPQAでの $G=0.15$ ）。しかし、この利得は解決可能な不一致を表している。現在の学習済みルーターは、フロンティアモデルが意見を分かつ際に、どのモデルが正しいかを区別するためのクエリレベルの信号が不十分であるため、この利得を捉えきれていない。

3. オーケストレーション戦略の性能

学習済みルーター: 15モデルの飽和混合において、学習済みルーター（TF-IDF + ドメイン）は、オラクル利得のわずか 9% しか捕捉できなかった（ゼロと統計的に区別できない）。より強力な LLM-as-router は 0% であった。
素朴な多様性: 異種混合のトリプレットに対する重みなし多数決は、しばしば単一の最良モデルと比較して負の利得をもたらす。これは、多様な弱いモデルが強いモデルを押し負かすためである。
品質一致アンサンブル: 高相関の Self-MoA（最良モデルの複数サンプル）と、品質が一致した低相関の異種混合エンサンブルを比較すると、後者の異種混合が勝利する（平均利得 +0.027）。これは、メンバーの品質が制御されている場合にのみ、多様化定理を支持するものである。
カスケード: 検証器の AUC が 0.5 に近づくにつれ、カスケードの性能はランダムな混合へと崩壊する。これは理論的境界を確認するものである。

重要性と主張

本論文は、焦点をペアワイズ相関 ( $\rho$ ) から共失敗率 ( $\beta$ ) へと移すことで、LLMオーケストレーションの経済学を再定義すると主張している。

診断のシフト: $\rho$ は「全誤り」の裾に対して盲目である。買い手は $\rho$ だけを見てオーケストレーションの実行可能性を判断することはできず、 $\beta$ を直接推定しなければならない。
** $0 証明書:** 単一の採点済みクエリセットは、$ \beta $の統計的な下限を提供できる。もし$ 1 - \beta_{lo}$ が現在の最良モデルの精度に近い場合、本論文は、いかなるルーティングや投票ポリシーもそのコストを正当化することは数学的に不可能であると主張している。
規模の限界: プールにモデルを追加するだけでは、必ずしも性能向上は保証されない。もしプールが「共通モードの原子（common-mode atom）」（共有された失敗モード）を共有している場合、共失敗率 $\beta$ は正のままとなり、プール全体の有用性を制限する。
形式依存性: 「天井制約型」のレジームは、ドメインの難易度ではなく、タスク形式（オープンエンドか多肢選択か）の関数である。オープンエンドのタスクは、本質的に、アンサンブル手法の有効性を制限する共失敗の裾を伴う。

著者らは、現在の検証可能なオープンエンドのタスクにおけるフロンティアモデルにとって、改善のための「レバー」は、より多くのモデルを追加することや素朴な多様性に頼ることではなく、失敗モードの異質性を特定し、市場のチャーン（market churn）（幅広さのオプション価値）を管理することであると結論づけている。 $\rho$ への依存は、 $\beta$ によって設定される真の天井を隠蔽している。