テクニカル・サマリー：Brick — Mixture-of-Models (MoM) パラダイムにおける空間的キャパビリティ・ルーティング

1. 問題提起

本論文は、推論時において、ヘテロジニアス（異種混合）な大規模言語モデル（LLM）のプールに対してクエリを効率的にルーティングするという課題に取り組んでいる。核心的な困難は、「難易度」を経験的に定義することにある。クエリの複雑さは、トークン数やドメインラベルといった表層的な特徴によって決まるのではなく、タスクの具体的なキャパビリティ（能力）要件と、モデルの強みおよび弱点の関係性によって決定される。

既存のルーティング戦略は、表層的なルーティング（ドメインベース、あるいは長さやキーワードベース）に依存しているが、これはドメイン内の分散を捉えることができない。例えば、短いクエリであっても、フロンティアモデルを必要とする未解決の問題を対象としている場合がある一方で、長い定型文のプロンプトが、小規模なオープンウェイトモデルで解決可能な些細なタスクを包み込んでいる場合もある。これは以下の2つの非効率性を招く：

1. コストの非効率性： 簡単なクエリを、高価なフロンティアモデル（例：Kimi 2.6）に割り当てることは、ローカルなオープンウェイトモデル（例：Qwen 3.5-9B）で十分な場合に予算を浪費することになる。
2. レイテンシと精度のトレードオフ： カスケード・ルーティング（最も安価なモデルから最も高価なモデルへと順に試行する手法）は、単一のユーザーリクエストが複数のLLMコールをトリガーするエージェント・ワークフローにおいて、大きなオーバーヘッドを生じさせる。これは、「安価な」試行が拒絶された際のコストが累積するためである。

目標は、表面的なヒューリスティックに頼ることなく、正解を出せる最も安価なモデルに各クエリを割り当てることである。

2. メソドロジー：Brick ルーター

著者らは、Mixture-of-Models (MoM) パラダイム内で動作するマルチモーダル・ルーターである Brick を提案している。単一のモデル内でサブネットワークを活性化させる Mixture of Experts (MoE) とは異なり、MoM は個別の独立した事前学習済みモデルに対してクエリ全体をディスパッチ（配信）する。

2.1 MoM パラダイム

Brick は、以下の3つのヘテロジニアスなモデルからなるプールを利用する：

• Qwen3.5-9B: 最先端のオープンウェイトモデル（パラメータ数 <10B）。
• DeepSeek-V4-Flash: 最先端のオープンウェイトモデル（パラメータ数 <500B）。
• Kimi2.6: フロンティア級のオープンソース・コンテンダー。

このプールは異なる価格帯（1コールあたり約$0.001から$0.03の範囲）とキャパビリティ・プロファイルにまたがっており、ルーターはキャパビリティの相補性（例：あるモデルが拒絶するクエリを別のモデルが解決できる等）を活用できる。

2.2 6次元キャパビリティ空間

Brick は、ルーティングを6次元のキャパビリティ空間における幾何学的な決定として定式化している。次元は以下の通りである：

1. コーディング (Coding)
2. クリエイティブ・シンセシス (Creative Synthesis)
3. 指示遵守 (Instruction Following)
4. 数学的推論 (Math Reasoning)
5. プランニング／エージェンティック (Planning/Agentic)
6. 世界知識 (World Knowledge)

パイプライン：

1. キャパビリティ推定： ファインチューニングされた ModernBERT 分類器が、クエリを6次元にわたる確率ベクトル $p(x)$ にマッピングする。
2. 複雑度推定： 別の分類器が、難易度スコア $\tau_q$（「易・中・難」のアンカーをブレンドしたもの）を推定する。
3. スキル行列のキャリブレーション： オフラインでキャリブレーションされたスキル行列 $S$ は、ラベル付きデータセットから導出された、各モデル $m$ の各キャパビリティ $c$ に対する経験的な成功率 ($s_{m,c}$) を格納している。
4. 幾何学的ルーティング数式：
   • 要件 (Requirement)： クエリの要件ベクトル $r_{q,c}$ は、$p(x)$ と難易度ロジット $z_q$ から導出される。
   • 容量 (Capacity)： モデルの容量ベクトル $v_{m,c}$ は、$p(x)$ とモデルのスキルロジット $\text{logit}(s_{m,c})$ から導出される。
   • 残差 (Residuals)： ルーターは、非対称な残差（アンダーキャパシティ：モデルが弱すぎる場合、およびオーバーキャパシティ：モデルが過剰すぎる場合）を計算する。
   • スコアリング： 合計スコア $J_m$ は、残差の重み付きユークリッド距離にコスト・ペナルティを加えたものとして計算される：
     $$J_m = \sqrt{\sum_c (u_{m,c}^2 + \lambda o_{m,c}^2)} + \beta a_m$$
     ここで、$a_m$ は正規化されたコスト、$\lambda$ はオーバーキャパシティへのペナルティ、$\beta$ はコストと品質のトレードオフを制御する。
5. 決定： 最小の $J_m$ を持つモデルが選択される。

2.3 プリファレンス・ノブ ($r$)

Brick は、オペレーターが「最大品質」と「最大節約」のプロファイル間をスライドできるように、連続的なプリファレンス・ノブ $r \in [-1, 1]$ を導入している。このノブは、校正されたべき乗則を介して4つのルーティング・スカラー（$\mu, b, \beta, \lambda$）を調整し、コストと品質のトレードオフを、コード変更ではなくデプロイ時のパラメータへと変える。

3. 主な貢献

1. MoM 定式化： 本論文は、ヘテロジニアスなプールにおける全モデル・ルーティングを MoM パラダイムとして定式化し、それが最高の単一モデルと理論上の3モデル・オラクルの間の達成可能なヘッドルームの24%を回収できることを示した。
2. 表層的ルーティングの拒絶： ドメインベースや長さ／キーワードベースのルーティングは、ドメイン内の難易度を捉えることができず、単純な「常にKimiを使用」というベースラインよりも劣ることを経験的に示している。
3. Brick ルーター： 明示的なキャパビリティ・ベクトル表現と、ユーザー向けのプリファレンス・ノブを備えた、キャリブレーション済みの MoM ルーター。
4. エージェンティックな効率性： 本論文は、純粋なシングルステップ・ルーティング（Brick のような）が、カスケード・ルーティングよりもエージェントのワークロードにおいて構造的に優れていると主張している。これは、エージェントの軌跡の各ステップにおいて、拒絶されたカスケード・ステージのコストが累積することを避けるためである。

4. 実験結果

データセット A（6つのキャパビリティ次元にわたる5,504件のクエリ）を用いて評価：

• 精度 vs コスト：

  • 最大品質プロファイル ($r=+1$)： Brick は 76.98% の精度を達成し、最高の単一モデル（Kimi 2.6 の 75.02%）およびすべての外部ルーター（RouteLLM, FrugalGPT, Cascade Routing）を上回った。しかも、28% 低いコスト（1コールあたり $0.022 vs $0.031）でこれを実現した。
  • ニュートラル・プロファイル ($r=0$)： 「常にKimi」と比較して、わずか 0.91 ポイントの精度低下のみで、4.71倍低いコストで 74.11% の精度を達成した。同等のコストにおいて Cascade Routing を +0.71 pp 上回っている。
  • 低コスト・プロファイル ($r=-0.5$)： 71.62% の精度を達成し、同等のコストで FrugalGPT の 69.42% を +2.20 pp 上回った。
  • 最小コスト・プロファイル ($r=-1$)： 最安のモデル（Qwen）と同等の 63.17% の精度を達成したが、これは「常にKimi」と比較して 22.15倍低いコスト である。

• レイテンシ：

  • Brick（最大品質プロファイル）のメディアン・エンドツーエンド・レイテンシは、51.2秒（常にKimi）から 22.8秒 に減少した。これは、最大品質設定であっても、Brick が約31% のクエリをより高速な DeepSeek-V4-Flash モデルにルーティングしているためである。

• オラクル境界：

  • 理論的な天井（3モデル・オラクル）は 83.25% である。Brick は、最高の単一モデルとこのオラクルの間のギャップの大部分を回収しているが、現在のキャパビリティ特徴量ではまだ抽出できていない 6.27 pp の残差が存在する。

5. 意義と主張

本論文は、Brick が MoM パラダイムの実行可能性を実証していると主張している。その意義は以下の点にある：

• 経験的検証： キャリブレーションされたキャパビリティ空間に基づくルーティングが、ヒューリスティックなルーティングや単一モデルのベースラインよりも優れていることを証明した。
• 運用の柔軟性： コード変更や再学習なしに、コストと品質のトレードオフを調整するための連続的なノブをオペレーターに提供する。
• エージェンティックなスケーラビリティ： 純粋なルーティングが、カスケード・ルーティングに固有の線形なコストおよびレイテンシのペナルティを回避し、エージェントのワークロードに対して効率的にスケールする唯一の設計であることを確立した。
• 相補性： モデル・プールが相補的なエラーセット（例：「正直な拒絶」対 ハルシネーション）を提供しており、キャパビリティを認識したルーターが、システム全体の信頼性を向上させるためにこれを活用できることを強調している。

著者らは、現在のルーターが抽出できていない情報（オラクルとの残差 6.27 pp）を認め、今後の研究は、疎なプールに対するベイズ平滑化や、ドメイン条件付きの複雑度推定に焦点を当てるべきであると謙虚に述べている。