技術サマリー：LatentRouter

問題定義

マルチモーダル大規模言語モデル（MLLM）は、光学文字認識（OCR）、チャート理解、空間推論、視覚的質問応答（VQA）などのタスクにおける強さにおいて、また運用コストや遅延においても、著しい不均一性を示す。「より強力な」平均性能は、単一のモデルが普遍的に最適であることを意味しないが、効果的なルーティングには、特定のマルチモーダルクエリ要件（例：高密度テキスト対図表レイアウト）を候補モデルの能力と一致させる必要がある。

既存のマルチLLMシステム向けルーティングアプローチは、主にテキストのみの入力を対象として設計されており、クエリの難易度推定、信頼度スコア、またはカスケードポリシーに依存している。これらの手法は、最適なモデル選択がテキスト由来の特性だけでは完全に捉えられない視覚信号、レイアウト感度、画像と質問の相互作用に依存するため、マルチモーダル領域ではしばしば失敗する。画像を明示的なテキスト（例：キャプション、OCR）に変換することはコストが高く、不完全であり、ルーティングに関連する視覚情報のためには不十分な場合が多い。その結果、MLLMルーティングは、入力からコンパクトかつ情報豊富なマルチモーダルルーティング信号を保持することと、これらのクエリ要件を異質なモデル能力と整合させ、有用性を予測することという、2 つの連関した課題に直面している。

手法：LATENTROUTER

著者は、MLLM ルーティングを反事実的マルチモーダル有用性予測として定式化するルーターLATENTROUTERを提案する。クエリを固定されたモデル ID に直接マッピングするのではなく、このルーターは各候補 MLLM が現在の画像・質問入力に対してどのように動作するかを推定し、予測された有用性が最も高いモデルを選択する。

コアアーキテクチャ

このシステムは、5 つの主要コンポーネントで構成される。

1. マルチモーダルルーティングカプセル:
   単一のプーリングされたクエリベクトルを使用するのではなく、LATENTROUTER はクエリを、学習されたマルチモーダルルーティングカプセルの小さな集合 $R(x)$ として表現する。これらは、学習されたカプセルクエリを画像・質問の結合シーケンスにクロスアテンションさせることで抽出される。これらは、どの候補モデルが良好に動作するかを予測するために必要な情報のみを保持するように、エンドツーエンドで訓練される。

2. モデル能力トークン:
   各候補 MLLM は、較正プロファイル、正規化されたコスト、遅延、スライスレベルまたはペアごとの行動統計などのメタデータから構築された能力トークン $a_i$ として表現される。これにより、ルーターは固定された分類器次元なしで可変のモデルプールを処理できる。

3. 潜在コミュニケーション:
   ルーターは、多段階の潜在コミュニケーションプロセスを通じてクエリ要件をモデル能力と整合させる。

   • モデル条件付きアテンション: 各モデルトークンがルーティングカプセルを読み取ることで、異なるモデルが異なる信号（例：視覚的テキスト対空間的手がかり）に注意を向けることを可能にする。
   • ペアワイズ比較: モデルトークンが、ペアワイズ比較バイアスを備えた利用可能マスク付き自己アテンションを介して相互作用し、相対的な強さを評価する。
   • フィードバック: ルーティングカプセルはモデル状態からの重み付けされたフィードバックを受け取り、意思決定境界に近い候補を強調してクエリ表現を洗練させる。

4. 分布的反事実的結果予測:
   共有ヘッドが、各候補モデルの回答品質に対する分布（平均 $\mu_i$ と不確実性 $\sigma_i$）を予測する。この分布アプローチは、相対的な強弱をモデル化するために、トレーニング追跡から観測された結果の完全なベクトルを活用する。

5. 有界カプセル補正:
   予測された平均に残余補正項 $\Delta^{cap}_i$ が追加される。この補正はスカラー $\rho$ によって有界化され（$\tanh$ 活性化を使用）、自信のあるベース予測を支配するノイズの多い残余信号を許容することなく、近い意思決定を洗練させることを保証する。

訓練とポリシー

ルーターは、モデルプールの結果追跡を用いて、複合損失関数によって訓練される。

• 分布損失: 平均と不確実性を予測するための異方性ガウス負対数尤度。
• ペアワイズランキング損失: 観測された有用性が高いモデルに対して高いスコアを促す。
• リストワイズ損失: 予測された有用性分布を観測された分布に一致させる。
• 有用性回帰と正則化: 直接の有用性回帰と残余正則化。

最終的なルーティングポリシーは、$s_i(x) = \tilde{\mu}_i(x) - \lambda c_i$ を最大化するモデル $m_i$ を選択する。ここで、$\lambda$ は性能とコストのトレードオフを制御する。利用できないモデルはスコアリング中にマスクされる。

主要な貢献

1. 反事実的有用性の定式化: 本論文は、MLLM ルーティングを、同じクエリに対するすべての候補モデルの結果を予測する問題として再定義し、パフォーマンス指向およびパフォーマンス・コスト指向のルーティング、ならびに共有スコアリングと利用可能マスクを介した動的モデルプールを支援する。
2. 潜在能力整合アーキテクチャ: 学習されたルーティングカプセルとモデル能力トークンを、クエリ要件とモデル能力を整合させる潜在コミュニケーションを介して接続するルーターの導入。
3. 包括的な評価: MMR-Bench およびVL-RouterBenchにおける広範な実験により、固定モデル、特徴レベル、および学習済みルーターベースラインに対する優位性を示す。

実験結果

• 性能: LATENTROUTER は、パフォーマンス指向およびパフォーマンス・コスト設定の両方において、両ベンチマークで最良の非オラクル結果を達成する。改善は統計的に有意である（例：VL-RouterBench コスト設定において $p < 0.001$）。
• タスク感度: 獲得は、モデル選択が視覚およびレイアウト特性に強く依存する、OCR、チャート/図表理解、数学/STEM 推論などの微細なマルチモーダル信号を必要とするタスクで最も顕著である。
• 反事実的予測: ルーターはランキング指標（NDCG、スピアマン相関、Top-3 リコール）においてベースラインを上回り、単なる平均スコアではなく、モデル能力の相対的な順序を効果的に予測していることを示している。
• アブレーション研究: 潜在コミュニケーションが性能向上の主要な貢献者として特定された。これを除去すると、最大の性能低下が生じる。分布ヘッドと有界補正は、一貫したより小さな改善を提供する。
• 柔軟性と効率性: ルーターは利用可能マスクを介して変化する候補プールを効果的に処理する。学習済みルーターの中で最も低い遅延（0.06ms 対他の 0.10–0.17ms）を維持しながら、最良の平均主要指標を達成する。

意義と主張

本論文は、LATENTROUTER が、クエリ固有の視覚要件とモデル能力の相互作用を明示的にモデル化することにより、マルチモーダルシステムにおけるテキスト中心のルーティングの特定の限界に対処すると主張している。著者は、獲得がベンチマーク固有のショートカットではなく、より効果的なクエリ・モデル整合メカニズムに起因すると述べている。

この研究は、ルーティングを反事実的予測問題として扱い、クエリカプセルとモデルトークン間の潜在コミュニケーションを組み合わせることで、異質なモデルプール全体で堅牢な選択を可能にすることを示している。著者は、ルーターが効率性と費用対効果を向上させる一方で、モデル能力プロファイルの較正データに依存しており、ライブ展開、新モデルへの適応的較正、マルチステップルーティングへの拡張には今後の研究が必要であると指摘している。論文は、ルーターがモデル選択メカニズムであり、特に高リスク領域において正しさや安全性を保証するものではないことを強調している。