技術要約：より少ないリソースでより多くを行う：大規模言語モデルベースのシステムにおけるリソース最適化のためのルーティング戦略に関する調査

1. 問題提起

大規模言語モデル（LLM）ベースのシステム、特に会話型エージェントは、多くの場合、単一の汎用LLMですべてのユーザークエリを処理する、モノリシックで静的なアーキテクチャで設計されています。このアプローチは、クエリごとに必要な推論、ドメイン知識、または前処理のレベルが異なるため、非効率的であることが多いです。汎用モデル（例：GPT-4o、Claude-Sonnet）は多様なタスクにおいて優れた性能を発揮しますが、単純なクエリに対しては、不釣り合いに高い金銭的、エネルギー的、および計算的コストを発生させます。

本論文では、**ルーター（router）**を、リソース消費を最適化するために、アイテム（例：ユーザーのクエリ）を候補のプールの中から最も適切な要素へと誘導するコンポーネントとして定義しています。これは、単一のモデル内のサブネットワークを選択する内部的なゲーティングメカニズムであるMixture-of-Experts（MoE）フレームワークとは異なります。対照的に、外部ルーターはLLMの潜在的なフォワードプロセスとは独立して動作し、予算制約の下で機能し、より小さなモデル、特化型モデル、ワークフロー、またはデータソースを含む多様な候補へとルーティングを行うことができます。

形式的には、ルーティング問題は、予算制約 $B$ の下で、クエリ $q$ とモデルの集合 $M$ に対してスコアリング関数 $s$（例：精度）を最大化することとして定義されます：
$$R_M(q) = \arg \max_{M \in M} s(q, M) \quad \text{s.t.} \quad C_M(q) \le B$$
ここで、$C_M$ はモデル $M$ を呼び出す際のコスト（例：$/token）です。

2. 方法論とタクソノミー（分類学）

本研究は、以下の3つの核心的な問いに対処する、包括的な調査とタクソノミーを提供しています。

1. ルーティングは何を最適化すべきか？（性能 vs コスト）
2. ルーティングはいつ行われるべきか？（生成前 vs 生成後）
3. ルーティングはどのように実装されるべきか？（アルゴリズム戦略）

2.1 最適化の目的

• 性能指標： 本調査では、完全一致/部分一致やROUGEスコアから、意味的類似性、およびLLMを用いた自動評価に至るまでの、スコアリング関数の最大化手法をレビューしています。また、人間のレビュアーのデータに基づく選好学習（例：Bradley-Terryモデル）の使用についても述べています。
• コスト指標： 金銭的コスト（トークン価格）に加え、本論文はレイテンシ（遅延）や環境コスト（エネルギー消費、炭素排出量）の最小化を強調しており、より大きなモデルは一般的に、より多くの浮動小数点演算とエネルギーを必要とすることを指摘しています。

2.2 ルーティングのタイミング

• 生成前ルーティング（Pre-generation Routing）： モデルが回答を生成する前に行われる決定です。これによりレイテンシを最小限に抑えます。戦略としては、クエリのドメインを推論したり、その複雑さを推定したりして、適切なモデルへルーティングすることが含まれます。
• 生成後（カスケード）ルーティング（Post-generation (Cascade) Routing）： モデルが回答を生成した後に下される決定です。出力が不十分であると判断された場合、クエリはより大規模な、あるいは異なるモデルへとルーティングされます。柔軟性はあるものの（マルチチョイス・カスケードなど）、クエリごとに複数回の生成が発生するため、レイテンシとコストが高くなります。

2.3 実装戦略

本論文は、実装戦略を以下の4つの主要なグループに分類しています。

A. 類似性ベースのルーティング（Similarity-based Routing）

過去のインタラクションとの意味的類似性に基づいて、非教師あり学習または弱教師あり学習のシグナルを用いてクエリをルーティングします。

• クエリ類似性： クエリの埋め込み（embedding）間のコサイン類似度を計算します（例：1-Nearest-Neighbour）。軽量ですが、複雑なクエリや汎化には苦戦することが多いです。
• クラスタリング： クエリを意味的なクラスター（例：k-means）にグループ化し、クラスターごとの過去のパフォーマンスに基づいてルーティングします。一部のアプローチ（例：Jitkrittumら）では、システム全体を再学習させることなく、新しいモデルを動的に追加することが可能です。
• 選好類似性： 人間の選好データ（例：Chatbot Arena）を使用して、特定のクエリに対してユーザーがどのモデルを好むかを予測し、多くの場合、Bradley-TerryやELOベースのアルゴリズムを採用します。

B. 教師ありルーティング（Supervised Routing）

パフォーマンスプロファイルが確立された後、ルーティングを分類または回帰タスクとして扱います。

• 推薦システム： 行列分解を用いて潜在的な特徴を推論し、モデルとクエリの間のユーザーの好みを予測します。
• ドメイン分類： 広範なカテゴリ（例：数学、医学）に基づいてクエリを特化型モデルにルーティングします。効果的ですが、定義されたカテゴリに適合しないクエリには苦戦します。
• クエリ複雑度推論： クエリを難易度レベルによって分類します。これはドメインベースのルーティングよりも優れた性能を示すことが多いですが、分布外（out-of-distribution）のデータセットでは性能が低下する可能性があります。アプローチとしては、モデルサイズ間の性能差を通じて複雑度を推論する方法や、回帰を用いてコストと品質のスコアを予測する方法などがあります。
• 知識グラフ： 誘導的なグラフフレームワーク（例：GraphRouter）を用い、タスク、クエリ、およびモデル間の文脈的関係を学習することで、再学習なしでの新しいモデルへの汎化性能を向上させます。
• 回答確信度推論： 生成された回答が正しい確率を推定し（例：FrugalGPT）、より大きなモデルへエスカレーションするかどうかを決定します。

C. 強化学習（RL）ルーティング

ルーティングを、環境からのフィードバックから学習する逐次的な意思決定問題として定式化します。

• ステートレス・アルゴリズム（Stateless Algorithms）： 複雑な状態を保持せず、報酬を直接アクションにマッピングします（例：確率的学習オートマトン、Q学習）。これらはリソース消費が少ないですが、進化するコンテキストへの対応には苦慮します。
• ステートベース・アルゴリズム（State-based Algorithms）： 文脈情報（例：コンテキスト型マルチアームドバンディット）を取り入れ、特定の状況下でどのモデルが最も高いパフォーマンスを発揮するかを決定します。
• 報酬ベースの推論： 知識蒸留を通じて訓練された個別の報酬モデルを使用し、どのLLMが最良のパフォーマンスを発揮するかを予測することで、直接的なインタラクション学習を回避します。

D. 生成的ルーティング（Generative Routing）

ルーティングの決定を下すために、LLM自身の能力を活用します。

• トークン/シーケンス確率： 出力の不確実性（例：上位トークンの確率間のマージン）を測定し、より大きなモデルが必要かどうかを判断します。
• プロンプトベースのルーティング： クエリを分類したり、「言語化された確信度（verbalized confidence）」（生成前または生成後）を表現したりするためにLLMを使用します。アクセスしやすい手法ですが、LLMはしばしば過信（overconfidence）に陥ります。
• LLMのファインチューニング： ルーティングタスク（例：ドメイン分類、複雑度スコアリング、またはAPIコール生成）のためにモデルを特別に微調整します。
• 反復呼び出し： 一貫性を評価するために複数の回答を生成します。一貫性が低い場合は、より大きなモデルへのルーティングをトリガーします。
• コード実行： コード生成タスクにおいて、コードの成功した実行を、ルーティングのための明確な確信度シグナルとして使用します。

3. 主な結果と知見

• 効率 vs 性能： 本調査は、ルーティングによって、最高水準のスタンドアロンモデルと同等の精度を維持しつつ、コストを大幅に削減できること（いくつかのケースでは最大98%）を示しています。ただし、その有効性は、候補となるモデルの補完性に強く依存します。
• 戦略のトレードオフ：
  • 類似性ベースの手法は軽量ですが、複雑なタスクや分布外のタスクには対応できないことが多いです。
  • 教師あり手法は一般に高い精度を提供しますが、ラベル付きデータを必要とし、新しいモデルに対して再学習が必要になる場合があります。
  • 生成的（Generative）手法（プロンプトベースなど）は柔軟ですが、リソース集約的であったり、モデルの過信により信頼性に欠けたりすることがあります。
  • RLベースの手法は適応性に優れていますが、訓練と状態管理に複雑さが伴います。
• 汎化： 現在の分野における主要な課題の一つは、多くの転移学習（transductive learning）アプローチが、再学習なしでは新しいルーティング候補に汎化できないことです。誘導的（inductive）なアプローチ（例：GraphRouter、クラスタリングベースのパフォーマンスベクトル）は、この問題に対処する上で有望です。
• ベンチマーク： 本論文は、標準化された評価が不足していることを指摘しており、多くの研究が非標準的なベースラインを使用していると述べています。RouterBenchやMixInstructといった新たなベンチマークに注目しています。

4. 限界と課題

本論文は、現在の分野におけるいくつかの決定的な限界を特定しています。

• コストの定義： ほとんどの研究は金融的コストのみに焦点を当てており、計算的および環境的な影響を軽視しています。
• 標準化： ルーティング戦略を評価するための標準化されたフレームワークが存在しないため、客観的な比較が困難になっています。
• 候補の多様性： ルーティングの性能は、候補となるプールの補完性に依存します。冗長なモデル（例：サイズが同じ、あるいは汎用的な学習がなされているもの）は、限定的な効果しか提供しません。
• 静的なアーキテクチャ： ほとんどのシステムは静的であり、新しいモデルやワークフローを追加するには、通常、ルーティング・インフラストラクチャ全体の再学習が必要となり、動的な環境におけるスケーラビリティを阻害しています。
• 過信（Overconfidence）： 言語化された確信度に依存する生成的ルーティング手法は、LLMの過信に悩まされることが多く、これが最適ではない決定につながります。

5. 重要性と今後の方向性

本調査は、ルーティングを「性能とコストの最適化問題」として定式化し、包括的な概要を提供することを目的としています。その重要性は以下の点にあります。

• タクソノミー： ルーティング戦略（生成前/生成後、類似性/教師あり/RL/生成的）の構造化された分類を提供すること。
• 産業への転用： 研究と産業の間のギャップを浮き彫りにしています。多くの企業は依然として単純な条件分岐やプロンプトベースのルーティングを使用しています。本論文は、研究に基づいた軽量な戦略を産業応用へ転用することを提唱しています。
• 今後の研究： 著者らは以下を求めています。
  • 計算的および環境的コストを最適化目標に組み込むこと。
  • 評価のための標準化されたベースライン（ランダム、オラクル、ベストスタンドアロン）を確立すること。
  • 自律的で適応的なルーティング戦略を開発すること。これは、新しいコンポーネントに対して再学習なしで汎化でき、ルーターをシステム内の動的なエージェントとして扱うものです。
  • ルーティングの範囲を生成ステップだけでなく、埋め込みの選択、検索戦略、およびパイプライン設計へと拡張すること。

本論文は、ルーティングがLLMベースのシステムの効率を向上させるための実用的な経路を提供し、性能を犠牲にすることなく、適応的で低コストなシステムの開発を可能にするものであると結論付けています。