RouteProfile: Elucidating the Design Space of LLM Profiles for Routing

以下は、プレプリント「RouteProfile: Elucidating the Design Space of LLM Profiles for Routing.」の詳細な技術的サマリーです。

1. 問題定義

大規模言語モデル（LLM）エコシステムが拡大するにつれ、個々のモデルは異なるクエリ、タスク、ドメインにおいて異質な能力を示します。これにより、与えられたクエリに対して最も適切なモデルを選択する「LLM ルーティング」が不可欠となります。

しかし、既存の研究は主に「ルーティング機構」（学習ベース、グラフベース、またはコントラスティブ・ルーターなど）の最適化に焦点を当てており、「LLM プロファイル」の設計は largely 軽視されています。LLM プロファイルとは、相互作用履歴から導き出されたモデルの能力の表現です。現在のプロファイリング手法は、しばしば以下の問題を抱えています。

• 異質かつ絡み合っている: ルーティング戦略と混在しており、性能向上の源泉を特定することが困難です。
• 粒度が限定的: 単純なインデックスベースのワンホットベクトル（意味的に貧弱）から、粗いベンチマーク要約（微細なシグナルを捨象）や LLM 生成テキスト（カバレッジが狭いことが多い）まで、その範囲は限られています。
• 非構造化: モデル、タスク、ドメイン、および特定のクエリインスタンス間の複雑で相互依存する関係を統合できていません。

核心的な研究課題は以下の通りです：LLM プロファイルの設計が、異なるルーターにおけるルーティング性能にどのように影響するか？

2. 手法：RouteProfile フレームワーク

著者らは、異質な相互作用履歴における構造化された情報統合問題として LLM プロファイリングを扱う一般フレームワーク「RouteProfile」を提案します。彼らはデータソースを「異質相互作用グラフ（Heterogeneous Interaction Graph）」$G$ として形式化し、4 つの主要な次元によって特徴づけられる設計空間を定義します。

A. データ表現：相互作用グラフ

グラフ $G = (V, E)$ は、4 つの主要なデータソースを統合します。

1. モデルファミリー: 建築的な系譜と開発者の事前知識。
2. ドメインカバレッジ: 専門分野（例：数学、コーディング）。
3. タスク評価: 標準化されたベンチマークスコア（例：MMLU、HumanEval）。
4. クエリレベルのインスタンス: タスクに関連する具体的な問題インスタンス。

ノード: モデル、モデルファミリー、ドメイン、タスク、クエリ。
エッジ: モデル - ファミリー、モデル - タスク、タスク - ドメイン、タスク - クエリ。
特徴量: ノード用のテキスト記述（GPT-4o などの LLM によって生成）と、エッジ用の性能スコア。

B. 4 つの設計次元

このフレームワークは、集約関数 $f(\omega, \gamma, K, \ell)$ によるプロファイル構築を特徴づけます。

1. 組織形態（$\omega$）:
   • フラット: グラフ構造なしで、データをテキストまたはベクトルに直接連結。
   • 構造化: 関係情報をモデル化するためにグラフトポロジー（例：グラフニューラルネットワーク経由）を利用。
2. 表現タイプ（$\gamma$）:
   • テキスト: LLM プロンプティングなどを通じて自然言語要約として表現されたプロファイル。
   • 埋め込み: PLM や GNN 経由で高密度ベクトルとして表現されたプロファイル。
3. 集約深度（$K$）:
   • 情報伝達に使用されるグラフ内のホップ数（0 から 4）。プロファイルが直接の近傍に依存するか、高次文脈に依存するかを決定します。
4. 学習設定（$\ell$）:
   • トレーニングフリー: 静的な集約（例：LLM へのプロンプトまたは固定 GCN）。
   • 学習可能: 相互作用グラフ上の自己教師あり学習（例：マスク再構成）を通じて最適化。

C. 実験設定

• データセット: グラフ構築用 15 データセット（知識、推論、数学、コーディング）と、下流評価用 12 データセット。
• モデル: 合計 25 の LLM（ルーティング用候補 8、グラフ文脈用補助モデル 17）。
• 評価対象ルーター:
  1. SimRouter: 類似度ベース、非パラメトリック（ベースライン）。
  2. MLPRouter: 学習ベース（MLP 投影）。
  3. GraphRouter: グラフ構造 GNN ルーター。
• 設定: 標準ルーティングおよびコールドスタート（新規・未見の LLM への汎化）。

3. 主要な貢献

1. 体系的な設計空間: プロファイル設計をルーター設計から分離し、プロファイリングのための 4 つの直交次元を定義する、包括的なフレームワーク「RouteProfile」を初めて導入しました。
2. 構造化された情報統合: 平坦な特徴抽出を超えて関係的統合へと移行し、LLM プロファイリングを異質グラフ問題として形式化しました。
3. 実証的な分離評価: 3 つの異なるルーターアーキテクチャにわたる大規模な体系的評価を実施し、プロファイル設計選択の影響を分離しました。

4. 主要な結果と知見

RQ1: プロファイル設計がルーティング品質に与える影響

• 構造化 > フラット: 構造化プロファイル（グラフトポロジーを利用）は、すべてのルーターと表現タイプにおいて、フラットなベースラインを一貫して上回ります。これは、構造的関係を保持することが情報豊富なプロファイルにとって重要であることを示しています。
• 深度は重要（文脈依存）: 集約深度（ホップ数）の増加は、トレーニングフリー設定では一般的に役立ちます。しかし、学習可能設定では、過度の深度が過平滑化を引き起こし、MLPRouter や GraphRouter の性能を低下させますが、SimRouter には利益をもたらします。

RQ2: データソースの有効性

• クエリレベル > ドメインレベル: クエリレベルのシグナル（微細な相互作用インスタンス）は、粗いドメインレベルの要約よりもはるかに信頼性が高く、情報豊富です。
• ドメイン内のノイズ: ドメインノードを追加しても性能向上につながらないことが多く、むしろノイズを導入して、それまで強力だったプロファイルを弱体化させることがあります。

RQ3: 新規 LLM への汎化（コールドスタート）

• 構造化＋学習可能が重要: 新たに導入されたモデル（コールドスタート）への汎化は、フラットなプロファイルではほぼ不可能です（成功率はほぼゼロ）。
• 相乗効果: 最良のコールドスタート性能は、構造化プロファイルと学習可能設定を組み合わせることで達成されます。この組み合わせにより、ルーターは関係構造と学習された統合を活用して、未見のモデルの能力を推論できます。
• 共設計: 汎化の向上は均一ではなく、プロファイルとルーターの共設計に依存します（例：GraphRouter は構造化プロファイルから最も恩恵を受けます）。

5. 意義と結論

本研究は、LLM ルーティング研究のパラダイムを、単にルーティング機構の設計に焦点を当てることから、LLM プロファイルの設計を優先するバランスの取れた視点へと転換させます。

• 理論的洞察: 入力表現（プロファイル）の品質が、ルーティング性能のボトルネックであり、しばしばルーターアーキテクチャ自体よりも重要であることを示しています。
• 実践的指針:
  • フラットな、インデックスベースの、またはドメインのみの粗いプロファイルを避ける。
  • 構造化された、クエリレベルのデータ統合を優先する。
  • 新規モデルへの堅牢な汎化のためには、学習可能で構造化されたプロファイル構築を採用する。
• 将来の方向性: 本論文は、LLM プロファイリングを重要かつ未開拓の研究分野として確立し、より効果的で汎用性の高いマルチ LLM ルーティングシステムを開発するための原理的な基盤を提供します。