論文サマリー：FineRouter - 微細な潜在タスク発見によるスケーラブルなプロンプトライティング

1. 背景と課題 (Problem)

大規模言語モデル（LLM）の能力はタスクによって異なり、単一のモデルがすべてのタスクで最良のパフォーマンスを発揮するわけではありません。このため、複数の候補モデルから各クエリに対して最適なモデルを動的に選択する「プロンプトライティング」が注目されています。

しかし、モデルプールが数十もの最先端モデル（Frontier Models）に拡大し、モデル間の性能差が狭小化・微細化されるにつれ、既存のアプローチには以下の重大な課題が生じています。

• 手動定義のタスク分類の限界: 既存手法は手動で定義された粗粒度のタスク分類（例：「数学」「コーディング」）に依存していますが、LLM の微妙な強弱や、同じカテゴリ内でも異なる能力（例：数式処理 vs 文脈問題）を捉えきれません。
• 単一モナリシックルーターの限界: 全タスクを単一のモデルで予測する手法は、多様なタスク間における微細な能力差を区別することが難しく、最先端モデル間の狭い性能差を識別するのに不十分です。

2. 提案手法 (Methodology)

著者らは、これらの課題を解決するために**「FineRouter」**と呼ばれる 2 段階のルーターアーキテクチャを提案しました。この手法は、自動化された微細なタスク発見と、タスクを考慮した品質推定を組み合わせています。

ステージ 1：タスクタイプの発見とマッチング（オフライン）

この段階では、事前定義された分類に頼らず、データから自動的に微細なタスク構造を学習します。

1. グラフベースのクラスタリング:
   • 訓練データに対して、LLM によって生成されたタスク記述の意味的類似性と、モデルの選好順位リストに基づく性能ベースの類似性（Rank Biased Overlap, RBO）の 2 つの信号を統合します。
   • 疎なプロンプトグラフを構築し、Leiden 法を用いたコミュニティ検出を反復適用することで、意味的に類似し、かつ同じモデルが得意とするプロンプト群を「発見されたタスクタイプ」としてクラスタリングします。
2. 候補モデルの選定:
   • 各クラスタ（タスクタイプ）に対して、そのタスクで最も高い性能を示す候補モデルのサブセットを適応的に選択します。
3. タスク分類器の学習:
   • 推論時に新しいプロンプトを発見されたタスクタイプに割り当てるための分類器を訓練します。

ステージ 2：タスクを考慮した動的ルーター（オンライン推論）

ステージ 1 で割り当てられたタスクタイプに基づき、専門的な品質推定を行います。

• Mixture-of-Experts (MoE) 構造:
  • 単一のルーターではなく、タスク固有の予測ヘッドと汎用的なアダプターを併用する MoE アーキテクチャを採用します。
  • 特定のプロンプトが特定のタスクタイプに割り当てられた場合、そのタスクに特化した予測ヘッド（候補モデル用）と、他のモデル用の汎用アダプターを同時に呼び出します。
  • これにより、各タスクタイプに特化した専門知識を活用しつつ、候補モデルの網羅性を維持します。

推論時の統合

最終的なモデル選択は、以下の 2 つの信号を重み付けして統合することで決定されます。

1. ステージ 1 の信号: 割り当てられたタスククラスタにおけるモデルの平均的な品質スコア（タスクレベルの安定性）。
2. ステージ 2 の信号: 入力プロンプト固有の品質推定値（インスタンスレベルの適応性）。
   この統合により、タスクレベルの安定性とプロンプト固有の柔軟性のバランスを取ります。

3. 主要な貢献 (Key Contributions)

1. スケーラブルな自動化タスク発見手法: 大規模な訓練データから、意味的シグナルと性能ベースのシグナルを組み合わせ、微細なタスクタイプを自動的に発見する手法を提案しました。
2. タスクを考慮したルーターアーキテクチャ: 発見されたタスク構造を活用し、専門的な予測ヘッドを持つ MoE 品質推定モデルを導入することで、より正確なモデル選択を実現しました。
3. 包括的な評価: 10 の多様なベンチマークと 11 の最先端モデル（Claude-Sonnet-4.5, DeepSeek-R1, Llama-4-Maverick など）を用いた評価により、既存のベースラインを上回る性能と、単一モデル展開と比較して推論コストの半分以下で最良のモデルを超えるパフォーマンスを達成することを示しました。

4. 実験結果 (Results)

• ベンチマーク性能: 10 のタスク（QA, 数学, コーディングなど）において、FineRouter は既存のルーター手法（kNN, RouteLLM, IPR など）および個々の最良のモデルを常に上回る性能を示しました。
• コストパフォーマンス: 最も強力な候補モデル（Claude-Sonnet-4.5）と比較して、推論コストを 50% 未満に抑えながら、より高い品質スコアを達成しました。
• アブレーション研究:
  • 手動定義の粗粒度分類（Coarse CLS）よりも、自動発見された微細なタスク分類（Fine CLS）の方が効果的であることを示しました。
  • ステージ 1 のみ、ステージ 2 のみ、および両方の組み合わせを比較し、両方の段階が相補的に機能し、全体のパフォーマンスに寄与していることを確認しました。
• ケーススタディ: 発見されたタスクには、「数式記号処理に特化した数学タスク」と「文脈問題に特化した数学タスク」の区別や、「電話のエリアコードに関するニッチな事実質問」など、手動分類では見逃されがちな微細な区別が含まれていました。

5. 意義と結論 (Significance)

この研究は、モデルプールが拡大し、モデル間の性能差が微細になる現代の LLM 環境において、プロンプトライティングをスケーラブルに実行するための重要な枠組みを提供しています。

• 手動分類からの脱却: 手動でのタスク定義に依存せず、データ駆動型で微細なタスク構造を自動発見するアプローチは、急速に進化するモデル能力に対応できる柔軟性を示しています。
• リソース最適化: 単一の巨大モデルに依存するのではなく、タスクに応じて最適なモデルを動的に選択することで、高い性能を維持しつつ大幅なコスト削減を実現しました。
• 将来の展望: 本手法は、テキスト以外のマルチモーダル入力への拡張や、より多様なドメインへの適用において、次世代のモデル管理システムの基盤となり得ます。

結論として、FineRouter は、潜在タスク構造の明示的なモデリングを通じて、大規模かつ多様なモデルプールに対するより正確でスケーラブルなルーター決定を可能にする画期的なアプローチです。