技術要約: RouteJudge および ORBIT

1. 問題提起

大規模言語モデル（LLM）のルーティングは、流入するクエリに対して、コスト、レイテンシ、スループットといった制約を最適化しながら、異種混合のモデルプールから最も適切なモデルを自動的に選択することを目的としている。既存の評価プロトコルは、静的なベンチマーク、「正解（ゴールデン・アンサー）」、または自動スコアリング指標に依存しているが、これらの手法は「固定された回答品質の概念」を押し付けるという決定的な限界を抱えている。現実世界のインタラクションにおいて、ユーザーの好みは多元的であり、文脈に依存する。クリエイティブな執筆、翻訳、あるいはチュータリングなどのタスクでは、複数の出力が事実として妥当であっても、トーンや詳細度、あるいはコストへの敏感さに基づいて、ユーザーは異なるレスポンスを好む場合がある。その結果、オフラインのベンチマークに整合した指標の下で優れた性能を示すルーターが、デプロイメントにおいて実際にユーザーが好むモデルを選択できない可能性がある。本論文は、現在の評価手法が、現実的なクエリ分布の下でルーティングの決定がユーザーの好むレスポンスにつながっているかどうかを十分に捉えられていないという「多元的な好みの整合性問題（pluralistic preference alignment problem）」を特定する。

2. 手法

本論文は、オフラインのベンチマーキングとオンラインのユーザーの好みの間のギャップを埋めるために設計された、2部構成のエコシステム、RouteJudge と ORBIT を導入する。

RouteJudge: オンライン・プリファレンス評価フレームワーク

RouteJudgeは、固定された参照回答ではなく、匿名のペア比較によるユーザーの好みを介してルーティング戦略を評価するオンラインプラットフォームである。

• 評価レコード: モデルレベルのリーダーボードとは異なり、RouteJudgeは、ユーザーのクエリ、予算制約、複数の戦略によって行われたルーティング決定、選択されたモデルのレスポンス、ユーザーの好みのラベル、推論コスト、レイテンシ、およびタスクのメタデータを含む「ルーティング中心」のレコード ($Z$) を保存する。
• ワークフロー:
  1. 提出: ユーザーがクエリとコスト予算を提出する。
  2. ルーターの推奨: 複数のルーティング戦略 ($R$) が、予算内で実行可能なモデルセット ($M_C$) から候補となるモデルを独立して選択する。
  3. デュエル（決闘）の選択: プラットフォームは投票を集計し、最も票数の多かった「デュエル・ペア」のモデル ($m_A, m_B$) を選択する。
  4. 匿名の判断: ユーザーはブラインド・インターフェース内で $m_A$ と $m_B$ のレスポンスを比較し、「Aの勝利」、「Bの勝利」、「引き分け」、または「両方とも不適切」のいずれかを選択する。
  5. ルーターへの帰属: 嗜好信号は、勝った（あるいは負けた）モデルを選択したルーティング戦略へと帰属される。ルーターは、選択されたモデルが判定されたデュエルに参加した場合にのみスコアを受け取り、それ以外の場合は非参加 ($\emptyset$) とマークされる。
• 指標: システムは、ルーターレベルの勝率、Eloレーティング、参加率、およびコスト・品質のパレート・フロンティアを追跡し、タスク条件付きおよび予算を考慮した分析を可能にする。

ORBIT: 最適ルーティングおよび予算制約付き推論ツールボックス

ORBITは、RouteJudge上で評価される手法の継続的な拡張をサポートするために、LLMルーティングのエンドツーエンドのワークフローを標準化する、モジュール式で拡張可能なツールボックスである。

• 標準化: ベンチマークのロード、クエリ表現（様々なエンコーディング層を介して）、ルーターの実装（ルールベース、学習ベース、検索ベースなど）、および予算を考慮した評価のための統一されたインターフェースを提供する。
• 構成可能性: 研究者は、コアロジックを書き直すことなく、データセット、エンコーダー、およびルーターを独立して入れ替えることができる。
• 統合レイヤー: ORBITは、RouteJudgeへの提出インターフェースとして機能する。研究者はORBIT内でルーターを実装し、オフラインで検証した後、オンライン評価のために互換性のあるルーターを提出する。
• 2段階評価パイプライン:
  1. ヒストリカル・リプレイ: 提出されたルーターは、過去のRouteJudgeのレコードに対して評価され、過去の比較においてユーザーが好んだモデルを選択していたかどうかが判定される。
  2. オンライン評価: 検証されたルーターはライブプラットフォームにデプロイされ、リアルタイムの匿名ペア比較に参加し、嗜好の帰属を受ける。

3. 主な貢献

1. RouteJudge プラットフォーム: 匿名のペア比較を通じて、LLMルーティングシステムを「モデルレベルのレスポンス品質」から「ルーターレベルの決定品質」へと評価対象を転換し、多元的なユーザーの好みに基づいて評価するために特別に設計された、初のオープンなプラットフォーム。
2. ORBIT ツールボックス: 再現可能なオフライン・ベンチマーキングを可能にし、ルーティング手法のシームレスな提出を実現する、標準化された開発および統合レイヤーであり、現在のルーティング研究におけるエンジニアリングの断片化に対処する。
3. 評価プロトコル: 静的な「最良モデル」の仮定に依存するのではなく、予算制約、タスクタイプ、および参加率を考慮して、ユーザーの好みをルーティング戦略へと帰属させる新しいプロトコル。
4. オープンなエコシステム: RouteJudge と ORBIT の組み合わせにより、手法をオフラインで開発し、過去の好みに基づいて検証し、ライブのユーザー向け環境でテストできるクローズドループが構築される。

4. 予備的な結果

著者らは、オフラインの ORBIT パイプラインとオンラインの RouteJudge プラットフォームの両方からの初期の経験的な知見を提示している（2026年6月時点）：

• オフラインの一貫性: RouterEval ベンチマークを使用することで、ORBIT は、異なるルーティング手法（例：EmbedLLM, Eagle, EquiRouter）が統一されたプロトコルの下で比較可能であることを実証し、性能とコストのトレードオフ曲線や nAUC および Peak Score といった指標を明らかにした。
• オンラインでの差別化: RouteJudge において、109 件のユーザー投票による比較の結果、プラットフォームはルーティング戦略を正常に差別化した。RouterLLM-MF が最高の Elo スコア（1278）を達成し、NIRT-Router は最高の観測勝率（80.00%）を示した。
• オフライン指標からの乖離: 結果は、強力なオフライン設計が必ずしもオンラインの嗜好の成功に直結しないことを示している。明示的な学習型スコアリングメカニズムを持つ一部のルーターは、より単純な非パラメトリック手法や行列分解ベースの手法よりも、ユーザーの嗜好において低いパフォーマンスを示した。
• コストと嗜好のトレードオフ: モデルレベルのデータ分析によれば、嗜好はコストのみによって決定されるのではない。一部の低コストモデルが競争力のある勝率を達成しており、これは効果的なルーティングには、単に最も有能なモデルをデフォルトにするのではなく、ユーザーの予算とタスクの文脈に合わせてモデル選択を適応させることが必要であることを示唆している。

5. 意義と主張

本論文は、RouteJudge と ORBIT が、LLM ルーティングにおける「多元的な好みの整合性問題」を共同で解決すると主張している。静的なベンチマークを超越することで、このエコシステムは、ルーティングの決定が現実的な制約の下で、実際のユーザーの好みに適合しているかどうかを研究者が評価することを可能にする。著者らは、この研究をすべてのルーティング手法の最終的なランキングとしてではなく、オープンな評価エコシステムへの基礎的なステップとして位置づけている。彼らは、将来のルーティング研究は、ベンチマークに最適なモデル選択だけでなく、ユーザーが好む、コストを考慮した、そしてデプロイメントに敏感な振る舞いも考慮しなければならないと主張している。本システムは、ORBIT 標準を通じて再現性を維持しながら、コミュニティが新しいルーターやベンチマークを貢献できる、継続的に拡張可能な設計となっている。