CUPID in the Model Zoo: Online Matchmaking for Selecting Your Dream LLM

技術要約：Model ZooにおけるCUPID

問題提起
大規模言語モデル（LLM）が急増するにつれ、ユーザーは、急速に拡大するモデルのプールの中から特定のタスクに対して最も適切なモデルを選択するという重大な課題に直面している。この選択は、以下の2つの要因によって複雑化している。(1) LLMは、潜在的な特性（例：推論の質、冗長性、レイテンシ、コスト効率など）を有しているが、これらは多くの場合、事前には完全には観測できない不透明なものであること。(2) ユーザーは、自身の好みを明示的に言語化するための語彙や認識が不足していることが多く、その好みは汎用的なものではなく、アプリケーション固有かつ潜在的なものであることが多い。

既存のソリューションは、主に「クエリレベルのルーティング」に焦点を当てている。これは、固定された効用定義（例：精度 vs レイテンシ）に基づいて、個々のプロンプトを動的にモデルに割り当てるものである。しかし、ルーティングは、厳格なコストおよび時間の予算内で、ユーザーの好みが未知であり、潜在的であり、かつ限定的なインタラクションを通じて推論されなければならない状況において、「持続的なデプロイメント」のための単一のLLMを特定するという問題には対処していない。現在の手法は、既知の目的関数を想定しているか、あるいは集団レベルの統計量に依存しており、個々のユーザーのニーズを捉えることに失敗している。

手法：CUPIDフレームワーク
著者らは、ユーザーを最適なLLMにマッチングさせるための、インタラクション効率の高い能動学習フレームワークであるCUPID（Cost-aware User-centric Preference Identification and Discovery：コストを考慮したユーザー中心の嗜好特定および発見）を提案している。このフレームワークは、アプリケーション中心性（個人の好みの学習）、ユーザー中心性（軽量なフィードバックの使用）、および予算への配慮（コストとラウンド数の制限の遵守）という3つの核心的な要件の下で動作する。

コアアルゴリズムは、潜在的なデュエリングバンディット（dueling bandits）のために導出された新しいUpper Confidence Bound戦略であるHEART-UCB（Human-Elicited Adaptive Resource-aware Tradeoffs）である。手法のプロセスは以下の通りである：

1. 潜在的嗜好モデリング： ユーザーの嗜好は、潜在関数 $f: \mathcal{Z} \times \mathcal{A} \to \mathbb{R}$ としてモデル化される。ここで、$\mathcal{A}$ はLLMの集合、$\mathcal{Z}$ は未知の潜在的なユーザー目的（例：「安価」、「冗長」など）の集合を表す。この効用関数に対してガウス過程（GP）事前分布を配置し、モデルプール全体に対する不確実性を表現する。
2. 信念更新： システムは、潜在的な目的に関する信念ベクトル $b_t$ を保持する。ペアワイズの嗜好（例：モデルAがモデルBよりも好ましい）を観察すると、目的に関する信念はベイズの定理に従って更新され、GP事後分布はプロビット尤度を用いて更新される。
3. HEART-UCBの定式化： 次に比較すべきモデルのペアを選択するために、アルゴリズムは各モデルに対して信念を考慮したUCBスコアを計算する。このスコアは以下を統合する：
   • 期待効用： 潜在的効用の事後平均。
   • 探索ボーナス： 事後標準偏差（不確実性）。
   • 言語駆動バイアス： 自然言語によるフィードバック（例：「もっと安いモデルが必要」）から派生するオプション項。補助的なLLMがこのフィードバックを解釈し、述べられた方向性と一致するように選択をバイアスさせるインジケーター関数を生成する。
   • リソースペナルティ： アルゴリズムが目標率よりも速く予算を消費している場合に増加する動的なペナルティ項であり、予算が逼迫している場合に高価なモデルを実質的にペナルティ化する。
   • クールダウン： 候補となるモデルの効用が同等である場合に、同じモデルの繰り返し選択を防ぐための項。
4. インタラクション・ループ： CUPIDは、LLMのペアを繰り返し選択し、それらの回答をユーザーに提示し、ペアワイズのフィードバック（およびオプションの自然言語の手がかり）を収集し、予算が尽きるか収束に達するまで信念およびGP事後分布を更新する。

主な貢献

1. フレームワークの定式化： CUPIDは、明示的なコストおよび時間の予算を遵守しながら、潜在的で言語化が困難な嗜好の下でユーザーをLLMにマッチングさせるための一般的なフレームワークとして定式化されている。
2. HEART-UCBアルゴリズム： 著者らは、標準的なUCBを潜在的デュエリングバンディットへと拡張した、理論的に裏付けられたオンラインアルゴリズムであるHEART-UCBを導出した。これは、言語フィードバックをバイアス信号として統合し、リソース制約を効用計算に直接組み込んでいる点が独特である。
3. 実証的検証： 本論文は、テキストおよび画像生成タスクにおける広範な実験を通じて、$\epsilon$-greedy デュエリングバンディット、RUCB、およびLMArenaスタイルのサンプリングを含むベースラインと比較し、CUPIDの有効性を実証している。

実験結果

• 自動検証： 様々な目的集合を持つ25のOpenAIモデルのプールを用いたシミュレーションにおいて、CUPIDはすべての実験設定において100%の収束を達成し、収束に失敗することが多いRUCBや潜在的デュエリングバンディットなどのベースラインを大幅に上回った。また、CUPIDは高い収束率を達成しながら総APIコストを低く抑えることができ、優れたコスト効率を示した。
• 堅牢性： CUPIDは、ノイズの多い言語フィードバック（敵対的、静的、または意味不明なもの）や目的のシフト（MMLU-Proのような一般的なベンチマークで学習し、AIMEのような特定の推論タスクで評価する場合）に対して堅牢性を示した。これらの条件下においても、スコアとコストの両面で一貫してベースラインを上回った。
• ヒューマンスタディ： テキストおよび画像生成を含むA/Bブラインド・ユーザー調査において、参加者はCUPIDが選択した最終的なマッチングモデルを、LMArenaが選択したものと同等またはそれ以上の品質であると評価した。一方で、CUPIDは大幅に高い予算遵守率を達成した。CUPIDの優位性は、潜在的でオープンエンドなユーザー目的（H3およびH4）の設定において最も顕著であり、明示的な仕様が欠如している状況でも、隠れた嗜好を効果的に推論できることを示唆している。
• スケーラビリティ： CUPIDのアルゴリズム上のオーバーヘッド（GP更新およびUCBスコアリング）は、モデルプールのサイズに対して線形にスケールするが、LLMの生成レイテンシと比較すれば無視できる程度である（125個のモデルに対して1秒未満）。

意義と主張
本論文は、(i) UCBを用いた潜在的デュエリングバンディットを定式化し、(ii) オンラインのインタラクションに言語フィードバックを統合した最初の試みであると主張している。著者らは、CUPIDを、クエリごとのルーティングとは異なる、ユーザーレベルのモデル選択における「補完的レジーム（complementary regime）」の解決策として位置づけている。

本研究の意義は、最小限のインタラクション・オーバーヘッドとコストで、個々のユーザーのニーズを満たすLLMを効率的に発見できる能力にある。ユーザーの目的を潜在変数として扱い、軽量なペアワイズ比較とオプションの自然言語の手がかりを通じて信念を更新することで、CUPIDは、ユーザーが正確な技術的語彙や定義済みの仕様を持っている必要性を軽減する。著者らは、現在のGP定式化は回答内容を自動的には分析しないが、将来の研究ではコンテンツ認識型の埋め込みを取り入れることで収束をさらに加速できる可能性があると述べている。このフレームワークは、個人および組織の両方にとって、より情報に基づいた、効率的でコスト効率の高いデプロイメントの決定に向けた一歩として提示されている。