技術要約: Opti-Q: マルチLLM質問プランニングのための制約ベース最適化フレームワーク

1. 問題提起

質問応答（QA）における大規模言語モデル（LLM）の導入は、非決定性、不均一なリソースプロファイル（財務コスト、レイテンシ、エネルギー）、および質問タイプによる性能の差異という大きな課題に直面している。最近の研究では、複数のモデルを協調的に活用することで単一の「最良」モデルを凌駕できることが示唆されているが、素朴な実行戦略（例：常にすべてのモデルにクエリを投げる、あるいは固定されたカスケードを使用する）は、しばしばリソース使用の非効率化、コスト増大、および回答品質の低下を招く。

現在のオーケストレーション・フレームワーク（例：LangChain, DSPy）は、開発者が記述したワークフローや、実行時の短絡的な意思決定に依存しており、ダウンストリームへの影響を考慮していない。マルチLLMのオーケストレーションを、ユーザー指定の制約（予算、レイテンシ、エネルギー）と望ましい回答品質（QoA）に基づき、実行前に最適な実行プラン（逐次、並列、またはハイブリッド）を選択するコストベースの多目的クエリプランニング問題として扱うシステムは存在しない。

2. 手法: OPTI-Q フレームワーク

OPTI-Qは、マルチLLM QAのための「実行前プランニング」パラダイムを実装した、データベースに着想を得たコストベースのオプティマイザである。本研究では、この問題を、QoAに対して財務コスト、レイテンシ、エネルギーのバランスを取るパレート最適プランを見つけるための多目的最適化（MOO）タスクとしてモデル化している。

A. モデリングと定式化

• 質問モデル: 質問 $Q$ は、プロンプト、トピック、およびユーザー制約（$F_{max}, L_{max}, E_{max}, QoA_{min}$）と重みベクトル $W$ によって定義される。
• プランモデル: プランは、ノードがLLMの呼び出し（物理オペレータ）であり、エッジがデータの流れを表す有向非巡回グラフ（DAG）として表現される。
  • 逐次オペレータ (Sequential Operators): 中間回答を後続のモデルへのコンテキストとして渡す。
  • 並列オペレータ (Parallel Operators): 複数のモデルを並行して実行する。
  • ブレンディング・オペレータ (Blending Operators): 専用の「ブレンダー」モデルを使用して、並列ブランチからの出力を統合する。
• 最適化目標: $[QoA(\pi), -Financial(\pi), -Latency(\pi), -Energy(\pi)]$ を最大化すること。ただし、ユーザー制約に従うものとする。

B. コア・コンポーネント

1. PERFDB (統計カタログ):

   • ベンチマークや実行トレースからオフラインおよびインクリメンタルに構築されるパフォーマンス・データベース。
   • 個々のLLMおよび合成されたサブプランの統計量（QoA、コスト、レイテンシ、エネルギー）を、実行コンテキスト（トピック、オペレータ型、モデル）をキーとして保持する。
   • これにより、プランを実行することなく、実行前の指標推定を可能にする。また、分散推定値や信頼区間を保持することで、確率性を処理する。

2. コスト・ベネフィット推定:

   • トークン推定: モデル固有のトークナイザと履歴的な出力長に基づき、入力/出力トークン数を予測してコストを推定する。
   • QoA推定: PERFDBを用いたトピック条件付きルックアップを使用する。合成プランについては、履歴トレースから導出された乗法的相対効果係数（逐次ステップ用）および平均的相対変化係数（ブレンディング用）を適用し、フルプランの品質を推定する。
   • リソース推定: 財務コスト（固定費 + トークンごとの変動費）、エネルギー（トークンに比例）、およびレイテンシ（トークン量に線形、並列ブランチは最大時間を採用）を算出する。

3. プラン生成と探索:

   • エンコーディング: プランは、連結マップ（隣接行列）とモデル割り当てベクトルとしてコンパクトにエンコードされる。
   • 探索空間: 可能なプランの空間は組合せ爆発的であり、網羅的な最適化はNP困難である。
   • 最適化エンジン: OPTI-Qは、3つの戦略を持つ「プラグ可能な」エンジンをサポートする。
     • 動的計画法 (DP): 小規模なインスタンス用の厳密解ソルバ。状態空間の爆発を管理するために枝刈りを用いる。
     • 山登り法 (HC): 高速な局所探索のための軽量な貪欲法ヒューリスティック。
     • NSGA-II: 大規模なプラン空間においてパレート境界を近似するための、デフォルトで使用される多目的進化アルゴリズム。
   • 選択: オプティマイザは、非劣な実行可能プランの集合を生成する。最終的なプランは、正規化された目的関数にユーザー重み $W$ を適用して選択される。

C. 実装

• システム: オプティマイザと実行エンジンを統合したモジュール式フレームワーク。
• モデル: ローカルでOllamaを介して動作する5つのオープンソースモデル（Gemma-3:27B, LLaMA3-ChatQA, Qwen2.5, Phi-4, Mistral）を用いてテスト。
• ブレンディング: ブレンダーにはGemma-3:27Bを使用し、検証においてGenFuserのような特化型コンポーネントを上回る性能を示した。
• プロンプティング: 特定のコンテキストおよびブレンディングプロンプトを用いたZero-Shotプロンプティングを採用し、モデルの挙動を制御する。

3. 主な貢献

1. コスト/ベネフィットの定式化: マルチLLM QAプランニングを、QoA、コスト、レイテンシ、およびエネルギーを明示的にバランスさせる、制約付き多目的最適化問題として定式化した。
2. 統計駆動型オプティマイザ: 履歴統計カタログ（PERFDB）を用いて、実行前に品質とリソースコストを推定しながら、逐次/並列/ハイブリッドのワークフローを列挙および枝刈りするシステム。
3. 統合システム: 質問に対して動的にルートを決定し、最適な実行グラフを選択する、オープンソースLLMを横断する実用的なプロトタイプ。

4. 実験結果

本フレームワークは、4つの最新のベースライン（ThriftLLM, LLM-Ensemble, FrugalGPT, LLM-Blender）に対し、MMLU-Pro（多肢選択式）およびSimpleQA（自由記述式）のベンチマークを用いて評価された。

• 性能向上: ユーザー指定の予算下において、OPTI-Qは、同一の質問あたりのコストにおいて、最強の予算意識型ベースラインと比較して、SimpleQAで約58%、MMLU-Proで**約41%**の平均QoA向上を実現した。
• スケーラビリティ: NSGA-IIは、最適なスケーラビリティと品質のトレードオフを提供し、数十秒程度のプランニング時間（例：$k=5$ の操作で21秒）で、参照となるパレート境界に近い品質を維持した。
• データ不足への堅牢性: 「コールドスタート」シナリオ（レベル0のPERFDBカバレッジ）においても、OPTI-Qはベースラインを上回った。履歴データが増加するにつれ（レベル1〜4）、QoAは大幅に向上し（例：MMLU-Proで+66.7%）、リソース推定誤差も急激に減少した。
• 予算遵守: システムは高い予算遵守率（88〜96%）を維持しており、超過の主な要因はレイテンシではなくコストであった。
• 商用APIとの比較: OPTI-Qは、SimpleQAにおいて商用モデル（例：Claude Opus 4.6, GPT 5.4）よりも高いQoAを達成しつつ、外部サーバーコストを考慮すると、それらよりも大幅に低いコスト（それぞれ37.8倍および14.5倍安価）を実現した。MMLU-Proにおいては、Gemini 3.5 Flash（0.871）に対し、極めて低いコストで競争力のある品質（0.82）を達成した。

5. 意義と主張

本論文は、データベース型のプランニングが、動的かつ短絡的なオーケストレーションや固定されたアンサンブルと比較して、より優れた品質–リソースのトレードオフをもたらすことを主張している。

• パラダイムシフト: LLMのオーケストレーションを、手続き的なスクリプティング・タスクではなく、宣言的なクエリプランニング問題として扱うことで、制約下での効用を最大化する質問固有の動的な適応が可能になることを示した。
• 実用的な実現可能性: 結果は、構造化された統計駆動型のプランニングが、高機能な商用APIに頼ることなく、パフォーマンスと効率性のバランスを取るための実用的な基盤となることを示唆している。
• 将来の可能性: 著者らは、この「実行前プランニング」のアブストラクションが、統計カタログに同様のコスト・ベネフィット・プロファイルを持つ新しいオペレータを定義することで、QAを超えて、より豊かなRAG（検索拡張生成）やエージェント的ワークフローへと拡張できると考えている。