技術概要：SOMA – 小規模言語モデルによる効率的な多ターン LLM サービング

問題定義

大規模言語モデル（LLM）は、会話的文脈の維持が不可欠な多ターン対話環境において、ますます展開されるようになっています。標準的なサービング手法では、一貫性を確保するために、各ターンで完全な対話履歴を連結します。信頼性は高いものの、このアプローチは、特にクエリが大型の専有モデルにルーティングされる場合、遅延、メモリ、API 費用において多大なコストを招きます。既存の解決策は、応答の質と効率性のバランスを取ることに苦慮しています。

• 単一モデルアプローチ（圧縮、メモリ検索、アテンションの再利用など）は、依然として各ターンで大型モデルに依存しており、金銭的コストや GPU 使用量を大幅に削減できていません。
• 多モデルアプローチ（単純なクエリを小型モデルへルーティングするなど）は、対話の複雑さに対して一般化できず、モデル切り替えによるオーバーヘッドを導入することが多いです。さらに、LLM は初期ターンに強く依存して基盤を構築します。蓄積された文脈をモデル化せずに単純に後続のターンを小型モデルに委ねることは、応答のドリフトと質の低下を招きます。

核心的な課題は、各ターンで完全な履歴を再計算することなく、応答の質を維持しつつ、文脈を認識した効率的な多ターンサービングフレームワークを実現することです。

手法：SOMA

著者らは、多ターン対話におけるトークン数の「長尾分布」（初期ターンは情報密度が高く、後続ターンは短い更新であるという分布）を利用する SOMA（Soft-prompts for lOcal Manifold Approximation：局所多様体近似のためのソフトプロンプト）を提案します。SOMA は、初期の対話によって定義される推論多様体の制約された局所領域内において、大規模な元モデル（$F$）の挙動を近似するように、より小型の代理モデル（$G$）を適応させます。

このフレームワークは、3 段階のパイプラインで動作します。

1. ソフトプロンプトチューニング（弱いアライメント方向のマイニング）

システムは、セッションの初期ターンを用いて、代理モデル $G$ が大規模モデル $F$ と最も顕著に乖離する箇所を特定します。

• 目的: $F$ と $G$ の間の意味的乖離を最大化するソフトプロンプト行列 $P$ を学習すること。
• 損失関数: 目的関数は以下の要素を組み合わせます。
  • 意味的乖離損失: $F$ が生成したトークンに $G$ が高い確率を割り当てることを抑制する、不確実性（unlikelihood）スタイルの損失。これは、言い換えられた不一致を捉えるために「意味的近傍」に拡張されています。
  • 期待値重み付き乖離: $G$ の出力の期待埋め込みが依然として $F$ のトークンと一致する場合にペナルティを加重する項。これにより、モデルが意味的に類似しているが誤ったトークンに確率質量を単純に分散させることを防ぎます。
  • 劣化防止正則化項: 出力が反復的または無味乾燥なものに収束するのを防ぐためのエントロピー項。
• プロセス: ソフトプロンプトは $G$ の埋め込み層に適用され、一方、$F$ には比較可能な条件付けを確保するために最近傍の口語化（verbalization）が適用されます。

2. 局所ファインチューニング（LoRA 適応）

ソフトプロンプトによって「困難な」局所的なケース（最大乖離方向）が特定されると、これらの例が代理モデルの軽量な適応へと蒸留されます。

• データ選択: 最も高い乖離スコアを有するターンが選択され、局所トレーニングセットを形成します。
• 適応: 代理モデル $G$ は、選択されたターンにおける元モデルの応答を最適化するために、アテンションと MLP 投影に対して LoRA（Low-Rank Adaptation）を用いてファインチューニングされます。
• 結果: 連続的なソフトプロンプトは破棄されます。適応された代理モデルは、現在のセッションの局所多様体に特化したものとなります。

3. 切り替えとロールバックによる効率的推論

• 切り替え: 意味的ゲート（コサイン類似度に基づく）は、大規模モデル $F$ から適応された代理モデル $G$ へ切り替えるタイミングを決定します。切り替えは、ウォームスタートウィンドウと受諾バッチの後にのみ行われ、代理モデルが元モデルと整合しており、対話が学習された局所状態内にあることを確認します。
• 推論: 切り替え後、システムは 圧縮入力（初期内容の固定予算要約と最近のターン）を用いて、適応された代理モデルでターンをサービングし、完全な履歴処理を回避します。
• ロールバック: ドリフト検出器が対話を監視します。対話がトピックを変えたり、学習された局所状態から外れたりした場合、システムは大型モデル $F$ へロールバックし、局所要約を更新して、切り替え条件を再評価します。

主要な貢献

1. 長尾パターンの経験的発見: 著者らは、ShareGPT、医療、交渉、ロールプレイなど多様なドメインにおいて、初期ターンが重い文脈を持ち、後続ターンが短い更新であるという、一貫した長尾パターンを明らかにしました。これは、蓄積された文脈を前提とした場合、後続ターンに対してより安価な代理モデルを使用することを動機付けます。
2. SOMA フレームワーク: 効率的な多ターンサービングのための新規手法であり、以下の機能を持ちます。
   • 代理モデルと元モデル間の最大応答非類似性を露呈させるためにソフトプロンプトを学習する。
   • マイニングされた弱いアライメント方向に対して局所的な LoRA ファインチューニングを通じて代理モデルを適応させる。
   • 切り替えのための単純なコサインゲートと、ドリフトを認識したロールバック機構を備えたプロンプトフリー推論を可能にする。
3. 理論的解析: 論文は以下の理論的境界を提供します。
   • 切り替えの信頼性: ウォームスタートの一般化と受諾バッチ検出のための集中度境界。
   • プロンプト探索のカバレッジ: 局所的な不一致多様体を網羅するために必要なソフトプロンプト候補の数の保証。
   • 最適性の限界: 選択された候補の方向性の質に関する分析。

実験結果

LLaMA および Qwen モデルファミリーを用いて、6 つのデータセット（ShareGPT、ReMeDi、Craigslist、Multi-Char、MATH、MT-Bench）で広範な実験が行われました。

• 応答の類似性: SOMA は、すべてのデータセットにおいて元の大規模モデルとの応答類似性が最も高く、完全な履歴を小型モデルに供給する History-Prefix、標準的なファインチューニングである History-FT、および RouteLLM などのベースラインを上回りました。
• タスク基盤の質: MATH データセットにおいて、SOMA は小型代理モデルと元の大規模モデルの間の精度ギャップを大幅に縮小し、類似性の向上が推論能力の維持に転換されることを示しました。
• 効率性:
  • トークン使用量: 切り替え後の完全な履歴サービングの繰り返しを回避することで、SOMA は平均トークン使用量を削減しました。
  • 損益分岐点: 短いセッションはウォームスタートのオーバーヘッドにより恩恵を受けない可能性がありますが、中〜長期のセッションでは、遅延とトークンコストにおいて顕著な純増益を示しました。
• アブレーション研究: 劣化防止正則化項または期待値重み付き項を除去すると性能が低下し、安定したプロンプトマイニングと不一致を認識した選択の必要性が確認されました。
• 信頼性: ドリフトを認識したロールバックは、トピックの転換が発生した際に性能を回復させ、誤ったロールバックを最小化しながら高い類似性を維持しました。

意義と主張

本論文は、セッションローカルの代理モデルサービングが、効率的な多ターン LLM 展開のための実用的かつ効果的な方向性であると主張しています。多ターン対話を局所多様体近似問題として扱うことで、SOMA は小規模モデルが特定の会話文脈内において大規模モデルの推論プロセスを再現することを可能にします。

著者らは、このアプローチが以下の点で優れていることを強調しています。

• 一貫性を犠牲にすることなく、サービングコストと遅延を削減する。
• 後続ターンが確立された対話状態（「局所的」条件）に依然として紐付いているセッションにおいて特に効果的である。
• 意味的受諾ゲートと自動ロールバック機構を通じて、質の低下のリスクを軽減する。

この研究は、多くの実世界のインタラクティブなアプリケーションにおいて、システムがより小規模なモデルを局所的な会話文脈に動的に適応させることができれば、大規模モデルを用いて完全な履歴を再処理する計算負荷は不要であることを示唆しています。