FOCUS: Decoupling Expert Personas in LLMs to Enhance Domain Expert Capabilities

技術要約：FOCUS (Fine-tuning with Orthogonal Control for Uncoupled personaS)

問題提起
大規模言語モデル（LLM）は多様なペルソナを提示する能力を備えており、特定の「エキスパート・ペルソナ」を活性化させることは、数学的推論や医療などのドメイン固有のタスクにおける性能向上に寄与することが示されています。しかし、既存のペルソナ制御手法は、しばしば**ドメイン間の結合（cross-domain coupling）**という問題に直面します。LLMは混合データで学習されているため、異なるエキスパート・ペルソナ（例：医療、法務、金融）の内部表現は独立していません。この結合は、行動の衝突を引き起こします。例えば、「攻撃的」な金融トレーダーのペルソナが、医療の文脈で不適切に活性化された場合、患者の安全を損なうような過信やハイリスクな回答を招く可能性があります。逆に、医療ペルソナによる過度な慎重さは、リスクに敏感な判断が求められる金融取引において、思考を妨げる可能性があります。プロンプトベースの活性化や単純なベクトル・ステアリングを含む現在の手法は、これらの相反する行動要因を分離できておらず、その結果、不安定な性能や不純なドメイン整合性を招いています。

手法
これらの限界に対処するため、著者らは、3つのステップを通じてドメイン固有のエキスパート・ペルソナを分離・制御するように設計されたフレームワークであるFOCUSを提案します。

1. エキスパート・ペルソナ・ベクトルの抽出:
   著者らは、まずLLMの残差ストリームからペルソナ・ベクトルを抽出するための自動パイプラインを構築します。対照的なシステムプロンプト（エキスパートの挙動を引き出すためのポジティブ・プロンプト vs それを抑制するためのネガティブ・プロンプト）と、ドメイン固有の質問応答ペアを用い、ポジティブな応答セットとネガティブな応答セットの平均活性化ベクトルの差分を計算します。これにより、一般的なエキスパート（$v_g$）および特定のドメイン（金融：$v_f$、法務：$v_l$、医療：$v_m$）の候補ベクトルが得られます。

2. 直交分解（デカップリング）:
   ドメイン間の干渉を排除するために、本手法ではグラム・シュミットの直交化を適用します。一般的なエキスパート・ベクトル $v_g$ を正規化して直交基底として使用します。次に、各ドメイン固有のベクトルをこの基底に投影し、その投影成分を減算します。このプロセスにより、「一般的なエキスパート」および共有されるドメイン間の成分を特定のベクトルから除去し、純粋なドメイン専門知識を表す一連のデカップリングされた直交ペルソナ・ベクトル（$q_g, q_f, q_l, q_m$）が得られます。

3. エキスパート・ゲーティングを用いた2段階学習:
   Transformerのフィードフォワード・ネットワーク（FFN）サブレイヤーの後に、軽量なエキスパート・ゲーティング・モジュールを挿入します。このモジュールは、2層のMLPとソフトマックス関数で構成され、入力コンテキストに基づいてデカップリングされたペルソナ・ベクトルを組み合わせるための重み（$\alpha$）を動的に計算します。学習は以下の2段階戦略に従います。

   • ステージ1（シングルドメイン・アライメント）: モデルを単一ドメインのデータセットで**ゲート選択正則化（gated selection regularizer）**を用いてファインチューニングします。この損失項は、ゲーティングの重みが疎（正しいドメインに対して1に近づき、他に対して0になる）になるよう促し、モデルが単一ドメインのタスクに対して特定の専門家ベクトルを活性化することを確実にします。
   • ステージ2（クロスドメイン汎化）: 単一ドメインおよびクロスドメインのサンプルを含む混合データセットでモデルをファインチューニングします。ここでは正則化器を取り除き、モデルが明示的な選択制約なしに、複数のエキスパートの視点を必要とする複雑なタスクに対して適応的な重みの組み合わせを学習できるようにします。

主な貢献

• 結合による不安定性の特定: 本論文は、相反する要求（例：慎重さ vs リスクテイク）により、結合されたエキスパート・ペルソナがドメインタスクにおいて不安定な性能と行動の衝突を引き起こすことを明らかにしました。
• FOCUSフレームワーク: ペルソナ・ベクトルをデカップリングするための直交分解と、それらを適応的に活性化するためのゲート選択メカニズムを組み合わせた、新しいフレームワークを提案しました。
• 性能向上: 金融、法務、医療の各ドメイン、およびクロスドメインのシナリオにおいて、FOCUSが回答精度を向上させることを実証しました。これは、プロンプトベースのステアリングや標準的な教師ありファインチューニング（SFT）を凌駕しています。

実験結果
実験は、株価予測（金融）、LegalBench（法務）、専門医療（MedQA/MMLU）、およびクロスドメイン・データセット（MedEthicsQA, CUAD）を含むベンチマークを用いて実施されました。

• 精度: FOCUSは、プロンプトベースのステアリング、推論時のステアリング、標準的なSFTを含むベースラインを一貫して上回りました。特筆すべきは、大規模なドメイン固有の学習データに依存するいくつかのドメイン特化型モデル（例：Finance-Chat, Law-Chat）をも上回った点です。
• クロスドメイン能力: クロスドメイン・タスクにおいて、FOCUSは比較されたすべての手法の中で最良の結果を達成し、複数のペルソナ・ベクトル（例：医学的推論と法的推論の組み合わせ）を効果的に合成できる能力を示しました。
• アブレーション研究:
  • デカップリング: 直交デカップリングのステップを除去すると、一貫した性能低下が見られ、生の抽出ベクトルには干渉成分が含まれていることが確認されました。
  • 2段階学習: ステージ1（疎性）またはステージ2（適応）のいずれかを除去すると性能が低下したことから、焦点化された単一ドメインの活性化と、柔軟なクロスドメインの合成の両方が必要であることが示されました。
  • ゲーティング強度 ($\gamma$): 最適なスケーリング係数として $\gamma=2$ が見出されました。値が低すぎるとペルソナ特性が注入されず、高すぎると「ペルソナの過剰強化」が発生し、汎化性能の喪失を招きました。

意義
本論文は、FOCUSがLLMの効率的なドメイン適応のための新しいアプローチを提供すると主張しています。内部のエキスパート表現を明示的にデカップリングし制御することで、大規模なドメイン固有データの再学習を必要とせずに、クロスドメイン結合による不安定性を解決します。結果は、構造化されたペルソナ・ベクトルの制御によって、モデルがドメイン固有の推論における高い純度を維持しながら、多面的で複雑なタスクを扱うための柔軟性を保持できることを示唆しており、高リスクな領域におけるLLMの信頼性向上に向けた有望な方向性を提示しています。