テクニカルサマリー：PermDoRA — 言語モデルにおけるアダプター干渉の理解

問題提起

エンタープライズや科学的設定における大規模言語モデル（LLM）のデプロイメントでは、モデル全体を再学習させることなく、ユーザーが特定のドメイン固有の知識のサブセットにアクセスすることを許可する、モジュール型のアクセス制御が求められることが多い。既存のアプローチは、プロンプト、ルーティング、または検索のレベルでアクセス制御を扱っているが、学習された表現のレベルでのモジュール性は欠いている。

パラメータレベルのアクセス制御における中心的な課題は、アダプター干渉（adapter interference）である。複数のドメイン固有のアダプターを推論時に合成する場合、性能が低下することが多い。有力な仮説として、この干渉は線形パラメータ更新の重複に起因するというものがある。したがって、幾何学を考慮したマージ（geometry-aware merging）を通じて、パラメータ空間における直交性または方向の独立性を強制することが、この干渉を軽減し、標準的なユークリッド平均と比較してマルチドメイン性能を向上させると仮定されている。

手法：DoRA-RBAC

著者らは、幾何学的干渉仮説を検証するために設計された階層型アダプター合成フレームワークであるDoRA-RBACを提案する。

1. フレームワークのアーキテクチャ

• ベースモデル: 事前学習済みのバックボーン（LLaMA-3.1-8B または Mistral-7B）を凍結する。
• 共有ベースライン: 共有ベースラインアダプターを学習し、凍結する。
• マネージャーアダプター: 各ドメイン $d$ に対して、マネージャーアダプターはベースラインに対する増分更新を保持する。
• DoRAの分解: 標準的なLoRA ($\Delta W = BA$) とは異なり、DoRAは更新を単位方向ベクトル $\hat{v}_i$ とスカラー量 $m_i$ に分解する：
  $$\Delta W_{DoBA}^i = m_i \cdot \hat{v}_i$$
  ここで $\hat{v}_i = \frac{\Delta W_i}{\|\Delta W_i\|_F}$ である。
• 合成: 推論時には、ユーザーに許可されたドメインが単一のフラット化されたアダプターへと合成される。

2. 合成戦略

本研究では、許可されたドメイン $D$ に対して2つのマージ戦略を比較している。

1. ユークリッド合成 (Euclidean Composition): 有効な重み更新は、ユークリッド空間で平均化された後、その結果を低ランクアダプターへと再構成するために、切り捨て特異値分解（truncated SVD）が行われる。
   $$\Delta W_D^{Euc} = \text{SVD}_r \left( \frac{1}{|D|} \sum_{i \in D} \Delta W_i \right)$$
2. リーマン合成 (Riemannian Composition / 幾何学を考慮した合成): DoRAによる方向と大きさの分離を活用し、この手法は正規化された方向を単位ハイパースフィア上の点として扱う。正規化された方向の平均化によってフレシェ平均を計算し、大きさは別途集計する：
   $$\hat{v}_D^{Riem} = \frac{\sum_{i \in D} \hat{v}_i}{\|\sum_{i \in D} \hat{v}_i\|}, \quad m_D^{Riem} = \sum_{i \in D} m_i$$
   最終的な重みはSVDを通じて再構成される。

3. 評価指標

• 有用性 (Utility): ベースラインに対するドメイン固有マネージャーの精度向上として、Utility Gap Index (UGI) を用いて測定される。
• 干渉／セキュリティ (Interference/Security): メンバーシップ推論攻撃（例：Min-K++）を用いて、モデルが「インドメイン」か「アウトオブドメイン」かをどの程度識別できるかを定量化するAUCスコアである、Domain Distinguishability Index (DDI) によって測定される。
• 幾何学的診断 (Geometric Diagnostics): アダプター更新間のコサイン類似度および対称的な直交損失。

主な結果

1. シングルドメイン性能

GPQA、PubMedQA、SimpleQA、WMDPにおけるシングルドメインタスクにおいて、DoRA-RBACは標準的なLoRAと同等の性能を示す。2つの手法の間でシングルドメイン設定における有意な性能差はなく、モジュール的な分解が本質的に有用性を低下させることはないことが確認された。

2. マルチドメイン合成（核心となる発見）

主要な実証的知見は、幾何学を考慮したマージは、マルチドメイン設定において標準的なユークリッド平均に対して一貫した優位性を提供しないということである。

• 性能: SimpleQA（2ドメインおよび3ドメインの組み合わせ）において、ユークリッド合成とリーマン合成は実質的に同一の精度スコアを生成した（例：Llama 2ドメイン：両者とも0.00532、Mistral 2ドメイン：両者とも~0.0123）。
• 干渉: 直交性を強制することで干渉が減少するという仮説は支持されなかった。合成による「利得」は、幾何学的構造ではなく、モジュール性自体の特性に起因している。

3. 幾何学的診断

• 角度の整列 (Angular Alignment): 本研究では、アダプター更新のコサイン類似度が、幾何学を考慮したマージがいつユークリッド的な挙動に収束するかを予測することを発見した。更新がより共線性を持つ（高いコサイン類似度を持つ）につれ、2つのマージ戦略間の性能差はゼロに縮小する。
• 幾何学の限界: しかし、角度の整列は総合的な合成性能の弱い予測因子である。アダプターが直交している場合でも、干渉は持続する。これは、干渉が主に線形パラメータ空間の幾何学によって支配されているのではないことを示唆している。

4. セキュリティとプライバシー

• 有用性とプライバシー: ドメイン固有のマネージャーはターゲットドメインの有用性を向上させるが（SimpleQAにおいて平均UGI +0.1178）、強力なプライバシー保証は提供しない。
• DDIの結果: Domain Distinguishability Index (DDI) のAUCは約0.65にとどまり、チャンスレベル（0.5）を明確に上回った。これは、モジュール的な合成がドメインの挙動を完全に隔離できていないことを示している。モデルは、構成要素であるドメインの識別可能な「行動的な指紋」を保持している。

結論と意義

本論文は、アダプターの干渉は主にパラメータ空間における線形な重複によって引き起こされるのではなく、共有された非線形表現およびダウンストリームの活性化における相互作用によって引き起こされると結論付けている。

• 幾何学的仮説の反証: 直交性を強制したりリーマン合成を用いたりすることで干渉を解決できるという仮定は誤りである。アダプターの更新方向がほぼ共線性を持つ場合（実務で見られるように）、幾何学を考慮したマージは事実上、通常の算術平均へと還元され、何の利点も提供しない。
• アクセス制御への示唆: DoRA-RBACは、厳格な隔離メカニズムというよりも、モジュール的な合成およびサービングのフレームワークとして捉えるのが適している。これは効率的なマルチドメイン推論を可能にする一方で、プライバシーを保証するものではない。高信頼のデプロイメントには、形式的なプライバシー防御（例：差分プライベートな学習）が引き続き必要である。
• 今後の方向性: 著者らは、信頼できる合成性を実現するためには、パラメータ空間の幾何学ではなく、表現レベルの目的関数や活性化空間の制約に焦点を当てるべきであると示唆している。

本研究は、大規模言語モデルにおける複雑なアダプター干渉の問題を解決するために、パラメータ空間の幾何学的特性に過度に依存することへの警鐘を鳴らしている。