技術的概要：LoRA ベイズ推論における低損失バレーの構築と含意

問題提起

低ランク適応（LoRA）を用いてファインチューニングされた大規模言語モデル（LLM）は、通常、点推定（最大事後確率、MAP）または単一モードの変分推論に依存しており、これらは認識的不確実性の原理的な推定を提供できません。ディープアンサンブル（DE）は離散的なマルチモードアプローチを提供しますが、LoRA 領域における最近の知見は、それらが単一モードの手法に対してほとんど利益をもたらさないことを示しており、独立した最適解をアンサンブル化することで汎化性能が向上するという広範な深層学習の知見と矛盾しています。LoRA 重み空間に、これらの独立した最適解を接続する連続的な低損失バレーが存在するかどうかを理解するという重要なギャップが存在します。もしそのようなバレーが存在すれば、連続多様体全体にわたるベイズモデル平均化（BMA）を可能にし、局所変分手法と離散アンサンブルの両方が見逃している機能的な多様性を捉える可能性があります。

手法：LoRA-Curve

著者は、LoRA 重み空間内の連続的なセグメント化された経路をベジエ曲線を用いてパラメータ化するフレームワークであるLoRA-Curveを提案します。このアプローチは、独立した最適解を接続する低損失バレーを構築します。

中核的なパラメータ化

この手法は、LoRA パラメータ空間 $\Theta$ 内の連続的な経路 $t \mapsto \zeta_\vartheta(t)$ を定義し、更新された重みは $W_\vartheta(t) = W_0 + B_\vartheta(t)A_\vartheta(t)$ となります。この曲線は、制御点 $\vartheta = \{\theta_0, \dots, \theta_{m+1}\}$ 上のベルンシュタイン基底多項式を用いて構築されます。

2 つの主要な構成が提案されています：

1. フリー LoRA-Curve（FLC）： すべての制御点（アンカーと中間ハンドル）がゼロから共同最適化されます。初期化は、すべての点において $B_i A_i = 0$（ベースモデル $W_0$ を復元）となることを保証し、経路全体が経路に沿った期待損失を最小化するように訓練されます。
2. アンカー付き LoRA-Curve（ALC）： 「アンカー」点（セグメント境界）は、独立してファインチューニングされた LoRA モデル（例：ディープアンサンブルから得られたもの）の重みに固定されます。中間の「ハンドル」点のみが、これらの固定されたアンカーを滑らかで低損失な軌道で接続するように最適化されます。

セグメンテーションと正則化

高度に非凸な損失ランドスケープを navigate するために、このフレームワークはセグメント化されたベジエ曲線を採用します。単一の高次多項式ではなく、経路はアンカー点で接続された複数のセグメントで構成されます。これにより、損失の障壁の周りで鋭い曲がり角を許容しつつ、$C^0$ 連続性を維持することが可能になります。

曲線が単一の点推定に崩壊するのを防ぎ、機能的な多様性を促進するために、著者はジェンセン・シャノンダイバージェンス（JSD）正則化項を導入します。このペナルティは、曲線上の遠い点（$t_1$ と $t_2$）における予測分布間のダイバージェンスを最大化し、軌道が損失バレーの多様な機能領域を探索することを強制します。

理論的性質

本論文は、2 つの重要な理論的性質を確立しています：

• 連続性： 出力分布 $p(y|x, W_\vartheta(t))$ は、曲線パラメータ $t$ に対して連続です。これは、モード間でジャンプを示す離散アンサンブルとは対照的です。
• 正則性： 曲線上に制限された損失は、リプシッツ連続であり、区分的に連続微分可能です。損失の変化は、完全な損失勾配のノルムとパラメータ空間内を移動する曲線の速度によって制御されます。

推論戦略

推論において、著者は最適化された曲線に沿ったグリッド近似を介して事後予測分布を近似します。重要なのは、標準的なベイズ的重み付けではなく、一様平均（無限の温度スケーリング $T \to \infty$ に相当）を採用している点です。著者は、標準的な重み付けは訓練データに対する「二重条件付け」（曲線はすでに $D$ 上で最適化されているため）をもたらし、予測の多様性を崩壊させると主張しています。

主要な結果

実験は、推論および分類ベンチマーク（ARC-Challenge、ARC-Easy、OBQA、boolq、Winogrande）においてQwen2.5 7Bを用いて行われました。

1. 低損失バレーの存在：

   • 独立した最適解間の線形補間は、明確な損失の障壁（負の対数尤度のピーク）に遭遇します。
   • FLC と ALC の両方は、これらの障壁を navigate し、連続的な低損失バレーを構築することに成功しました。FLC は、アンカーを動的にシフトさせることで、訓練データにおいて ALC よりも滑らかな経路を見つけることが多いです。

2. 機能的な多様性と性能：

   • ALC と離散アンサンブルの比較： ALC は、対数尤度および精度の面で、同等サイズのディープアンサンブル（DE）と同等かそれ以上の性能を発揮します。重要なのは、ALC が離散モード間の予測ギャップを埋め、DE が提供できないクラス確率の滑らかな遷移を提供する点です。
   • FLC と ALC の比較： FLC は訓練データ上で滑らかなバレーを発見しますが、特定のデータセット（例：winogrande_m）において ALC に比べて汎化ギャップを示します。これは、すべての点を共同最適化することが、テストランドスケープと完全に一致しない最適化ダイナミクスをもたらす可能性を示唆しており、一方、ALC の事前学習済みアンカーへの依存は、より堅牢な帰納的バイアスを提供します。
   • セグメンテーション： 同等数の制御点を有する単一セグメント曲線と比較して、マルチセグメント曲線は一貫して優れた性能を示し、柔軟で非線形なルーティングの必要性を確認しました。

3. 正則化の影響：

   • Flat-LoRA： 曲線フレームワークに Flat-LoRA 摂動（より広い極小値を見つけるためにノイズを注入する）を組み合わせることで、連続的な経路を損失ランドスケープのより広範な領域に強制し、汎化性能を向上させることができました。
   • JSD 正則化： JSD 正則化項を適用すると、予測性能（対数尤度）を犠牲にすることなく、曲線パラメータと予測間の**相互情報量（MI）**が大幅に増加し、より高い機能的な多様性が示されました。

意義と主張

本論文は、独立した LoRA 最適解間の空間は、高損失の障壁ではなく、豊かで navigable な低損失領域であると主張しています。この空間を通過する連続的な経路を構築することにより、LoRA-Curve は：

• 極端なものを統合： 単一モード変分推論と離散アンサンブルの間のギャップを埋め、BMA のための連続多様体を提供します。
• 機能的な多様性を捉える： 連続的なパラメータ空間の移動を測定可能な相互情報量の増加と明示的に結びつけ、離散的手法が部分的にしか活用していない多様性を捉えます。
• 解釈可能性を提供： 曲線の連続的な性質により、低ランク重みの変化が予測確率の滑らかな変化にどのように変換されるかを解釈することが可能になります。

著者は、FLC がバレーを発見するための効率的な最適化戦略を提供する一方で、ALC は既知の高パフォーマンスな最適解を接続するためのより堅牢なメカニズムを提供すると結論付けています。この研究は、適切な正則化（平坦性と多様性）および推論戦略（一様平均）が採用される限り、連続的なモード接続が確率的 LoRA にとって実行可能かつ効果的な戦略であることを確立しています。

限界

著者は、いくつかの限界を認めています：

• 分析の制限： 分析は1 次元の、グローバルに結合された軌道に限定されています。高次元の曲面への拡張や、アダプターごとの独立した曲線への拡張は、解釈可能性を低下させ、予備テストでは経験的な利益をもたらしていません。
• FLC の汎化： フリー構成は、特定のデータセットにおいてアンカー付き構成に比べて汎化ギャップを示します。
• 計算ボトルネック： 1 次元の場合、事後重みの計算を回避するために一様平均が可能ですが、高次元のパラメータ化は、完全な事後分布を評価する禁止的なコストを再導入することになります。