技術要約：特異値アンサンブルによる基盤モデルの不確実性の定量化

1. 問題提起

基盤モデルは大規模な事前学習を通じて多様なタスクで目覚ましい性能を達成していますが、しばしば過度に自信に満ちた、較正（キャリブレーション）されていない予測を行います。医療診断、自動運転、農業の意思決定支援といった高リスクな領域では、モデルが自身の無知（エピステミック不確実性）を認識する能力は、予測精度と同じくらい重要です。過度に自信を持った誤診や誤ったリスク評価は、深刻な結果を招く可能性があります。

エピステミック不確実性を定量化するための標準的なアプローチは、複数の独立して初期化されたモデルのアンサンブル（Deep Ensembles）を訓練することです。これは効果的ですが、計算コストとメモリコストがアンサンブルメンバー数（$M$）に対して線形にスケールするという根本的な限界があります。数十億のパラメータを持つ基盤モデルにとって、控えめなアンサンブル（例：$M=4$）であっても計算的に困難となり、リソースが限られた実務者や、パラメータ効率の良い微調整（PEFT）を利用している人々にとって、原理的な不確実性推定が利用不可能になります。

既存の暗黙的なアンサンブル手法（例：MC-Dropout、BatchEnsemble、LoRA-Ensemble）は、オーバーヘッドを削減しようと試みていますが、明示的なアンサンブルの較正性能に及ばなかったり、依然として各メンバーのためにかなりの新規パラメータを学習する必要があったりすることがよくあります。

2. 手法：特異値アンサンブル (Singular Value Ensemble: SVE)

著者らは、基盤モデルにおける知識は重み行列の特異ベクトルによって定義される線形部分空間に沿って組織されているという洞察に基づき、パラメータ効率の高い暗黙的アンサンブル手法であるSingular Value Ensemble (SVE) を提案します。

コアとなる仮定

この手法は、事前学習済み重み行列の特異ベクトル（$U$ および $V$）が、表現空間における意味のある直交した「知識の方向」に対応しているという仮説に基づいています。特異値（$\Sigma$）は、これらの方向の相対的な重要性や強度をエンコードします。したがって、共有された知識基底（特異ベクトル）を保持しつつ、各メンバーの寄与をメンバー固有の特異値を通じて変調させることで、アンサンブルを構築できます。

技術的実装

1. SVD分解: 各ターゲット重み行列 $W \in \mathbb{R}^{m \times n}$ に対して、特異値分解（SVD）を計算します：$W = U\Sigma V^\top$。
2. パラメータの凍結: 特異ベクトル $U$ と $V$ を凍結し、事前学習された知識基底を保持します。
3. メンバー固有の学習: 新しい重み行列を学習する代わりに、本手法では $M$ 個の特異値のコピー $\{\Sigma^{(m)}\}_{m=1}^M$ （各アンサンブルメンバー用）および、メンバーごとのバイアスベクトル $b^{(m)}$ を学習します。
4. 再構成: 推論時、メンバー $m$ の重み行列は $W^{(m)} = U\Sigma^{(m)}V^\top$ として再構成されます。
5. 多様性と初期化: プリトレーニングされた構造を破壊せずに多様性を確保するため、特異値は乗法的摂動を用いて初期化されます：$\Sigma^{(m)} = \Sigma \odot (1 + \epsilon^{(m)})$、ここで $\epsilon^{(m)} \sim \mathcal{N}(0, \sigma_{init}^2 I)$ です。共同学習中の確率的なミニバッチサンプリングにより、メンバーが共有部分空間の異なる組み合わせへと収束するように促されます。

パラメータ効率

隠れ次元 $d$ を持つTransformerにおいて、SVEは層あたりのアテンションおよびMLP投影に対して、わずか $6d$ 個の特異値と $9d$ 個のバイアスエントリのみを追加します。ベースモデルに対する総パラメータ・オーバーヘッドはおよそ以下の通りです：
$$\text{Overhead} \approx \frac{5(M-1)}{4d}$$
$d=768$ かつ $M=8$ の場合、オーバーヘッドは1%未満となります。LLaMA-2-7B（$d=4096$）のような大規模モデルでは、オーバーヘッドは約0.2%にまで低下します。これはLoRA-Ensemble（ランク $r$ の行列を追加するもの）よりも大幅に効率的であり、Deep Ensemblesよりも数桁効率的です。

3. 主な貢献

• SVEの導入: 事前学習された特異ベクトルを共有しながら、メンバーごとの特異値を学習することで多様なアンサンブルメンバーを作成する、新しいパラメータ効率の高い暗黙的アンサンブル手法を提案しました。
• 不確実性の新しいベースライン: SVEを、予測精度を維持しながら最先端の較正性能を実現する、不確実性定量化のための強力なベースラインとして確立しました。
• 広範な検証: 22Mから7Bパラメータまでのバックボーン（BERT、LLaMA-2-7B、DINOv1/v2）を用い、自然言語処理（NLP）およびビジョンタスクにおいて検証を行いました。結果は、モデルサイズやタスクの種類を越えた汎用性を示しています。

4. 実験結果

著者らは、NLPタスク（ARC-Easy、SST-2）およびビジョンタスク（Flowers102、CIFAR-100、DTD、Oxford Pets、OOD検出、およびCIFAR-100-C破損データ）においてSVEを評価しました。

• 較正 (Calibration): SVEは、Deep Ensembles、LoRA-Ensemble、およびベイズ的手法（例：Bayes-LoRA、BLoB）と比較して、一貫して優れた、あるいは競争力のある期待較正誤差（ECE）を達成しました。特に、LLaMA-2-7Bを用いたARC-Easyにおいて、SVE ($M=16$) はECE 3.8%を達成し、Deep Ensembles (9.9%) や LoRA-Ensemble (9.0%) を大幅に上回り、ベイズ手法の較正精度に迫りました。これは実装がより単純であるにもかかわらずです。
• 精度 (Accuracy): SVEは、明示的なアンサンブルや他の暗黙的な手法と同等の予測精度を維持しています。CIFAR-100において、85.6%の精度を達成し、Deep Ensembles (85.4%) や単一モデルを上回りました。
• 堅牢性 (Robustness): 分布シフト下（CIFAR-100-C）および分布外（OOD）検出（CIFAR-100 $\to$ CIFAR-10）において、SVEは、はるかに少ないパラメータを使用しているにもかかわらず、AUROCおよびAUPRCの観点からLoRA-EnsembleやDeep Ensemblesに匹敵するか、それを上回る強力な堅牢性を示しました。
• バックボーンへの依存性: SVEの恩恵は、事前学習された表現の質に比例してスケールします。ランダム初期化されたモデルではSVEは劣りましたが、強力なバックボーン（DINOv2）を持つモデルでは、すべてのベースラインを上回り、有用な特異ベクトル基底が本手法の成功に不可欠であるという仮説を裏付けました。
• 計算コスト: SVEは、LoRA-Ensembleと比較してパラメータおよびメモリのオーバーヘッドを10分の1に、Deep Ensemblesと比較して700分の1に削減します。推論時間はLoRA-Ensembleと同等であり、ベイズサンプリング手法よりも大幅に高速です。

5. 意義と主張

本論文は、SVEがリソース制約のある環境において、原理的な不確実性推定を民主化すると主張しています。基盤モデルの線形部分空間構造を活用することで、SVEは最小限のパラメータオーバーヘッド（$<1\%$）で多様なアンサンブルメンバーの作成を可能にします。

著者らは、SVEを以下のバランスの取れたアプローチとして位置付けています：

1. LoRA-Ensembleと同等の精度を実現する。
2. 複雑なベイズ的手法と同等の較正を実現する。
3. パラメータ効率の良い微調整の計算効率を備える。

本研究は、基盤モデルが向上するにつれ、その特異ベクトルにエンコードされた「知識基底」がますます価値を持つようになることを示唆しています。SVEは、これらの表現を保持しながら軽量な調整を通じて多様性を導入することでこれを活用しており、従来のアンサンブルが実行不可能な大規模モデルにおいて、信頼できる不確実性推定を身近なものにします。

認められた限界:
著者らは、推論には依然としてメンバーごとのフォワードパスが必要であるため（他の暗黙的アンサンブルと同様）、FLOPsはDeep Ensemblesと同程度であることを指摘しています。また、SVDの前にデクオンタイズ（逆量子化）が必要であるため、量子化されたバックボーンとの統合は容易ではありません。さらに、SVEは事前学習された基底を保持するため、バックボーンに存在するバイアスや偽の相関を継承する可能性があります。