技術要約: MonoSoup

問題提起

基礎モデルにおける主流の「事前学習の後にファインチューニングを行う」パラダイムは、分布内（ID）の精度と分布外（OOD）の堅牢性の間のトレードオフをしばしば引き起こします。ファインチューニングはターゲットタスクへの性能を向上させますが、モデルが訓練データに過剰に特化してしまう「表現崩壊（representation collapse）」を頻繁に引き起こし、汎用的な知識やOOD性能を低下させます。

Model Soupsのような既存の解決策は、複数のファインチューニング済みチェックポイントの重みを平均化することでこれを緩和しますが、このアプローチは計算量およびストレージの観点から非常に高コストであり、数十ものモデルの訓練と保持を必要とします。他の手法であるModel Stockは、これを2つのモデルへと削減しますが、それでも依然として複数のチェックポイントへのアクセスを前提としており、リポジトリには通常、最も優れたパフォーマンスを示す単一のバージョンのみが保存されているという実務上の現実には即していません。さらに、Wise-FT（事前学習済み重みとファインチューニング済み重みの補間）のような単一モデルの手法は、一様な補間を適用するため、異なる層や方向における重み更新の微細かつ異方的な性質に対処できていません。

ここで扱われる核心的な問いは、「単一のファインチューニング済みモデルしか利用できない場合でも、Model Soupsの恩恵を享受できるか？」というものです。

手法: MonoSoup

本論文では、単一のチェックポイントを用いて強力なID–OODのバランスを実現する、データ不要・ハイパーパラメータ不要・事後的な手法であるMonoSoupを提案します。この手法は、単一のファインチューニング済みモデルの重み更新には、タスク固有の支配的な方向だけでなく、ノイズを含みつつもOODの堅牢性に不可欠な残留信号をエンコードしている弱い成分の両方が含まれているという仮説に基づいています。

1. SVDによるスペクトル分解

各層 $\ell$ について、MonoSoupは特異値分解（SVD）を用いて重み更新行列 $\Delta W^{(\ell)} = W^{(\ell)}_{FT} - W^{(\ell)}_{0}$ を分析します：
$$\Delta W^{(\ell)} = U^{(\ell)} \Sigma^{(\ell)} V^{(\ell)\top}$$
特異値のスペクトルは、以下の2つの相補的な成分に分割されます：

• 高エネルギー成分 ($W^{(\ell)}_{High}$): タスク固有の適応に関連する主部分空間を捉えます。
• 低エネルギー成分 ($W^{(\ell)}_{Low}$): 直交補空間を捉えます。これらはしばしばノイズを含みますが、本論文ではこれらの方向がOOD汎化に不可欠な情報を保持していると主張しています。

2. 自動的な分割

固定の閾値を必要とする手法とは異なり、MonoSoupはエントロピーに基づく有効ランク（Roy & Vetterli, 2007）を使用して、分割インデックス $k$ を自動的に決定します：
$$k^{(\ell)} = \left\lfloor \exp\left( - \sum_i p^{(\ell)}_i \ln p^{(\ell)}_i \right) \right\rfloor$$
ここで、$p^{(\ell)}_i$ は正規化された特異値分布です。これにより、手動でのチューニングなしに、異なる層やアーキテクチャの不均一なスペクトル特性に適応することが可能になります。

3. 適応的な再重み付け

低エネルギー成分を単に破棄するのではなく、MonoSoupは層ごとの係数 $\lambda^{(\ell)}_{High}$ と $\lambda^{(\ell)}_{Low}$ を用いて両方の成分を再重み付けします：
$$W^{(\ell)}_{MonoSoup} = \lambda^{(\ell)}_{High} W^{(\ell)}_{High} + \lambda^{(\ell)}_{Low} W^{(\ell)}_{Low}$$
低エネルギー成分の係数 $\lambda^{(\ell)}_{Low}$ は、2つの信号から導出されます：

1. スペクトル減衰 ($\rho^{(\ell)}$): 特異値スペクトルの急峻さを測定します。
2. 幾何学的整列 ($\cos \alpha^{(\ell)}$): 低エネルギー方向に運ばれる更新エネルギーの割合を測定します。

重み付けルールは以下のように定義されます：
$$\lambda^{(\ell)}_{Low} = \rho^{(\ell)} + (1 - \rho^{(\ell)}) \cos \alpha^{(\ell)}$$
$$\lambda^{(\ell)}_{High} = 1 - \lambda^{(\ell)}_{Low}$$
この定式化により、スペクトルが平坦であるか、あるいは更新が適切に整列している場合にのみ低エネルギー成分が保持されるようになり、ノイズを抑制しつつ堅牢な信号を効果的に維持します。

主な貢献

1. マージングの幾何学的分析: 著者らは、複数のモデルのマージングの成功は、ファインチューニングによる更新の整列に依存することを確立しました。彼らは、検証指標ではなく幾何学的整列に基づいてモデルを選択するデータフリーのバリアントである**Similarity-Filtered Greedy Soup (SFGS)**を導入することでこれを検証し、整列がマージングの有効性の信頼できるプロキシであることを確認しました。
2. MonoSoupアルゴリズム: 重み更新を高エネルギー部分空間と低エネルギー部分空間に分解し、適応的に再重み付けを行う、新しい単一チェックポイント手法です。これは、一様な補間手法が無視している異方的な影響に対処しつつ、複数のチェックポイントを必要としない手法です。
3. 実証的検証: CLIP、ConvNeXt（ビジョン）、Qwen（言語）モデルを用いた広範な実験により、MonoSoupがID精度を維持または向上させつつ、OOD汎化を一貫して改善することを示しています。

結果

• ビジョン (CLIP ViT-B/32): MonoSoupは、最強のベースラインの平均OOD精度を約1%向上させ、表現が崩壊した弱いチェックポイントにおいて最大**8%**を回復させ、同時に強力なID精度を維持します。また、単一のチェックポイントを用いながら、マルチモデル手法（Model Soups, Model Stock）と同等以上の性能を発揮します。
• 言語 (Qwen3-0.6B): 数学的推論およびQAベンチマークにおいて、MonoSoupはファインチューニング済みのベースラインおよびLiNeSの手法を上回ります。特に、GSMPlusやGSM8KPlatinumといった困難なOODタスクにおいて大幅な利得（最大+9.2ポイント）を示しています。
• 統合: Wise-FTと組み合わせた場合、MonoSoupは補間のためのより強力な出発点を提供し、Wise-FTやLiNeS単独よりも優れたパレートフロントを実現します。
• 効率性: MonoSoupはワンショットのデータフリー操作です。14Bパラメータのモデルにおいて、Model Soupsのために複数のチェックポイントを訓練する場合と比較して、実行時間を約$10^3$〜$10^4$倍削減し、ストレージを桁違いに削減します。

意義と主張

本論文は、MonoSoupがマルチチェックポイント・アンサンブルに対する実用的な「プラグアンドプレイ」の代替手段を提供すると主張しています。単一モデルの手順によってModel Soupsの恩恵を圧縮することで、堅牢なモデル展開における計算およびストレージの障壁に対処します。著者らは、そのアプローチが、大規模なハイパーパラメータ・スイープを再現したり複数のチェックポイントを維持したりするリソースを持たない実務家にとって特に価値があると強調しています。

重要な点として、論文では、MonoSoupは自然な分布シフトに対する堅牢性を大幅に改善するものの、敵対的摂動に対するアプリケーション固有の安全性評価の代わりになるものではないと述べています。本手法の主な社会的貢献は、堅牢なモデルを展開するために必要な計算量とストレージコストを大幅に削減し、高性能で汎用性の高いAIをより身近なものにすることにあります。