技術概要：スパースオートエンコーダは CLIP モデルの堅牢かつ解釈可能な微調整を可能にする

問題定義

大規模な事前学習済み視覚言語モデル（CLIP など）は、驚異的なゼロショット性能と分布シフトに対する堅牢性を示します。しかし、これらのモデルを微調整して下流タスクにおける在分布（ID）性能を向上させると、しばしば外分布（OOD）の堅牢性が低下します。この現象は「表現のドリフト」または「特徴の抑制」として知られており、標準的な微調整が事前学習された表現空間を歪め、意味的に意味のある特徴をタスク固有のノイズや任意の方向に上書きしてしまうために発生します。

既存の堅牢な微調整手法はこのトレードオフを緩和しようとしていますが、重大な限界に直面しています：

• WiSE-FT: ゼロショットモデルと微調整済みモデルの重みを平均化します。効果的ではありますが、テキストエンコーダを無視し、単純な補間に依存しているため、どの特徴が保持されるかについての制御が限られています。
• テキスト誘導アプローチ（例：FLYP, StarFT）: これらの手法は視覚エンコーダとテキストエンコーダの両方を微調整するか、合成特徴や外部事前知識をテキストプロンプトに注入します。これらのアプローチは計算複雑性を導入し、外部データエンジニアリングに依存するため、微調整パイプラインを複雑化します。

核心的な課題は、OOD 一般化性を犠牲にすることなく ID 性能を向上させる堅牢な微調整を実現し、かつ視覚モダリティのみに依存して解釈可能性を提供しつつ、計算効率の面で実行可能な手法を確立することです。

手法：SAE-FT

著者は、微調整プロセスを事前学習モデルの解釈可能な特徴スパンに制約する正則化フレームワークであるSAE-FT（スパースオートエンコーダ微調整）を提案します。この手法は、高レベルの概念が活性化空間内の線形方向として符号化されているとする線形表現仮説に依存しています。

中核コンポーネント

1. スパースオートエンコーダ（SAE）の学習:

   • トップ k SAE が、事前学習済みゼロショット CLIP モデルの凍結された視覚表現（$r_0$）に対して教師なしで学習されます。
   • SAE は、密で多義的な表現を、意味的に意味のある特徴（$s$）のスパースで過剰な基底に分解します。
   • SAE の重みは学習後に凍結され、解釈可能な特徴の固定辞書として機能します。

2. 正則化戦略:
   視覚エンコーダ（$f_{ft}$）の微調整中に、表現（$r_{ft}$）の更新が事前学習された SAE の意味的スパン内に留まるようモデルを制約します。総損失関数は、標準的なクロスエントロピー損失（$L_{CE}$）と 2 つの特定の正則化項を組み合わせます：

   • 残差整合ペナルティ（$L_{resid}$）: 表現の変化（$\Delta r = r_{ft} - r_0$）が SAE デコーダによって再構成可能であることを保証します。これにより、更新が学習された意味特徴の線形結合として表現可能となり、モデルが辞書に直交する任意の幾何学的方向へドリフトするのを防ぎます。
     $$L_{resid} := \|\Delta r - W_d(\Delta s)\|_2^2$$
   • 特徴保持ペナルティ（$L_{add}$）: ゼロショットモデルで非アクティブだった特徴の活性化を明示的に罰します。これにより、潜在的に誤った意味概念の「追加」を防ぎます。
     $$L_{add} := \lambda_{add} \sum_{k=1}^{p} (1 - m_k)|s_{ft}^k|$$
     ここで、$m_k$ はゼロショットモデルでアクティブだった特徴のインジケータです。

3. 学習と推論:

   • SAE は微調整中に更新されず、推論中にも使用されません。これは学習ループ中の幾何学的制約としてのみ機能します。
   • この手法は、テキスト側のデータエンジニアリングの複雑さを回避し、線形ヘッドのクロスエントロピー設定を使用して、視覚エンコーダのみに特化して動作します。

主要な貢献

1. SAE-FT フレームワーク: 事前学習されたバックボーンの解釈可能な特徴スパンに表現更新を制約する新しい微調整戦略です。これは、特徴を上書きするのではなく、既存の意味概念を再重み付けすることで適応が行われることを保証し、一般知識の壊滅的忘却を防ぎます。
2. 性能と効率: 広範な実験により、SAE-FT が ImageNet および分布シフトベンチマークにおいて最先端（SOTA）の堅牢性と同等かそれ以上の性能を発揮することが示されました。重要なのは、テキスト側の拡張や注入された事前知識なしにこれを達成しており、テキスト誘導手法よりも計算効率が良く、展開が容易である点です。
3. メカニズム的洞察: このフレームワークは、特徴保持の粒度分析を提供します。堅牢な微調整が、既存の特徴の再重み付け（例：消防車に対して「はしご」と「赤い塗料」を増幅する）であり、全く新しい表現を学習することではないことを明示的に示しており、適応プロセスの透明な視覚化を提供します。

実験結果

著者は、OpenAI ViT-B/16 モデルに対して SAE-FT を複数のベンチマークで評価しました：

• ImageNet と分布シフト: SAE-FT は ImageNet 精度で82.9%（SOTA と同等）を達成し、分布シフトベンチマーク（ImageNet-R, A, S, V2）全体で最高平均精度（64.6%）を記録しました。CAR-FT や WiSE-FT などの視覚エンコーダのみの他の手法を上回りました。
• 下流タスクへの転送: さらに微調整を行わずに CIFAR-10、CIFAR-100、Caltech-101、STL-10 で評価した際、SAE-FT は最高平均転送精度（87.8%）を達成し、その表現が多様なタスクに効果的に一般化することを示しました。
• iWilds ベンチマーク: 実世界の OOD データセット（iWildCam と FMoW）において、SAE-FT は最悪グループ精度と OOD マクロ F1 スコアにおいて特に優れた、または最高に近い性能を達成し、L2 正則化や他の堅牢な微調整手法を上回りました。
• ベースラインとの比較: 一般的な正則化手法（L1、L2、PCA）も幾何学的ドリフトを制限することで堅牢性を向上させましたが、SAE-FT は特定の特徴変化に対する優れた制御を提供しました。これらのベースラインよりもわずかに高い平均精度を達成したほか、学習された意味的に意味のある特徴基底で動作するという明確な利点を提供しました。

意義と主張

本論文は、SAE-FT が微調整を堅牢かつ解釈可能にする上で重要な前進を表すと主張しています。

• 解釈可能性: すべての方向を均等に扱う標準的なノルム正則化とは異なり、SAE-FT は研究者がどの意味特徴が保持され、再重み付けされ、または抑制されたかを直接分析することを可能にします。著者は、モデルが元の語彙を保持しつつタスクに関連する特徴を増幅することによって誤分類を修正する（例：海賊船とスループを区別する）ことを示しています。
• 効率性: 視覚モダリティのみに依存し、複雑なテキスト側の操作や外部 LLM データを回避することで、SAE-FT は堅牢な微調整のためのスリムなパイプラインを提供します。
• 成功のメカニズム: 著者は、SAE-FT の成功が、モデルをよりスパースで関連性の高い既存特徴のサブセットに集中させる能力に起因すると論じています。これは、標準的な微調整中に通常発生する基盤モデル特徴の「麻痺」を防ぎ、タスク固有の区別を鋭くする一方でモデルの一般知識を保持します。

この研究は、解釈可能な正則化が、事前学習モデルの学習済み概念を消去することなく効率的な微調整を可能にし、複雑でテキスト依存の堅牢な微調整戦略に対する実用的な代替案を提供すると結論付けています。