AEGIS: 知識保持型ビジョン・言語・アクション微調整のためのアンカー強制勾配隔離の技術的概要

本論文は、事前学習済みビジョン・言語モデル（VLM）をロボティクス制御に適応させる際（VLA: Vision-Language-Action）に発生する「知識の忘却（Catastrophic Forgetting）」問題を解決する新しいフレームワークAEGIS（Anchor-Enforced Gradient Isolation System）を提案しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題定義：クロスモーダル勾配の非対称性

VLA モデルは、クロスエントロピー（CE）で事前学習された VLM に、連続的な動作データを流し込む（Flow-Matching などの手法を用いる）ことで構築されます。しかし、このプロセスには根本的な幾何学的な矛盾が存在します。

• 勾配のスペクトル次元性のミスマッチ:
  • VLM の事前学習勾配（CE）: 膨大な語彙を持つトークン予測に基づき、高次元で多様なセマンティックな manifold（多様体）を形成しています。勾配のエネルギーは多くの特異値方向に分散しています。
  • 動作タスクの勾配（MSE）: 物理的な 7 自由度（7-DoF）の制御を目的とするため、低ランクで高強度の勾配となり、エネルギーは狭い物理的サブ空間に集中しています。
• 破壊的な上書き: 標準的なオプティマイザは、この狭く強力な MSE 勾配をネットワーク全体に無差別に適用してしまいます。その結果、VLM が持つ繊細な視覚・言語セマンティック表現が、連続的な動作学習のために破壊的に上書きされ、視覚質問応答（VQA）能力が急速に低下します。
• 既存手法の限界:
  • Stop-Gradient: 勾配経路を完全に切断することで VQA を守りますが、連続的な動作監督信号（Rich Continuous Supervision）を捨て、離散トークンに依存せざるを得なくなります。
  • LoRA（Low-Rank Adaptation）: 更新の容量を制限しますが、勾配の「方向」は制限しません。破壊的な勾配成分が低ランク部分空間内に存在する場合、依然として VQA 多様体は上書きされます。
  • 共トレーニング（Co-training）: VQA データを混ぜて学習させる手法は、計算コストを倍増させ、元のデータセットへのアクセスを必要とします。

2. 手法：AEGIS の仕組み

AEGIS は、再帰バッファや共トレーニングデータなしで、直接連続学習を行いながら事前学習された VQA 多様体を保持するフレームワークです。その核心は、層ごとの直交勾配射影にあります。

3 つの主要コンポーネント

1. 静的ワッサーシュタイン・アンカー（Static Wasserstein Anchor）:

   • 微調整前に、VLM の全 26 層（Transformer レイヤー）において、マスク付き VQA フォワードパスからガウス分布の統計量（平均 $\mu$、分散 $\sigma^2$）を事前計算します。
   • これにより、事前学習された活性化分布の「基準点（アンカー）」をワッサーシュタイン距離（$W_2$）の多様体上に定義します。

2. ワッサーシュタイン-2 輸送ペナルティ（Wasserstein-2 Transport Penalty）:

   • 各トレーニングステップで、現在の活性化統計量と事前計算されたアンカー統計量の間の $W_2$ 距離を計算します。
   • この距離は、Bures 計量を用いて「平均シフト」と「標準偏差の不一致」に分解されます。
   • 重要: このペナルティは損失関数に追加されるのではなく、**参照勾配（$g_{ot}$）**を生成するために使用されます。この勾配は、「活性化統計量をアンカーに戻す方向」を示します。

3. 層ごとの直交勾配射影（Layer-Wise Orthogonal Gradient Projection）:

   • セクエンシャル・デュアル・バックワード: タスク勾配（$g_{task}$）とアンカー勾配（$g_{ot}$）を別々に計算します。
   • グラム・シュミット直交化: 各 Transformer レイヤーごとに、タスク勾配がアンカー勾配と直交する方向へ変形させます。
     • 内積 $d_\ell = \langle g^\ell_{task}, g^\ell_{ot} \rangle$ が負（破壊的干渉）の場合のみ、以下の式で修正勾配を計算します：
       $$g^\ell_{final} = g^\ell_{task} - \alpha_\ell g^\ell_{ot}, \quad \alpha_\ell = \frac{d_\ell}{\|g^\ell_{ot}\|^2}$$
   • これにより、タスク学習に寄与する成分は維持しつつ、VQA 多様体を破壊する成分のみを除去します。

特徴: フォワードパス、損失関数、モデルアーキテクチャは一切変更せず、バックワードパス（勾配計算）のみで介入します。

3. 主要な貢献

1. 問題の特定: VLA 微調整における VQA 劣化の根本原因が、「低ランク MSE 勾配」と「高次元 CE 学習パラメータ空間」の幾何学的非対称性（クロスモーダル勾配非対称性）であることを実証しました。
2. AEGIS の提案: バッファ不要、共トレーニング不要で、事前学習された活性化多様体上にガウスアンカーを構築し、グラム・シュミット直交射影を行うことで、破壊的な勾配干渉を排除しつつタスク学習を維持するフレームワークを確立しました。
3. 既存手法の限界の解明: LoRA が容量を制限するだけでは勾配幾何学の矛盾を解決できず、VQA 劣化を防げないことを実証しました。

4. 実験結果

PaliGemma2-3B モデルと LIBERO データセットを用いた実験において、以下の結果が得られました。

• VQA 能力の保持:
  • Naive Fine-Tuning: 1,500 ステップで VQA 損失が急激に上昇（0.392 → 0.776）。
  • LoRA: 劣化は遅延するものの、依然として定常的に上昇します。
  • AEGIS: 学習全体を通じて VQA 損失をベースライン（0.392）付近に維持し、Naive 法や LoRA に比べて桁違いに優れた保持率を示しました。
• 動作学習の収束:
  • AEGIS は、VQA を守りながら、Naive 微調整と同等の速さで Flow-Matching 動作タスクに収束しました。Stop-Gradient 法は動作学習が遅延します。
• OOD 評価（OK-VQA）:
  • 学習後の OOD 評価において、AEGIS は事前学習モデルと同等の精度（60.23%）を達成し、Naive 法（57.36%）や LoRA（59.32%）を上回りました。
• 勾配の効率性:
  • AEGIS が除去する勾配エネルギーは平均**0.62%**未満であり、極めて局所的な「破壊的なスライス」のみを切除していることが示されました。
  • 干渉が発生するレイヤーの割合は約 51% でしたが、エネルギーの損失は最小限に抑えられています。

5. 意義と結論

AEGIS は、VLA 微調整における「知識の忘却」問題に対して、データレベルの正則化（共トレーニング）やパラメータ容量の制限（LoRA）に依存しない、勾配幾何学に基づく革新的な解決策を提供します。

• 計算コスト: バックワードパスを 2 回実行するため、Naive 法と比較して約 40% のオーバーヘッドがありますが、VQA データを混ぜて学習する「共トレーニング（2 倍のコスト）」よりはるかに効率的です。
• 汎用性: 連続的な動作学習を可能にしつつ、VLM の汎用的な推論能力を完全に保持できるため、ロボット制御と汎用 AI の統合において重要な役割を果たすと考えられます。

本論文は、VLM の微調整において「勾配の方向性」を制御することの重要性を浮き彫りにし、将来の VLA モデル開発における新しい標準的なアプローチとなる可能性を秘めています。