Selective LoRA for Visual Tokens and Attention Heads

「Visual Tokens と Attention Heads 向けの Selective LoRA（Image-LoRA）」に関する詳細な技術的サマリーを以下に示します。

問題定義

標準的な低ランク適応（LoRA）は、大規模モデルのパラメータ効率化ファインチューニング（PEFT）において広く用いられている手法です。しかし、これをビジョン・ランゲージモデル（VLM）に適用する場合、標準的な LoRA は弱い構造的な事前分布を課します。すなわち、すべてのトークン位置（システムテキスト、ユーザーテキスト、ビジュアルトークン、出力トークン）およびすべてのアテンションヘッドに対して、同一の低ランク更新を適用するという点です。

著者らは、この「全トークン・全ヘッド」アプローチが VLM に対して非効率的であり、潜在的に有害であると主張します。その理由は以下の通りです。

1. 異質性: VLM の入力は異なるモダリティを混合しています。先行研究では、視覚タスク（グラウンディング、ポインティング）には特定の Attention ヘッドのみが重要であり、他のヘッドは言語処理を担当すると示唆されています。
2. 不要な擾乱: 純粋なテキストを含むすべてのトークンを適応させることは、マルチモーダルデータを使用する場合であっても、凍結された言語バックボーンから継承された強力な言語推論能力を不必要に攪乱する可能性があります。
3. 非効率性: 視覚情報が含まれないプロンプトテキストや回答トークンに更新を適用することは、トレーニング中の計算リソース（FLOPs）とパラメータの浪費となります。

手法：Image-LoRA

著者らは、LoRA をトークンレベルの残差更新（$Y = XW + X\Delta W$）として扱い、この更新を以下の 3 つの選択性に基づいて制限する、ビジョン指向の PEFT 手法Image-LoRAを提案します。

1. トークン選択性（視覚のみ）
アダプターをシーケンス全体に適用するのではなく、Image-LoRA は視覚トークンのスパン（$I_v$）のみに残差更新を注入します。

• 純粋なテキスト入力（$I_v = \emptyset$）の場合、アダプターは非活性となり、モデルは凍結されたベースネットワークと完全に同一の動作を行います。
• これにより、モデルのテキストのみの推論能力が維持され、プロンプトと回答トークンに対する計算をスキップすることで、トレーニング FLOPs が削減されます。

2. ヘッド選択性（アテンションヘッドのサブセット）
Image-LoRA は、すべてのヘッドではなく、コンパクトなサブセットの Attention ヘッドのみを更新します。選択はワンパスの影響推定によって決定されます。

• 各ヘッドには、軽量なランク 1 のプローブ（視覚トークンのみ）が接続されます。
• システムはプローブセット上で単一のフォワード・バックワードパスを実行し、各ヘッドの更新に対する損失の感度（影響スコア）を計算します。
• ヘッドはこのスコアに基づいてランク付けされます。多様性を確保するため、勾配から導出された多様性特徴に対して「コサイン最遠方優先（cosine farthest-first）」の選択が適用されます。
• 全球的な予算（$K_{sel}$）は、各層の集約的な重要度をどの程度厳密に追従するかを制御する温度パラメータ（$\tau$）に基づいて層間で分配されます。

3. 投影選択性（値のみ）
選択されたヘッド内では、適応は値（V）投影のみに制限されます。

• 根拠: テキストトークンの観点からすると、視覚キーは「どこ」に注意を向けるかを決定し、視覚値は「どのような」コンテンツが取得されるかを決定します。視覚値を更新することは、注入地点における非視覚トークン表現を直接変更することなく、言語モデルが消費する視覚証拠を変更します。
• 除去実験（アブレーション研究）により、この「V のみ」の設計は、Q、K、O 投影、またはそれらの組み合わせを適応させる場合に比べて、特に画像中心の領域において優れていることが示されました。

追加のメカニズム:

• パラメータ共有: LoRA 分解（$\Delta W = AB$）における行列 $A$ は、層内のすべての選択されたヘッド間で共有され、$B$ はヘッド固有のままです。これにより、学習可能なパラメータが大幅に削減されます。
• 選択サイズ正規化: 選択されたヘッドの数は層によって異なるため、スケーリング因子に正規化因子 $\nu(N_{chosen}) = 1/\sqrt{N_{chosen}}$ を適用します。これにより、層ごとの更新の大きさが安定し、選択されたヘッドの数に応じて合計増分が増大するのを防ぎます。

主な貢献

• Image-LoRA フレームワーク: 適応を視覚トークン、選択されたアテンションヘッドのサブセット、および値パスに制限する新規の PEFT 手法。
• 効率性: 標準的な LoRA と比較して、学習可能なパラメータとアダプター専用のトレーニング FLOPs を大幅に削減。
• テキスト推論の維持: テキストトークンを適応から除外することで、視覚タスクのファインチューニング後も純粋なテキスト推論能力（例：GSM8K における能力）が維持されることを保証。
• 情報ボトルネック: 著者らは、より厳密な構造的制約が有益な情報ボトルネックとして機能し、モデルが表面的なテキストの手がかりではなく、視覚証拠に依存することを強制すると仮定しています。

実験結果

著者らは、Qwen2.5-VL（7B および 72B）、LLaVA-NeXT-7B、InternVL3-8B について、いくつかのベンチマークで Image-LoRA を評価しました。

• 視覚的ローカライゼーション（ScreenSpot-Pro, RefCOCO）:
  • Image-LoRA は、すべてのトークン/ヘッドに対して Q と V 投影を適応させる標準的な LoRA の精度と同等か、それに極めて近い精度を達成します。
  • 画像トークンが優勢な領域（例：テキスト：画像比 1:5）では、Image-LoRA は有利なトレードオフを示し、はるかに少ないパラメータと FLOPs で同等の精度を達成します。
  • ScreenSpot-Pro における Qwen2.5-VL-7B の場合、Image-LoRA は標準的な LoRA の約1/4 のパラメータと、はるかに少ない FLOPs を使用します。
• 汎化性能（TextVQA, VideoQA）:
  • この手法は、テキストの多い画像 QA やビデオ QA にも汎化し、標準的な LoRA と同等の性能を維持します。
• テキストのみの維持（GSM8K）:
  • 視覚タスクでファインチューニングした後、Image-LoRA モデルは GSM8K（数学推論）における元の性能を維持しますが、標準的な LoRA モデルはわずかな劣化を示しました。
• 情報ボトルネック（ViLP）:
  • 言語事前知識対視覚証拠への依存度をテストするように設計された ViLP ベンチマークにおいて、Image-LoRA は標準的な LoRA よりも**7.67%**上回り、この手法が言語事前知識による「ショートカット」を効果的に減少させていることを示唆しています。

意義と主張

本論文は、Image-LoRA が VLM 向けによりターゲットを絞り、効率的な適応戦略を提供すると主張しています。VLM 入力の異質性を認識することで、この手法は以下の点を実現します。

1. 効率性の向上: 視覚タスクの性能を犠牲にすることなく、ファインチューニングの計算コスト（アダプター専用の FLOPs）と学習可能なパラメータ数を劇的に削減します。
2. 言語能力の保護: すべてのトークンを適応させる際にしばしば見られる、テキストのみの推論スキルの劣化を防ぎます。
3. 視覚的グラウンディングの強化: より厳密な情報ボトルネックにより、モデルが視覚証拠に依存するようになり、言語事前知識が誤解を招く可能性のあるタスクにおける性能が向上します。

著者らは、推論中の視覚トークンの動的ルーティングを処理するための効率的なカーネルレベルの最適化の必要性や、現在特定のヘッド選択ヒューリスティックに依存している点（これはさらに探求される可能性がある）といった限界についても言及しています。