技術要約: InduceKV

問題提起

マルチモーダル大規模言語モデル（MLLM）は、厳格なデプロイメント制約の下で、進化するタスクやドメインに対して継続的に適応するという大きな課題に直面しています。既存のアプローチは通常、以下の2つのカテゴリに分類されますが、いずれも「固定フットプリント」の要件を満たすことが困難です：

1. パラメータ更新: パラメータ効率の高い微調整（PEFT）、混合エキスパート（MoE）、またはアーキテクチャ拡張を用いる手法は、安定性と可塑性のトレードオフを生じさせますが、時間の経過とともに本質的にモデルパラメータを書き換えてしまいます。これは、予算管理（エキスパートやルーターの状態が増大すること）を複雑にし、新しいタスクへの適応が事前学習済みのクロスモーダル・インターフェースと絡み合い、汎化性能を損なうリスクがあります。
2. リプレイベースのメカニズム: 動的なデータ選択、合成リプレイ、または蒸留を用いるアプローチは、忘却を軽減しますが、継続的な改善をトレーニング時のデータ管理に依存させてしまいます。これらは、候補プールが冗長になるにつれて、多様な履歴的挙動の保持と、固定された小さなメモリ・フットプリント内に収めることとの間で、しばしば緊張関係が生じます。

本研究が取り組む中心的な課題は、バックボーンモデルを凍結したまま、かつ厳密に制限された外部適応状態（固定フットプリント）を維持しながら、いかにしてMLLMを新しいタスクに継続的に適応させるかという点です。

手法: InduceKV

著者らは、バックボーンのパラメータを更新することなく、タスク固有の増分をアテンション互換性のあるKey-Value（KV）メモリへと外部化する、検索ベースの手法であるInduceKVを提案します。

コアメカニズム

1. 凍結されたKeyおよびKVの抽出:

   • 与えられた入力プレフィックス $x$ に対して、凍結されたMLLMは、最終層の隠れ状態を平均プーリングすることで、ユニットノルムの検索キー $r(x)$ を抽出します。
   • 同時に、各Transformerレイヤーに対して、コンパクトなレイヤーごとのKey-Value（KV）ペイロード $\{(\bar{K}_\ell(x), \bar{V}_\ell(x))\}_{\ell=1}^L$ を抽出します。これらのペイロードは、セグメント平均プーリングによって固定トークン長 $m$ に圧縮され、タスクに依存しないメモリサイズを保証します。
   • これらのコンポーネントは、外部メモリに格納されるメモリ・エントリ $e(x)$ を構成します。

2. 検索重み付きKV誘導 (Retrieval-Weighted KV Induction):

   • 推論時、クエリキー $r(x)$ はコサイン類似度に基づいて関連するメモリ・エントリを検索します。
   • 軽量なキャリブレーション・パラメータ $\phi$（検索温度 $\tau$ とレイヤーごとの値ゲート $\lambda_\ell$ で構成される）が、検索強度とメモリ値の注入を制御します。
   • 検索されたKVペイロードは結合され、モデルのマスク付き自己アテンションに、追加のキャッシュ・トークンとして注入されます。アテンション機構は、標準のプレフィックス・トークンと注入されたメモリ・トークンの両方に注意を向けるように修正されており、これによりモデルは $\theta$ を変更することなく、外部のエビデンスを活用できるようになります。

3. バイレベル誘導集合選択 (Bilevel Inducing-Set Selection):

   • 厳格なメモリ予算 $B$ の下で動作するため、システムは抽出されたすべてのエントリを保存することはできません。そのため、バイレベル最適化プロセスを用いてコンパクトな「誘導集合（inducing set）」を選択します。
     • インナーレベル: 現在のタスクデータに対して最小限の検索キャリブレーション $\phi$ を適合させ、負の対数尤度（NLL）を最小化します。
     • アウターレベル: 以下の事項を共同で最適化するメモリ・エントリのサブセット（重み $w$）を選択します：
       • 現在の適合度: 現在のタスクにおける尤度。
       • 保持: 過去の「アンカー」（以前のタスクからの固定例）に対する性能。
       • カバレッジ: 選択されたメモリの冗長性を防ぎ、多様性を確保するためのスペクトル・カバレッジ正則化（投影された検索空間における共分散行列の対数行列式）。
   • 最終的なメモリ $M_t$ は、アウター最適化によって選択されたトップ$B$のエントリとなります。

主な貢献

1. 継続的適応の再定義: 本論文は、継続的なMLLM適応を、検索ベースのメモリのための「予算化されたオンライン誘導集合選択」問題として再定義しています。これにより、安定性と可塑性の緊張関係を、増大し続けるパラメータ更新プロセスから、メモリ割り当ての問題へとシフトさせています。
2. 検索駆動型適応メカニズム: 著者らは、タスクの増分をアテンション互換性のある外部KVメモリとして保存するメカニズムを導入しています。決定的なのは、軽量なキャリブレーション・インターフェースを用いて検索強度を制御し、バックボーンの反復的な更新を行うことなく、タスク固有のエビデンスを明示的に考慮しながら注入する点です。
3. 実証的および理論的検証: 本手法は、多様な設定（タスク増分インストラクションチューニング、継続的VQA、ドメイン増分適応、およびライフロング・チューニング）において、最先端の結果を達成しています。理論面では、緩和されたメモリセレクターが、同一予算の下での最適な固定誘導集合割り当てに対して、劣線形なリグレット（regret）を持つことを示すリグレット境界を提供しています。

実験結果

著者らは、メモリ予算と計算制約を一致させた上で、強力なベースライン（PEFT、MoE、リプレイ、およびプロンプト・リトリーバル手法を含む）に対してInduceKVを評価しました。

• タスク増分インストラクションチューニング (UCIT & CoIN): InduceKVは、HiDe-LLaVA、O-LoRA、MoELoRAなどのベースラインを一貫して上回りました。例えば、LLaVA-v1.5-7Bバックボーンを用いたUCITベンチマークにおいて、InduceKVはHiDe-LLaVAに対して平均スコアで0.88、最終タスクのスコアで1.12向上させました。
• 継続的VQA: LVおよびT5プロトコルの両方において、InduceKVはCL-MoEおよびQUADと比較して、より高い平均精度（AP）とより低い忘却率（AF）を達成しました。
• ドメイン増分およびライフロング・チューニング: 本手法は、ドメインシフト（医学、チャート、数学）および動的なデータセット到着シナリオ（LiIT）において堅牢性を示し、Adapt-$\infty$やその他の動的選択ベースラインを上回りました。
• アブレーション研究: 検索重み付き誘導、バイレベル結合、またはスペクトル・カバレッジなどのコンポーネントを除去すると、大幅な性能低下を招き、選択重みと検索キャリブレーションの共同最適化の必要性が確認されました。
• 効率性: InduceKVは、検索キーの計算によるプリフィル・オーバーヘッドが発生しますが、検索されたエキゼンプラーをフルネットワークを通じて処理する必要があるプロンプトベースのリプレイ手法よりも高いスループットを実現し、PEFT手法と同等のスループットを維持しながら、より優れた保持性能を提供します。

重要性と主張

本論文は、InduceKVが、継続的なMLLM適応のためのパラメータ更新パイプラインに代わる、原理的な選択肢を提供すると主張しています。バックボーンを凍結し、増分をコンパクトで予算化されたKVメモリへと外部化することで、本手法は以下を実現します：

• 適応とバックボーンの分離: 増大するパラメータ状態（例：エキスパート・ルーター）の管理という複雑さを回避し、新しいタスクと事前学習済みインターフェースの絡み合いを防ぎます。
• 固定フットプリントの保証: 適応状態は厳密に制限されており、ストレージやプライバシーの制約があるデプロイメントシナリオに適しています。
• ネイティブ・アテンションの活用: 検索されたデータをテキストとして扱うプロンプト・リトリーバル手法とは異なり、InduceKVはエビデンスをアテンション・キャッシュに直接注入するため、モデルが検索された知識をより効率的かつ制御可能な形で利用することを可能にします。

著者らは、これらの利点が、より強力なバックボーンやリプレイ単体によるものではなく、予算化された誘導集合選択とアテンションに整合した注入という特定の設計によるものであることを強調しています。本研究は、メモリ選択を静的なデータストレージ・タスクではなく、オンライン最適化問題として扱うことで、スケーラブルな継続的適応が可能であることを示唆しています。