💬 NLP

AWARe: Mitigating Catastrophic Forgetting via Activation-Weighted Adaptive REtention

本論文は、活性化パターンに基づいて既存知識に不可欠なパラメータを動的に凍結することにより、モデルのアーキテクチャを変更することなく、アップストリームの能力を維持しながら優れたダウンストリーム性能を達成し、マルチモーダル大規模言語モデルにおける破滅的忘却を軽減するファインチューニング手法であるAWAReを提案している。

原著者： Juncheng Liao, Jinfan Lv, Guoming Wang, Jupeng Zheng, Ling Xiao, Siliang Tang

公開日 2026-08-13

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Juncheng Liao, Jinfan Lv, Guoming Wang, Jupeng Zheng, Ling Xiao, Siliang Tang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたのそばには、図書館にあるすべての本を読み、世界中のあらゆる絵画を鑑賞してきた、非常に賢く優秀なロボットの友人がいます。このロボットは、画像とテキストの両方を理解することができる「マルチモーダル大規模言語モデル（MLLM）」です。しかし、ここには厄介な問題があります。もしあなたがこのロボットに、パズルゲームの解き方や、特定の猫についての詩を書く方法といった、新しい特定のスキルを教えようとすると、ロボットはそれまで持っていた知識の多くを忘れてしまうことがあるのです。これは、ピアノで新しい曲を猛烈に練習したせいで、靴紐の結び方を突然忘れてしまうようなものです。この「忘却」は「破滅的忘却（catastrophic forgetting）」と呼ばれ、AIモデルに新しいことを学習させつつ、その有用性と知識を維持したいと考えている科学者たちにとって、大きな悩みの種となっています。

あなたがこれから読む論文は、AWAReと呼ばれる巧妙で新しい手法を用いて、この問題に取り組んでいます。ロボットの脳を、何十億もの小さな作業員（ニューロン）が異なる仕事をしている巨大な都市だと考えてみてください。ロボットが新しいことを学ぶとき、通常はすべての作業員に習慣を変えるよう命じます。これが混乱を引き起こし、古い仕事を忘れさせてしまう原因となります。AWAReは、よりスマートなアプローチを提案します。全員に変化を求めるのではなく、ロボットが以前の馴染みのあるタスクを見ているときに、どの作業員が最も大きく叫んでいるか（最も活性化しているか）に耳を傾けるのです。そして、それらの特定の、忙しく働いている作業員に対して、「あなたたちはそのままの状態を維持してください！以前の仕事を続けてください」と伝えます。新しいタスクを学習するために変化してもよいのは、より静かで、あまり忙しくしていない作業員だけなのです。こうすることで、ロボットは古い記憶を失うことなく、新しいスキルを習得することができます。

問題点：「上書き」のグリッチ

マルチモーダル大規模言語モデルは、画像とテキストの膨大な大学を卒業したばかりの、超強力な学生のようなものです。彼らは推論し、説明し、ほとんどあらゆることについてチャットができます。しかし、彼らに「医療状態の特定」や「特定のビデオゲームに関する質問への回答」といった、新しい特定の仕事を教えようと「ファインチューニング」しようとすると、しばしば破滅的忘却に陥ります。

あなたが新しいダンスのステップを学ぼうとしている場面を想像してください。もしそのステップを練習しすぎて、歩き方を忘れてしまったら、それが破滅的忘却です。AIの世界では、新しいタスクを学習するプロセスにおいて、モデルの内部的な「重み（weights）」（思考を制御するノブやダイヤルのようなもの）を更新する必要があるために、この現象が起こります。モデルが新しいタスクに合わせてこれらのノブを調整するとき、誤って古い知識を支えていたノブまで回してしまい、結果として古いスキルが崩壊してしまうのです。

解決策： AWARe (Activation-Weighted Adaptive REtention)

著者らは、この問題を解決するためにAWAReという手法を提案しています。AWAReは、単に脳全体を盲目的に変えるのではなく、どの本を棚に残しておくべきかを正確に知っている賢い司書のように振る舞います。

その仕組みは、以下のステップで行われます。

「聞き取り」フェーズ (プロファイリング): ロボットに新しいことを教える前に、研究者たちは、ロボットがすでに熟知している少数の「キャリブレーション（校正）」例（古い写真や質問など）を見せます。彼らは単にロボットの脳の構造を見るだけでなく、脳がどのように「光る」かを観察します。彼らは、馴染みのあるタスクを処理しているときに、各小さな作業員（ニューロン）がどれだけのエネルギーを使用しているか、すなわち**活性化（activation）**を測定します。
「凍結」の決定: 研究者たちは、一部のニューロンが非常に活発であり、ロボットの古い知識にとって極めて重要であることを発見しました。AWAReは、これら「声の大きい」ニューロン（最も活性化している上位30%）を特定し、「あなたは不可欠です！**凍結（Freeze）**してください」と命じます。これは、それらの設定がロックされ、変更できなくなることを意味します。
「適応」フェーズ: 残りのニューロン（静かな70%）は、ロックを解除されたままになります。ロボットが新しいタスクを学ぶとき、これらのロック解除されたニューロンだけが変化することを許されます。ロックされたニューロンは、ロボットの古い記憶を安全に守り続けます。

なぜこれが重要なのか

この論文は、この手法が主に2つの理由からゲームチェンジャーであることを示しています。

「考えるまでもない」アップグレード: ロボットの脳に複雑な新しいアドオンを構築したり、膨大な量の古いデータを保存したりする必要がある他の手法とは異なり、AWAReはロボットの既存の脳を利用します。アーキテクチャを変更することはありません。単に、どの部分が動くことを許可されるかを変えるだけです。これは、新しい壁を建てることなく、部屋の家具を配置換えするようなものです。
驚異的な成果: 実験において、チームはLLaVA-v1.5やQwen2.5-VLといったモデルを用いてAWAReをテストしました。
- モデルに図表に関する質問（IconQA）を教えた際、AWAReはモデルの古い知識（一般的な画像に関する質問への回答能力など）を元の強度の**98.4%**に維持しながら、新しいタスクも非常にうまく学習しました。
- 連続学習テスト（医療、運転、金融など、5つの異なるタスクを連続して学習させるテスト）において、AWAReは他のすべての手法を上回り、次点の優れた手法よりも平均スコアを3.18ポイント高く維持しました。

論文が述べていること（および述べていないこと）

著者らは、自分たちが発見したことと、発見しなかったことを明確にしています。

効果的なこと: 彼らは、重みの大きさを見たり、ニューロンをランダムに選んだりするよりも、活性化（ニューロンがどれだけ働いているか）を使用して凍結する対象を決める方が優れた方法であることを証明しました。もしニューロンをランダムに選んでしまうと、モデルは古いスキルを即座に忘れてしまいます。しかし、「声が大きい」ニューロンに基づいて選べば、モデルの知性は維持されます。
効果がない（あるいは不要な）こと: 彼らは、脳のすべてを凍結する必要はないことを示しました。特定の部位（セルフアテンション層と、画像とテキストを繋ぐコネクター）において、最も活動的な上位**30%**のニューロンを凍結するだけで十分です。一方で、「MLP」（深い思考を行う層）の部分を凍結すると、むしろパフォーマンスが低下したため、これらの層は柔軟であるべきであることが示唆されました。
「魔法の」キャリブレーション・セット: 最も興味深い発見の一つは、どのニューロンを凍結するかを判断するために、ロボットの元の訓練データを使用する必要はないということです。一般的なランダムな質問セット（MMMUデータセットなど）を使用してプロファイリングを行うことができます。この汎用的なデータを用いても、AWAReは特定の古いデータを使用した場合とほぼ同等の成果を上げました。これにより、この手法は実社会での利用において非常に実用的になります。
効率性: この手法は非常に効率的です。彼らのベストな設定では、全パラメータのわずか**17.5%**しか更新していません。これは、モデル全体を更新する必要がある場合に比べて、コンピュータの負荷が極めて低いことを意味します。

結論

AWAReが示唆しているのは、AIに忘却させないための秘訣は、学習を止めることではなく、何を変えるかを限定的にすることです。古いタスクに対してどの部分が最も懸命に働いているかに耳を傾け、それらを守ることで、私たちはモデルの古い知恵を失うことなく、新しい技術を教えることができるのです。これは、私たちのデジタルな友人を賢く、安定させ、次にやってくるあらゆる事態に備えさせるための、シンプルで効果的、かつ驚くほど穏やかな方法なのです。

技術要約: AWARe

問題提起

マルチモーダル大規模言語モデル（MLLM）は、大規模な事前学習に由来する強力な汎化能力と推論能力を備えています。しかし、これらのモデルをダウンストリームタスクに対してファインチューニングすると、多くの場合、**破滅的忘却（Catastrophic Forgetting, CF）**が引き起こされます。これは、新しい目的への最適化によって、以前に獲得したアップストリームの能力が低下してしまう現象です。この問題は、モダリティ間の複雑な相互作用やパラメータ空間の高次元性により、MLLMにおいて特に深刻です。経験リプレイや正則化ベースの手法といった既存の緩和戦略は、膨大な計算オーバーヘッドを伴うか、あるいは数十億のパラメータ規模へのスケーリングに苦慮することがよくあります。また、LoRAのようなパラメータ効率の高いファインチューニング（PEFT）手法は、学習パラメータ数を削減するものの、信頼性の高いアップストリームの特徴を破壊する可能性があるため、本質的に事前学習された知識の侵食を防ぐことはできません。核心となる課題は、過度なコストやアーキテクチャの変更を伴わずに、MLLMがダウンストリームタスクに適応しつつ、事前学習された能力を堅牢に保持できるようにすることです。

手法: AWARe

著者らは、活性化パターンに基づいてパラメータ更新を動的に制御することで、破滅的忘却を軽減するファインチューニング・フレームワークである**AWARe（Activation-Weighted Adaptive REtention）**を提案しています。この手法は、大きな活性化強度に関連する少数の重みが、モデルの挙動を維持するために不釣り合いに重要であるという原理（活性化を考慮した重み量子化やプルーニングの研究で観察される概念）に着想を得ています。

AWAReは以下の2つのフェーズで動作します：

知識プロファイリング（Knowledge Profiling）:
- 本手法は、アップストリームタスクからサンプリングされた小さなキャリブレーション・セット（ $S_{cal}$ ）を利用します。アップストリームのデータが利用できない場合は、汎用的なベンチマーク（例：MMMU）がプロキシとして機能します。
- ターゲットとなる線形層（重み行列 $W$ ）に対し、モデルはキャリブレーション・セットを用いてフォワードパスを実行し、活性化テンソル $A$ を取得します。
- サリエンシー推定（Saliency Estimation）: 本手法は、以下の3段階の集計プロセスを通じて、各出力ニューロンのサリエンシー・スコアを計算します。
  1. シーケンス長次元に沿った活性化のL2ノルムを計算する。
  2. アウトライヤー規模の活性化によるバイアスを防ぎ、比較可能性を確保するために、隠れ層次元に沿ってサンプルごとのL2正規化を適用する。
  3. 正規化された値をバッチ全体で平均化し、最終的なサリエンシ・ベクトル $s$ を生成する。
- このプロセスにより、多様なアップストリームタスクにわたって構造的な特徴を一貫して捉えているニューロンを特定します。
制約付きファインチューニング（Constrained Fine-tuning）:
- サリエンシー・スコアに基づき、保持率 $\rho$ （例：30%）を用いて、ターゲット層全体における最もサリエントな上位 $\rho$ 分画の出力ニューロンを特定します。
- バイナリ勾配マスク $M_{grad}$ が構築され、高サリエンシーなニューロンに対応する行は0（凍結）、それ以外は1（学習可能）に設定されます。
- ダウンストリームの最適化中、パラメータはマスクされた勾配更新を介して、サリエントな領域に関連する部分が一定に保たれます： $W^{(t+1)} = W^{(t)} - \eta \cdot (\nabla_W L_{down} \odot M_{grad})$ 。
- ターゲット選択（Target Selection）: AWAReは、この戦略を自己注意機構（self-attention mechanisms）内の線形投影層（ $q\_proj, k\_proj, v\_proj$ ）およびマルチモーダル・プロジェクター（ $mm\_projector$ ）に特異的に適用します。MLPブロックや出力投影などの他のコンポーネントは、完全に凍結されたままとなります。この選択は、MLPブロックを更新するよりも、自己注意投影を更新する方が既存の知識の忘却が少ないという知見に基づいています。

主な貢献

AWAReフレームワーク: MLLMにおけるダウンストリーム適応時の重要なアップストリーム知識を保持するための、単純な活性化ベースの手法の導入。圧縮やマージの文脈における活性化サリエンシーを、忘却の軽減へと転用しています。
効率性と簡潔性: アーキテクチャの変更を必要とせず、追加のアダプター・モジュールも導入せず、学習パラメータのわずかな部分（最適な設定では約17.5%）のみを更新します。リプレイ・バッファや二次統計量を必要としません。
包括的な検証: 著者らは、アブレーション研究とベンチマークを通じて、活性化ベースのサリエンシーがパラメータ選択の有効な基準であり、静的な重みの大きさやランダムな選択よりも優れていることを実証しています。

実験結果

著者らは、LLaVA-v1..5-7BをバックボーンとしてAWAReを評価し、Qwen2.5-VL-7Bへの転移性を検証しました。

シングルタスク・ダウンストリーム適応: IconQA（VQA）およびCOCO-Caption（画像キャプション生成）において、AWAReは知識保持（R）（アップストリームタスクの安定性）と学習効率（E）（新しいタスクの性能）の間で優れたバランスを実現しました。
- 最先端のベースライン（LoRA, DoRA, Orth-Reg, Model Tailor, LoRASculpt, SPIDERを含む）と比較して、AWAReは高い保持率（例：IconQAで $R \approx 98.4$ ）を維持しながら、競争力のあるダウンストリーム性能を達成しました。
- 特筆すべきは、特定のアップストリーム・データではなく、汎用的なキャリブレーション・セット（MMMU）を使用しても、フル・アップストリーム・データセットを使用した場合と同等の結果が得られたことであり、これは堅牢性を示しています。
継続的指示チューニング（Continual Instruction Tuning）: MLLM-DCLベンチマーク（リモートセンシング、医療、自動運転、科学、金融の5つのタスクのシーケンス）において、AWAReは全タスクを通じて最高の平均性能と、最後のタスク終了後の最高の最終性能を達成しました。平均および最終タスクの指標において、最強のベースラインであるDISCOを、平均で3.18ポイント、最終タスクで1.77ポイント上回りました。
アブレーション研究:
- 選択戦略: 活性化ベースの選択は、ランダム選択や重みのノルムに基づく選択を大幅に上回りました。
- 保持率: 30%の保持率（サリエントなニューロンの上位30%を凍結する）が、最適な安定性と可塑性のトレードオフを提供しました。
- 学習ターゲット: 自己注意投影とマルチモーダル・プロジェクターの両方にAWAReを適用することで、最良の結果が得られました。MLPブロックを完全に凍結することは極めて重要であり、これらをファインチューニングするとアップストリームタスクの性能が深刻に崩壊しました。

意義と主張

本論文は、AWAReが、静的な重みの事前分布ではなく、動的でデータ依存の活性化パターンを活用することで、MLLMにおける破滅的忘却に対する実用的かつ効果的な解決策を提供すると主張しています。本研究の意義は以下の通りです：

アーキテクチャに依存しない: モデルのアーキテクチャを変更せずに動作するため、既存の推論エンジンとの互換性が確保されています。
コスト効率: 高サリエンシーなパラメータを凍結し、ごく一部のパラメータのみを更新することで、フル・ファインチューニングやリプレイベースの手法と比較して計算オーバーヘッドを大幅に削減します。
堅牢性: アップストリームのデータが制限されている場合でも、汎用的なキャリブレーション・セットを用いることで効果を発揮します。
安定性と可塑性のトレードオフ: AWAReは、コアとなる汎用能力の保持と、専門的なタスク適応に必要な柔軟性のバランスをうまく取り、MLLMの実用的なデプロイメントにおける重要なボトルネックに対処しています。

著者らは、キャリブレーション・データの質が選択される凍結領域に影響を与える可能性があること、および極端な分布シフトが発生した場合には保持率の調整が必要になる可能性があることを認め、限界事項として挙げています。しかし、提案されたフレームワークは、効率的で安定したマルチモーダル・ファインチューニングの新たな基準を確立しています。

問題点： 「上書き」のグリッチ