🤖 AI

Attention Retention for Continual Learning with Vision Transformers

本論文は、アテンションのドリフトを特定し、以前に学習した視覚的概念を保持するためにインスタンス適応型の勾配マスキングを適用することで、破滅的忘却を軽減する、Vision Transformerにおける継続学習のための新しいアテンション保持フレームワークを提案し、多様なシナリオにおいて最先端の性能を達成するものである。

原著者： Yue Lu, Xiangyu Zhou, Shizhou Zhang, Yinghui Xing, Guoqiang Liang, Wencong Zhang

公開日 2026-02-06

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yue Lu, Xiangyu Zhou, Shizhou Zhang, Yinghui Xing, Guoqiang Liang, Wencong Zhang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、非常に賢く、意欲的な学生（AI）に、さまざまな動物の識別方法を教えていると想像してください。まず、あなたは猫の画像を見せます。学生は、それが猫であることを知るために、尖った耳やひげに注目することを学びます。次に、犬の画像を見せます。彼らは、垂れ耳や濡れた鼻に注目することを学びます。

従来のAIには、**「破滅的忘却（Catastrophic Forgetting）」**と呼ばれる現象があります。学生が犬について学んでいるとき、彼らの脳は新しい情報に対して非常に興奮し、その結果、猫がどのような見た目だったかを完全に忘れてしまいます。彼らは犬の垂れ耳を見て、「ああ、これは猫だ！」と思い始めたり、あるいは新しいレッスンによって古い知識が上書きされたために、ひげを見ることをやめてしまったりするのです。

この論文では、この学生が忘却することを防ぐための「記憶の守護者（Memory Guardian）」として機能する、ARCL-ViTという新しい教え方を提案しています。

コアとなる問題：「注意の漂流（Attention Drift）」

著者らは、現代のAIモデル（具体的にはVision Transformer、またはViT）において、問題は単に学生が忘れることではなく、彼らの**「焦点がずれる」**ことにあることを発見しました。

AIの「注意（アテンション）」を懐中電灯のようなものだと考えてください。

猫について学んでいるとき、懐中電灯は猫のひげを明るく照らしています。
AIが犬について学ぶとき、懐中電灯は漂流し始めます。それはひげから離れ、犬の鼻を照らし始めます。
もし懐中電灯が移動しすぎると、AIは後で猫を認識する能力を失います。なぜなら、正しい場所に目を向けていないからです。

解決策：「触れるな」マスク

著者らは、懐中電灯を安定させるための巧妙なトリックを提案しています。すべての古い画像を記憶しようとする代わりに（それには膨大なスペースが必要になります）、彼らは2段階のプロセスを使用します。

ステップ1：「黄金地帯」のマッピング

学生が猫についての学習を終えた後、システムは懐中電士がまさにどこを照らしていたかのスナップショットを取ります。そして、猫を認識するために不可欠であった特定の部位（ひげなど）を強調する**マップ（マスク）**を作成します。

比喩： 教師が紙の上に猫のひげの周りに赤い円を描き、「ここが最も重要な部分です。ここへの注視方は変えないでください」と言う場面を想像してください。

ステップ2：新しい学習に対する「止まれ」のサイン

学生が犬の学習を開始するとき、システムはその赤い円を確認します。もし新しいレッスンが、AIの「ひげへの注視」の仕方を変えようとした場合（数学的にそうすべきだと判断されたとしても）、システムはブレーキをかけます。

メカニズム： AIの用語では、これは**勾配マスキング（Gradient Masking）**と呼ばれます。AIが脳を更新する方法を計算するとき、システムはひげへの注視を制御する脳の部分に「止まれ」のサインを置きます。それはAIにこう告げます。「犬の鼻への見方は学んでもいいが、ひげの見方を変えることは厳禁である」。

これがAIの学習速度を落としたり、学習エンジン（オプティマイザ）を混乱させたりしないように、システムは学習の速度も調整し、AIが猫の事実を誤って消去することなく、新しい犬の事実をスムーズに学べるようにします。

なぜこれが特別なのか

他のほとんどの手法は、以下の方法で解決しようとします：

古いデータの再生： 新しい犬の画像を見せるたびに、古い猫の画像を見せる。（これは、古い画像をすべて保存しておく必要があるため困難です）。
新しい部屋の建設： 新しい動物ごとに脳の新しい部分を追加する。（これにより、脳は巨大で乱雑になってしまいます）。

著者らの手法が異なるのは、焦点を固定する点にあります。古い画像を保存する必要もなく、新しい部屋を作る必要もありません。ただ、重要な特徴に対して懐中電灯が安定するようにするだけなのです。

結果

著者らは、さまざまな芸術的スタイルや異なるドメインにおける動物の認識といった、さまざまな困難な課題でこの手法をテストしました。

結果： この手法を用いたAIは、標準的なAIよりも古い概念（猫）をはるかに良く記憶しており、同時に新しい概念（犬）も非常によく学習していました。
証拠： 彼らは「懐中電灯」（アテンション・マップ）の画像を示しました。標準的なAIの懐中電灯はあちこちに漂流していましたが、新しい手法の懐中電灯は、人間が自然に行うように、元の特徴に完璧に焦点を合わせ続けていました。

要約すると、この論文は、人間が重要な概念を自然に安定させる方法を模倣することで、AIがすでに知っていることへの集中力を失うことなく、新しいことを学ぶ方法を教えているのです。

技術要約：Vision Transformerにおける継続学習のためのアテンション保持

問題提起

継続学習（Continual Learning; CL）は、非定常なデータストリームから知識を漸進的に獲得することを可能にするAIシステムを目指している。しかし、**破滅的忘却（catastrophic forgetting）は依然として重大な障壁であり、新しいタスクの学習が以前に学習したタスクの性能を低下させてしまう。様々な戦略（リプレイ、拡張、正則化）が存在するが、本論文はVision Transformer (ViT)**における忘却の特定のメカニズムとして、**アテンション・ドリフト（attention drift）**を特定している。

著者らは、ViTが新しいタスクを学習するにつれて、そのアテンション機構が以前に学習した視覚的概念の識別的な特徴から大きく逸脱することを観察している。新しい概念を獲得しても主要な特徴への選択的アテンションを維持する人間の視覚系とは異なり、ViTはアテンションの安定性を失い、その結果、学習された知識の浸食を招く。既存の手法は、特に過去のタスクデータの保存が禁止されているリプレイフリー（replay-free）の設定において、ViTのアテンション機構におけるこの特定のドリフトに対処できていない。

手法：ARCL-ViT

提案フレームワークである**ARCL-ViT (Attention-Retaining Continual Learning with Vision Transformers)**は、新しいタスクの学習中に勾配更新を明示的に制約することで、アテンション・ドリフトに対処する。この手法は、過去のタスクデータを保存することなく動作し、主に2つのステージで構成される。

1. 適応型マスク生成

タスク $T_{t-1}$ の完了後、モデルは重要なアテンション領域を特定するためのバイナリマスクを生成する。

レイヤーワイズ・ロールアウト（Layer-wise Rollout）: 単一レイヤーからの生のアテンションマップを使用する代わりに、この手法は全レイヤー ( $L$ ) にわたって活性化されたアテンション行列を集約し、包括的なアテンションマップ $\hat{S}^l_{t-1}$ を計算する。これには、入力からクラス・トークンへの情報の流れを捉えるために、変換されたアテンション行列 ( $\tilde{S} = I + S$ ) を乗算するプロセスが含まれる。
インスタンス適応型閾値設定: 画像間で識別領域のサイズが異なることを扱うため、固定された閾値は使用されない。この手法では、アテンション値をソートし、値が背景から顕著な領域へと遷移する変曲点（二階微分による）を特定する。これにより適応的な閾値 $\tau$ が決定され、高アテンション領域を0（保持すべき領域）、低アテンション領域を1とするバイナリマスク $M$ が生成される。

2. 勾配マスキングとオプティマイザの適応

現在のタスク $T_t$ の学習中、生成されたマスクを使用して、以前のタスクのアテンションパターンを変更してしまう更新を抑制する。

勾配のゼロ化（Gradient Zeroing）: マスクは、Query ( $Q$ ), Key ( $K$ ), Value ( $V$ ) の投影重み ( $W_q, W_k, W_v$ ) の勾配に対して要素ごとに適用される。具体的には、以前のタスクの高アテンション領域に対応する勾配がゼロに設定される。これにより、最適化プロセスが以前に学習した概念からモデルの焦点をずらすことを防ぐ。
オプティマイザとの互換性: 単に勾配をゼロにするだけでは、モーメンタムや分散統計に依存する現代的なオプティマイザ（Adamなど）を混乱させ、不安定な更新を引き起こす可能性がある。これを軽減するため、著者らはスケーリング機構を提案している。パラメータ更新 $\Delta W'$ は、マスクされた勾配と元の勾配の比率に比例してスケーリングされる。これにより、アテンションの制約を遵守しつつ、相対的な更新の大きさが維持され、オプティマイザが正しく機能することが保証される。

主な貢献

アテンション・ドリフトの特定: 本論文は、ViTにおけるアテンション・ドリフトを継続学習における破滅的忘却の主要な原因として確立し、以前の視覚的概念に対する選択的アテンションを維持する必要性を強調している。
新規フレームワーク (ARCL-ViT): データリプレイを必要とせずにアテンション・ドリフトを制約する、勾配ベースのフレームワークを導入した。これは、堅牢なアテンションマップ抽出のためのレイヤーワイズ・ロールアウトと、精密なマスク生成のための適応型閾値戦略を利用している。
オプティマイザを考慮した勾配マスキング: 勾配マスキングが適応型オプティマイザと互換性を持つようにスケーリング技術を導入し、最適化の不安定性を防ぎつつ、学習されたアテンションパターンを効果的に保持する。
最先端の性能: 様々なベンチマークにおいて優れた結果を達成し、高い汎用性を示している。

実験結果

本手法は、4つのクラス増分学習ベンチマーク（10-split および 20-split ImageNet-R、10-split CIFAR-100、10-split DomainNet）で評価された。

性能: ARCL-ViTは、最近の手法（例：VPT-CPG, SD-LoRA, BiLoRA）をベンチマーク全体で平均 1.8% から 3.7% 上回る精度で、最先端（SOTA）の性能を達成した。
忘却の低減: 本手法は破滅的忘却を大幅に減少させた。例えば、10-split ImageNet-Rにおいて、逐次ファインチューニング（Seq-FT）のベースラインが44.31%の忘却と49.43%の精度に苦しんだのに対し、ARCL-ViTは81.17%の精度と4.84%の忘却を達成した。
アブレーション研究:
- マスクの構築: レイヤーワイズ・ロールアウトと適応型閾値の組み合わせが最良の結果をもたらし、生のアテンションや固定閾値よりも優れた性能を示した。
- マスク領域: 以前のタスクの特定のアテンション領域をマスキングすることが不可欠であることが証明された。ランダムな領域や非アテンション領域をマスキングすると、忘却が著しく増加した。
汎用性:
- 事前学習済み重み: 本手法は異なる事前学習済み重み（DINO-1k および iBOT-1k）に対して良好に汎用され、Seq-FTに対して一貫して約37%の精度向上を示した。
- 長シーケンスCL: 困難な長シーケンス設定（50および100スプリット）においても、ARCL-ViTは優れた精度を維持し、既存のSOTA手法と比較して可塑性と安定性のより優れたトレードオフを実現した。
可視化: アテンション・ドリフトの定量的分析により、ARCL-ViTは（Seq-FTの25.9%に対し）最低のドリフト（6.0%）を維持しており、主要な視覚的概念へのアテンションの保持が視覚的に確認された。

意義と主張

本論文は、ViTのアテンション機構を選択的アテンションという生物学的原理に適合させることで、リプレイベースの手法のようなストレージオーバーヘッドなしに、破滅的忘却を効果的に軽減できると主張している。著者らは、本研究を、以前に学習した概念に捧げられた「神経リソース（アテンション）」を安定させることにより、生物学的知能に近づくための重要なステップとして位置づけている。本手法は、現代的な最適化手法と互換性があり、多様な事前学習戦略および長期的な学習シナリオにわたって汎用性を持つ、堅牢なデータフリーのソリューションとして提示されている。