🤖 machine learning

Overcoming Catastrophic Forgetting in Visual Continual Learning with Reinforcement Fine-Tuning

本論文は、トラジェクトリレベルのドリフト無視性に対してリテンション報酬整形とタスク間アドバンテージ正規化を適用することで、視覚的継続学習における破滅的忘却を緩和する新しい強化学習微調整手法であるリテンション意識方策最適化（RaPO）を導入し、既存のアプローチを上回る性能を達成することを示す。

原著者： Meng Lou, Hanzhong Guo, Linwei Chen, Yizhou Yu

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Meng Lou, Hanzhong Guo, Linwei Chen, Yizhou Yu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

「強微調整を用いた視覚的継続学習における破滅的忘却の克服」という論文を、平易な言葉と日常的な比喩を用いて解説します。

大きな問題：「金魚」のような AI

あなたが非常に賢いロボットに、さまざまな種類の鳥を認識させることを想像してください。

月曜日: スズメの写真を示します。ロボットはそれを完璧に学びます。
火曜日: タカの写真を示します。ロボットはタカを学びますが、突然、スズメがどのような姿だったかを忘れ始めます。スズメを単に「小さなタカ」だと考えてしまいます。
水曜日: フクロウの写真を示します。これでロボットはスズメもタカも忘れ去ってしまいます。

これを破滅的忘却と呼びます。ロボットは 3 秒しか記憶できない金魚のようであり、何か新しいことを学ぶたびに、古い情報を脳から完全に消去してしまいます。これは、現実世界で継続的に学習する必要がある AI にとって、極めて大きな問題です。

現在の解決策（そしてそれが完璧ではない理由）

研究者たちは、この問題を解決するために主に 2 つの方法を試みました。

教師あり微調整（SFT）: これは「この答えを正確に暗記しなさい」と言う、厳格な教師のようなものです。ある程度は機能しますが、ロボットは依然として古い答えをすぐに忘れてしまいます。
強化学微調整（RFT）: これは「この問題を解決するさまざまな方法を試みなさい。正解すれば報酬を与える」と言う、コーチのようなものです。最近の研究では、この「コーチ」方式（特にGRPOと呼ばれる手法）が、「教師」方式よりも記憶保持に優れていることが示されました。

しかし、この論文の著者たちはある落とし穴を発見しました。「コーチ」方式（GRPO）であっても、タスクが非常に難しくなると、依然として多くの忘却が発生します。「教師」方式よりは優れていますが、完璧ではありません。

発見：「ドリフト」探偵

研究者たちは問いかけました：なぜ「コーチ」方式は依然として物を忘れてしまうのか？

彼らはロボットがどのように思考するかを詳しく調べました。そして、経路レベルのドリフト無視と呼ばれる奇妙な現象に気づきました。

比喩: ロボットがテストを受けていると想像してください。現在の問題を正解する方法が 2 つあるとします。
- 方法 A: 昨日問題を解いたときと非常に似た論理を使用します。
- 方法 B: 昨日とは全く異なり、完全に突飛で新しい論理を使用します。
問題点: 現在の「コーチ」（GRPO）は、最終的なスコアだけを見ています。方法 A と方法 B の両方が問題を正解すれば、コーチは同じ報酬を与えます。方法 B がロボットの古い知識から「ドリフト（逸脱）」していることには関心を持ちません。
結果: 時間が経つにつれ、ロボットはポイントを獲得できる「突飛な」方法（方法 B）を選び続けます。最終的に、ロボットは元の知識からあまりにも遠くへドリフトしすぎてしまい、かつて知っていたすべてを忘れてしまいます。

解決策：RaPO（保持意識方策最適化）

これを解決するために、著者たちはRaPOと呼ばれる新しい手法を開発しました。RaPO は、正解を得ることだけでなく、「昨日の自分らしさ」を保つことを重視する「賢いコーチ」だと考えてください。

RaPO には 2 つの主な工夫があります。

1. 「記憶のアンカー」（保持報酬）

仕組み: ロボットが問題を解こうとするたびに、RaPO はチェックします：「この新しい思考法は、昨日の思考法とどの程度似ているか？」
比喩: 新しいダンスのステップを学んでいると想像してください。
- もし、あなたの以前のスタイルから自然に流れ出るステップを学んだなら、コーチはボーナスポイントを与えます。
- もし、以前のリズムを完全に壊すような混沌としたステップを学んだなら、コーチはダンスを完了させたとしてもより少ないポイントしか与えません。
目的: これにより、ロボットは古い習慣を完全に放棄することなく新しいことを学ぶように促されます。ロボットを「記憶のアンカー」の近くに優しく導くのです。

2. 「安定した手」（タスク間優位性正規化）

仕組み: ロボットが「鳥」の学習から「車」の学習に切り替わると、タスクの難易度が突然変化します。これはロボットの学習プロセスを混乱させ、自信過剰と不安定の間で激しく揺れ動く原因となります。
比喩: あなたが車を運転していると想像してください。突然、滑らかな高速道路から凸凹の土の道に切り替わります。車のサスペンションがすべての凹凸に即座に反応すれば、あなたは衝突してしまいます。
対策: RaPO は「ショックアブソーバー」（指数移動平均）を使用します。現在の凹凸に即座に反応するのではなく、時間の経過とともに凹凸を滑らかにします。これにより、タスクが劇的に変化しても、ロボットの学習ペースは安定して保たれます。

結果

研究者たちは、RaPO をさまざまな視覚タスクでテストしました。

新しい種類の画像の認識（画像分類）。
画像内の物体の検出（物体検出）。
動画の理解（動画分類）。

結果:
RaPO は明確な勝者でした。他の手法と同じ速さで新しいことを学びましたが、はるかに少なく忘れました。

あるテストでは、従来の手法は学習したことの約**20%**を忘れていました。
RaPO は約**4%**しか忘れていませんでした。

結論

この論文は単に「AI が賢くなっている」と述べているだけではありません。それは、AI に古い記憶を削除することなく新しいことを学び続ける方法をどう教えるかという問題を具体的に解決しています。

彼らは、AI を「正解」であることだけで報酬を与えるだけでは不十分であることを発見しました。AI には、過去の自分との一貫性を保つことにも報酬を与える必要があります。「記憶チェック」と「安定化装置」を学習プロセスに追加することで、彼らはアイデンティティを失うことなく成長できる AI を作り出しました。

注記: この論文は完全にコンピュータビジョンタスク（画像と動画）に焦点を当てており、これらの手法が現在、医療診断、監視、または他の特定の現実世界のアプリケーションに使用されているとは主張していません。これは、将来の AI システムが継続的に学習するための基礎的な研究です。

技術的サマリー：強化学習微調整による視覚的継続学習における破滅的忘却の克服

問題定義
近年の研究は、マルチモーダル大規模言語モデル（MLLMs）において、強化学習微調整（RFT）、特にグループ相対方策最適化（GRPO）などの手法が、教師あり微調整（SFT）に比べて本質的に破滅的忘却に対してより耐性が高いことを示唆していますが、その視覚的継続学習（VCL）の過酷な設定における有効性は未解決の課題のままです。具体的には、クラス増分学習（CIL）やドメイン増分学習（DIL）といったリハーサルなしのシナリオにおいて、標準的な RFT は依然として無視できない忘却に悩まされます。著者らは、**「軌道レベルのドリフト無視性」**と呼ばれる特定のボトルネックを特定しました。これは、同一のタスク報酬を達成する候補ロールアウト間において、先行タスクの方策からのカルバック・ライブラー（KL）ダイバージェンスが著しく変動する現象です。純粋にタスク報酬に駆動された振る舞いは、これらの軌道を区別できず、結果として誤って高ドリフトの解を優遇するクレジット割り当てを引き起こし、過去の知識の喪失を加速させます。

手法：保持意識方策最適化（RaPO）
軌道レベルのドリフト無視性に対処するため、著者らは、軌道レベルの報酬整形を通じて明示的に忘却を抑制する、シンプルかつ効果的な RFT 手法であるRaPOを提案します。RaPO は以下の 2 つの中核コンポーネントで構成されます。

保持報酬（Retention Reward）: このコンポーネントは、軌道レベルの分布ドリフトを連続的な報酬信号に変換します。現在の方策 $\pi_t$ によって生成されたロールアウト $y_i$ に対して、ドリフトは、固定されたアンカー方策 $\pi_{t-1}$ （先行タスクの方策）に対する長さ正規化された対数尤度比として測定されます。
- ドリフト指標は $\bar{D}_{drift}(y_i) = \max(\frac{1}{m_i}\sum \log \frac{\pi_t}{\pi_{t-1}}, 0)$ と定義されます。
- このドリフトは、ドリフトが小さいほど高い報酬となる有界な正の報酬 $R_{ret}(y_i) = \exp(-\alpha \bar{D}_{drift}(y_i))$ にマッピングされます。
- 合計報酬は $R_{total} = R_{task} + \lambda R_{ret}$ と定式化されます。重要なのは、この報酬がグループ相対アドバンテージの計算以前に追加される点です。これにより、同程度のタスク性能を持つロールアウトの中で、アンカー方策に近い（過去の知識を保持する）ものがより高いアドバンテージを受け取り、方策が低ドリフト領域へと誘導されます。
タスク間アドバンテージ正規化（CTAN）: タスク境界における報酬分布の急激な変化に起因する最適化の不安定さに対抗するため、RaPO はバッチごとの報酬標準偏差を、永続的な指数移動平均（EMA） $\hat{\sigma}$ に置き換えます。
- $\hat{\sigma}$ は最適化ステップおよびタスク境界にわたって更新されます（ $\hat{\sigma} \leftarrow \beta \hat{\sigma} + (1-\beta)\sigma_{batch}$ ）。
- アドバンテージは $A_i = \frac{R_{total}(y_i) - \mu_{group}}{\hat{\sigma} + \epsilon}$ として計算されます。
- このメカニズムは、タスク間を遷移する際にアドバンテージのスケールが崩壊したり爆発したりするのを防ぎ、継続学習ストリーム全体を通じて安定したクレジット割り当てを確保します。

主な貢献

ドリフト無視性の実証的特定: 本論文は、等しい報酬を持つ軌道が先行タスクに対する分布ドリフトの度合いにおいて著しく異なる、視覚的 VCL におけるバニラ GRPO の軌道レベルのドリフト無視性を示す、初の体系的な分析を提供します。
RaPO フレームワーク: 著者らは、高ドリフトのロールアウトを明示的に罰則化し、最適化スケールを安定化させるために、それぞれ保持報酬と CTAN を統合した RaPO を導入します。
包括的評価: 本手法は、クラス増分画像分類、ドメイン増分画像分類、クラス増分物体検出、ドメイン増分物体検出、クラス増分動画分類という 5 つの多様な視覚的継続学習設定で評価されました。
初の体系的な探求: 著者らの知る限り、本論文は、視覚的継続学習に対する検証器ベースの RFT の可能性を体系的に探求した最初の研究です。

実験結果
ImageNet-R、ImageNet-A、TinyImageNet、CUB-200、COCO 2017、UCF-101、Kinetics-200 などのデータセットを用いた広範な実験により、RaPO が SFT、EWC、LwF、標準 GRPO などの強力なベースラインを一貫して上回ることが示されました。

画像分類: ImageNet-R（10 タスク）において、RaPO は 85.92% の精度を達成し、忘却はわずか 4.69% でした。これは GRPO（精度 74.67%、忘却 20.02%）を大幅に上回ります。
物体検出: COCO（5 タスク）において、RaPO はボックス AP を 14.64% から 19.31% に向上させ、忘却を 6.67% から 1.39% に削減しました。
汎化性能: RaPO は動画分類やドメイン増分設定においても堅牢な性能を示し、新しいタスクに対する強い可塑性を維持しつつ、過去の知識を保持しました。
アブレーション研究: 著者らは、保持報酬と CTAN の両方が相補的であることを確認しました。いずれかを除去すると性能が低下します。また、本手法はハイパーパラメータの選択に対して堅牢であり、他の方策最適化アルゴリズム（例：SAPO）に適用しても有効であることが示されました。

意義と主張
本論文は、RFT が SFT よりも本質的に破滅的忘却に対して耐性があるものの、軌道レベルのドリフトに対する明示的な介入なしには、過酷な視覚的 VCL には不十分であると主張しています。RaPO は、アーキテクチャの変更やデータのリプレイを必要とせず、報酬信号を修正して知識を保持するロールアウトを優先することで、この課題に対処します。著者らは、この研究を複雑なエンジニアリングによる最先端ベンチマークの追求ではなく、継続学習のために RFT をどのように適応させるかという基礎的な探求として位置付けています。彼らは、RaPO が MLLM の強力な推論および適応能力を保持しつつ、破滅的忘却を大幅に軽減するシンプルで効果的な戦略を提供し、RFT ベースの継続学習に関するさらなる研究を鼓舞することを期待して結論付けています。