🤖 machine learning

Mechanistic origins of catastrophic forgetting: why RL preserves circuits better than SFT?

本論文は、教師あり微調整がモデルを新しいタスクに迅速に適応させる一方で、強化学習は内部計算回路をよりよく保持するという事実を実証するために、ヘッダレベルの指標である「微分回路脆弱性」を導入し、それによって強化学習の破滅的忘却に対する優れた耐性に対するメカニズム的説明を提供する。

原著者： Jeanmely Rojas Nunez, Viraj Sawant, Nathan Allen, Nomgondalai Amgalanbaatar, Yannis Zongo, Vasu Sharma, Maheep Chaudhary

公開日 2026-05-29

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jeanmely Rojas Nunez, Viraj Sawant, Nathan Allen, Nomgondalai Amgalanbaatar, Yannis Zongo, Vasu Sharma, Maheep Chaudhary

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、この論文を平易な言葉と創造的なアナロジーを用いて解説したものです。

大きな問い：なぜ AI モデルは「忘れる」のか？

あなたが、詩を書くこと、数学の問題を解くこと、冗談を言うこと、すでにすべて得意としている天才的な生徒（AI モデル）を持っていると想像してください。あなたは彼に新しいスキル、つまり**「科学」**を教えたいと考えています。

彼に教えるには、2 つの方法があります。

SFT（教師あり微調整）： 教科書を与えて、「これらの答えを正確に暗記しなさい」と言う方法。
RL（強化学習）： 彼に科学の問題に答えさせ、答えの良さに応じて「親指を立てる（正解）」か「親指を下げる（不正解）」かを評価し、彼自身に最適な学習方法を考えさせる方法。

問題点： 新しいスキルを教えると、生徒はしばしば以前のスキル（詩や数学など）を忘れ始めてしまいます。これを**「破滅的忘却」**と呼びます。

発見： 最近の研究では、「教科書を暗記する」方法（SFT）よりも、「親指で評価する」方法（RL）の方が、古いスキルを維持するのに優れていることが示されました。しかし、なぜそうなるのでしょうか？この論文は、AI の脳の中を詳しく調べ、その機械的な理由を解明します。

アナロジー：思考回路の図書館

AI の脳を単一の記憶ブロックではなく、無数の小さな専門労働者（「回路」または「アテンションヘッド」と呼ばれる）の巨大な図書館として考えてみてください。

一部の労働者は数学が得意です。
一部の労働者は文法が得意です。
一部の労働者は冗談を言うのが得意です。

AI が何か新しいことを学ぶとき、これらの労働者たちを再編成する必要があります。問題は、**「全員を解雇して新しい人を雇うのか、それとも古いチームを維持して新しい指示を与えるだけなのか」**ということです。

実験：何が起きたのか？

研究者たちは特定の AI（Qwen2.5-3B）を用いて、両方の方法で科学の問題に答えさせる学習を行いました。その後、「図書館」の中を調べて、どの労働者がまだ働いているか、そして彼らがどのように振る舞っているかを確認しました。

1. 「教科書」方式（SFT）＝過剰最適化者

何をするか： 新しい科学タスクを非常に速く学習します。すぐに高いスコアを獲得します。
コスト： その高いスコアを得るために、古い労働者を容赦なく解雇し、「科学の専門家」という小さな専門チームに置き換えます。
結果： 図書館は縮小します。元の労働者の約**52%**しか維持されません。古い労働者（詩、数学、冗談）は追い出されてしまいます。AI は優れた科学者になりますが、詩人としてはひどい存在になります。
アナロジー： これは、新しいキッチンを作るために、設計に完璧に合うよう家の配線や配管をすべて取り壊す大工のようなものです。キッチンは完璧ですが、寝室の電気がつかなくなっています。

2. 「親指で評価」方式（RL）＝慎重な改装業者

何をするか： 新しい科学タスクをゆっくりと学習します。同じ高いスコアに達するまでには時間がかかります。
メリット： 古いチームを解雇するのではなく、彼らを優しく導きます。元の労働者のほとんど（約72%）を維持し、既存のスキルを科学に応用する方法だけを教えます。
結果： 図書館は大きく多様性のまま保たれます。AI は科学を学びますが、同時に冗談を言ったり数学をしたりする方法も思い出しています。
アナロジー： これは、既存の家具や配線を慎重に再配置して新しいキッチンを作る大工のようなものです。完成までには時間がかかりますが、寝室の電気がまだ機能しており、家の雰囲気も変わっていません。

主要な発見（「機械的」な証明）

この論文では、これを測定する新しい方法として**「差分回路脆弱性」**という概念を導入しました。彼らが発見したことは以下の通りです。

SFT は「圧縮機」です： AI の脳を小さく専門的な形状に押し込めます。新しいタスクのためにすべてを行う「スーパー労働者」を数人作り出しますが、その過程で古いタスクを処理していた繊細なネットワークを破壊してしまいます。
RL は「分散アダプター」です： 新しい学習を脳全体に広げます。単一の労働者が圧倒されることはありません。元の「回路」（AI が古いスキルに使用していた経路）は無傷で保たれ、機能し続けます。
トレードオフ：
- SFT： 学習は速いですが、古い個性やスキルを失います。
- RL： 学習は遅いですが、古い個性やスキルを維持します。

なぜこれが重要なのか

この論文は、RL が AI の内部「機構」を維持するため、忘却に対してより強靭であると結論付けています。

SFT を使用すると、新しい形状に合わせて AI の内部コードを事実上上書きすることになり、古いコードが壊れてしまいます。一方、RL を使用すると、既存のコードを微調整するため、AI は古いものを削除することなく新しいスキルを成長させることができます。

要約： 速く学ぶが他のすべてを忘れる AI が欲しい場合は、「教科書」方式を使用してください。着実に学び、元の個性やスキルを維持する AI が欲しい場合は、「親指で評価」方式を使用してください。

技術的概要：破滅的忘却のメカニズム的起源

問題定義
大規模言語モデル（LLM）を新しい下流タスクにファインチューニングすることは、頻繁に破滅的忘却を引き起こす。すなわち、新しい目的に対する性能向上が、以前の能力の犠牲の上に成り立つことである。最近の行動研究は、強化学習（RL）が教師ありファインチューニング（SFT）よりも以前の能力をより効果的に保持することを示唆しており、これは分布の漂移（KL 発散で測定）の観点から、方策勾配更新がベース方策に分布的に近い状態に留まることに起因すると考えられている。しかし、この差異の内部的メカニズム的理由は未だ探求されていない。ここで扱われる中心的な問いは、RL の保持優位性が、モデルの能力を実装する内部的計算回路（アテンションヘッド、MLP レイヤー、残差経路）のより強力な保持によって反映されているかどうかである。

手法
著者らは、科学的質問応答タスクに適合させたQwen2.5-3B-Instructを用いてこの問いを検証する。実験パイプラインは以下の 3 つのフェーズから構成される：

行動的再現：本研究は、SFT と RL の間の既知の保持ギャップを再現する。ベースモデル（ $\pi_{base}$ ）を完了のみのクロスエントロピー損失でファインチューニングし、SFT モデル（ $\pi_{SFT}$ ）を作成する。次に、この SFT モデルを Dr.GRPO（Group Relative Policy Optimization の変種）を用いて洗練させ、RL モデル（ $\pi_{RL}$ ）を作成する。行動的漂移は、保持ベンチマークにおける期待 KL 発散を用いて定量化される。
回路の同定：著者らは、アテンションヘッドレベルにおける内部的計算回路を同定するために**差分バイナリマスキング（DBM）**を採用する。DBM は、ベースと反事実的活性化の間を補間するアテンションヘッド上のマスクを学習する。これらのマスクを最適化してターゲット回答の確率を高めつつスパース性を維持することで、特定の行動を担うスパースな因果的サブネットワーク（回路）を分離する。
クロスモデル回路比較：本研究は、差分回路脆弱性を導入する。これは、異なる訓練目的（SFT 対 RL）の下での劣化に対する回路がどの程度影響を受けるかを比較するヘッドレベルの指標である。主要な指標には以下が含まれる：
- 回路忠実度：抽出されたサブグラフによって回復された行動と、完全モデルの行動との比率。
- ヘッドレベルのマスクシフト（ $\Delta m_h$ ）：ベースモデルに対するファインチューニングモデルのマスク値を比較し、保持された、増幅された、または弱体化されたヘッドを特定する。
- 必要性と十分性：ヘッドを妨害した際の対数確率の低下を測定する介入（必要性）と、そのヘッドのみが活性化した際に回復される行動（十分性）。

主要な貢献

差分回路脆弱性：本論文は、異なる訓練目的（SFT 対 RL）の下での内部的計算サブグラフの相対的な劣化感受性を定量化する新たな指標を導入する。
忘却のメカニズム的説明：本研究は、SFT に対する RL の優位性の行動的説明をメカニズムレベルに拡張し、SFT に比べて RL がベース回路のより大きな割合を保持することを示す。
トレードオフの特性評価：本研究は、ポストトレーニングにおける根本的なトレードオフを特性評価する。SFT はターゲットタスクにより迅速に適応するが、大幅な回路の撹乱を生じさせるのに対し、RL はタスク適応の遅さの代償としてベース回路を保持する。

結果

回路保持の軌跡：2 つの訓練エポックにわたり、SFT と RL は明確に分岐する。SFT はエポック 1 後にベースアテンションヘッドの 63.5% しか保持せず、エポック 2 には 59.0% まで低下する。対照的に、RL はエポック 1 後に 69.8% を保持し、エポック 2 までに 72.5% まで回復し、ベース回路保持において13.5 ポイントの優位性を維持する。
構造的圧縮対分散適応：DBM は 297 個のヘッドからなるベース回路を同定する。SFT モデルは約 265 個のヘッド（全体の 46.0%）へと構造的圧縮を受けるのに対し、RL モデルは約 296 個のヘッド（51.4%）を保持する。SFT は新しいタスクの行動を、より小さなセットの「重要な専門家」（高い必要性と十分性）に集中させるのに対し、RL はベースモデルと密接に重なる分散型アーキテクチャを維持する。
因果的関与：RL は一貫して高い差分因果媒介（DCM）スコアを維持する（例：エポック 1 で 15.8 対 10.4）。これは、SFT に比べて RL で保持された回路が、モデルの行動に関するより強い因果信号を担っていることを示している。
出力対内部指標：注目すべきは、RL モデルが SFT モデルよりも大きな出力空間 KL 発散を示しながらも、より多くの以前の能力と内部回路構造を保持している点である。これは、出力空間の指標が内部的忘却を信頼性高く予測するものではないことを示唆している。

重要性
本論文は、回路の保持が、なぜ RL が SFT よりも破滅的忘却に対して頑健であるのかというメカニズム的説明を提供すると主張する。これらの知見は、継続的適応を単なるパラメータ最適化としてではなく、スキルを符号化する回路の選択的保持と修正として捉えるべきであることを示唆している。結果は、SFT が迅速な専門化のために回路を積極的に再構成する「圧縮機」として機能し、RL は既存の表現を保守的に再利用する「分散型アダプター」として機能するというトレードオフを示している。この視点は、忘却の内部的な原因を理解するための基盤を提供し、将来の適応手法が効率的な学習と選択的な回路保持を組み合わせることで恩恵を受けうることを示唆している。

限界
著者らは、本研究が単一のモデルアーキテクチャ（Qwen2.5-3B-Instruct）と特定のタスクセット（科学的 QA）に限定されていることを指摘する。回路分析は主にアテンションヘッドに焦点を当てており、MLP レイヤーや残差ストリームの特徴は除外されている。他のアーキテクチャ（例：Gemma、Mistral、Llama）やより広範な能力ドメインへの一般化は、まだ検証される必要がある。