The Grokked Illusion: True Equilibrium Mitigates Catastrophic Forgetting

あなたはロボットに数学パズルを解く方法を教えていると想像してください。あなたはロボットに賢くなってほしいと考えていますが、同時にタフであってほしいとも願っています。人工知能の世界において、「賢い」とは通常、ロボットが一度も見たことがない問題に直面しても、それを正しく解けることを意味します。これは**汎化（generalization）と呼ばれます。しかし、そこには隠れた罠があります。ロボットは、ある瞬間には信じられないほど賢い一方で、信じられないほど脆弱であることがあります。もし、最初のスキルを習得した直後に新しいスキルを学ぼうとした場合、直前に学んだことを突然忘れてしまうかもしれません。これは破滅的忘却（catastrophic forgetting）**と呼ばれます。

科学者たちは長い間、何がロボットの脳を真に強固にするのかと考えてきました。それは単に正しい答えを出すことなのでしょうか、それとも、その答えをどのように保存するかという、より深い部分にあるのでしょうか？図書館を想像してみてください。完璧な本を備えた図書館（高い汎化性能）があったとしても、もし棚が脆く、本が不安定に積み上げられていたら、たった一冊の新刊を追加するだけで、塔全体が崩壊してしまうかもしれません。この論文は、ロボットの脳の「形」、具体的には、記憶における「遊び（ゆとり）」が、古い情報を失うことなく新しい情報を扱えるかどうかを決定するのかどうかを探求しています。

---

「グロッキング（習熟）」の錯覚：完璧なスコアが隠す弱点

この研究の背後にいる研究者たちは、ある魅力的なアイデアをテストすることに決めました。それは、**「完璧なスコアは強い記憶を保証するのか？」**という問いです。これを知るために、彼らは単純な数学ゲーム（基本的には、数字を足して余りを求めるモジュラー算術で、例えば67時間でリセットされる時計のようなものです）を用いた制御実験を設定しました。

彼らは2種類の異なるAIモデルを、このゲームで両方が完璧な100%のスコアを得るまで訓練しました。

1. 「標準的」モデル: これは一般的な標準的な手法（AdamWと呼ばれます）を用いて訓練されました。このモデルはタスクを素早く学習し、完璧なスコアを獲得しました。
2. 「高エントロピー」モデル: これは、物理学に着想を得た特別な手法（Wang-Landau分子動力学と呼ばれます）を用いて訓練されました。これも100%の完璧なスコアを獲得しましたが、解が存在する数学的な空間において、より「大きな」領域で見つかったものでした。標準的なモデルを、解決策が収まる非常に小さく狭い谷間に座っているとすれば、高エロピーモデルは広大で広い高原を見つけたようなものだと考えてください。

両方のモデルは、書類上では同一に見えました。どちらも数学ゲームにおいて100%完璧でした。しかし、研究者たちはそこに秘密の違いが隠されているのではないかと疑いました。

ノイズ注入テスト：意図的な忘却

彼らのタフさをテストするために、研究者はトリックを仕掛けました。彼らは両方のモデルにこう命じました。「よし、君たちは数学が得意だ。では、今からこの新しい無意味なデータのリストを暗記しろ」。彼らは、トレーニングの混合プロセスの中に「ノイズ（ランダムで無意味な数字とランダムなラベル）」を注入しました。モデルに対し、元の数学ゲームを記憶し続けようとしながらも、この新しいゴミデータを完璧に学習すること（新しいデータに対して99.8%の精度を得ること）を強制したのです。

結果は衝撃的であり、著者らが**「グロッキングの錯覚（Grokked Illusion）」**と呼ぶ現象を明らかにしました。

• 標準的モデル (AdamW): 新しいナンセンスなデータを暗記し始めるとすぐに、崩壊し始めました。元の数学ゲームを解く能力が、100%から75%以下へと急落しました。新しいものを受け入れるために、元のスキルを「忘れて」しまったのです。それは、ランダムな電話番号のリストを暗記しようとした途端、基本的な足し算ができなくなってしまった学生のようなものでした。
• 高エントロピー・モデル: このモデルは戦車のように頑丈でした。同じナンセンスなデータを完璧に暗記した後でも、元の数学スキルをほぼ完全に維持し、95%から98%の精度を保っていました。このモデルは、古い情報を損なうことなく新しい情報を保持することができたのです。

この論文は、標準的なモデルの「完璧な」スコアは錯覚であったことを示唆しています。それは強く見えましたが、実際には脆弱でした。しかし、高エントロピー・モデルは真に堅牢でした。

なぜ一方は失敗し、もう一方は成功したのか？

研究者たちは、これらのモデルの「脳」を詳しく調べ、何が違っていたのかを確認しました。彼らは**特異値分解（Singular Value Decomposition）**という数学的ツールを使用しました（これは、モデルが情報を保存するためにどれだけの異なる「方向」を使用しているかを示すX線のようなものです）。

彼らは、高エントロピー・モデルがはるかに高い「実効ランク（effective rank）」を持っていることを発見しました。平たく言えば、このモデルの脳は、問題を解決するために、より広く多様なツールのセットを使用していたということです。単にいくつかのタイトで脆弱な経路に依存していたわけではありません。その代わりに、豊かで分散された特徴のネットワークを持っていました。

ノイズが入ってきたとき：

• 標準的モデルは、新しいデータを適合させるために、自身の持つ数少ない狭い経路を無理やり作り替えなければならず、その結果、古い経路を破壊してしまいました。
• 高エントロピー・モデルには、非常に多くの「余白」と多様な経路があったため、古い数学スキルを乱すことなく、新しいノイズを吸収することができました。それは、重いトラック（新しいデータ）が通っても土台が揺れることのない幅広で頑丈な橋のようなものであり、標準的モデル（狭い橋）は同じ重みで崩壊してしまったのです。

これが未来に意味すること

この研究は、**「完璧な汎化は、完璧な堅牢性を意味しない」**と結論付けています。モデルがテストでA+を取ったからといって、人生が予想外の事態（カーブボール）を投げ込んできたときに失敗しないとは限らないのです。

著者らは、モデルの記憶の「形」が重要であると示唆しています。数学的世界において、より大きな「高エントロピー」な領域を占めるモデルは、新しいことを学ぶ際に、自然とより優れた記憶保持能力を発揮します。これは、将来のAIを訓練する際、単に正しい答えを出させるだけでなく、解空間における「より広い谷」を見つけさせる必要があることを示唆しています。これにより、未来を学ぶ際に過去を忘れることがない、より信頼性の高いAIを構築できる可能性があります。これは、物事が常に変化し続ける現実世界のタスクにおいて、非常に重要となります。

これらの結果は現在、数学パズルを用いたシミュレーションに基づいたものですが、著者らはこの原理がより大規模で複雑なAIシステムにも適用可能であり、機械が昨日学んだことを忘れてしまうという古くからの問題を解決できる可能性があると考えています。