Algebraic Representability as the Limiting Regime of Grokking: An Exactly Solvable Model with Holomorphic Activations

ロボットに数学パズルを解く方法を教えていると想像してみてください。通常、これらのロボット（ニューラルネットワークと呼ばれます）を訓練する場合、練習すればするほど上手くなっていくことが期待されます。しかし、時として奇妙なことが起こります。ロボットが答えを完璧に暗記し、宿題で満点を取るものの、似たような新しい問題を与えられると無残にも失敗してしまうのです。ロボットは「暗記モード」に陥ったまま、何千ステップも立ち往生します。しかし、ある時、何の予兆もなく突然新しいモードへと切り替わり、新しい問題を正しく解き始めます。この奇妙で遅れてやってくる目覚めは、「グロッキング（grokking）」と呼ばれます。それはまるで、テストのために詰め込み勉強をして、翌日にはすべてを忘れてしまい、その一週間後に突然概念を理解した学生のようなものです。

科学者たちは、なぜこの遅延が起こるのかを解明しようとしてきました。彼らは、ロボットの脳のサイズ（「容量」）が重要であることを知っています。もし脳が小さすぎれば、学習することは決してできないかもしれません。もし巨大であれば、即座に学習するでしょう。しかし、その中間はどうなっているのでしょうか？ 脳が大きくなるにつれて、遅延は単に短くなるのでしょうか？ それとも、ロボットの脳が非常に奇妙な構造をしているために、どれほど待ったとしても、答えを学習することが「できない」地点が存在するのでしょうか？ この論文は、学習のルールが絶対的な限界まで押し上げられたときに何が起こるのかを見るために、非常に特殊で数学的に完璧なロボットを構築することで、この問いに切り込みます。

---

万能な脳を持つロボット

この論文の著者たちは、推測をやめて、実際に構築することに決めました。標準的で混沌としたロボットの脳を使う代わりに、彼らは非常に厳格なルールを持つ特殊な種類のネットワークを構築しました。それは、特定の数学的パターンである「正則単項式（holomorphic monomial）」の形式でしか思考できないというルールです。

このロボットの脳を、**「非常に特定の形の鍵を持つ鍵職人」**だと考えてみてください。

• 標準的なロボット（ユニバーサル・アプロキシメータ）： ほとんどのAIモデルは、巨大な道具箱を持った鍵職人のようなものです。どんな形の鍵を渡されても、十分な時間と道具があれば、最終的には開けることができます。正解を見つけるのに時間がかかることもありますが（暗記）、その後突然理解に到達します（汎化）。つまり、彼らは常にドアを開けることができます。
• この論文のロボット： このロボットは、たった一つの特定の形の鍵しか持っていません。その鍵の形と一致するロックしか開けることができません。もし形が合わないロックを渡された場合、それは開けるのに時間がかかるという問題ではなく、**「開けることができない」**のです。それは「練習不足」の問題ではなく、「道具の間違い」の問題なのです。

研究者たちは、このロボットをモジュロ演算（時計のように数字が一周する数学の問題）のタスクでテストしました。彼らはこう問いかけました。もしロボットの脳があまりに限定的で、答えを表現することさえできない場合、それでも「グロッキング」は起こるのだろうか？

大きな発見： 「全か無か」のスイッチ

彼らが見つけた答えは、驚くほど単純でバイナリ（二値的）なものでした。中間はなく、緩やかな遅延もありません。グロッキングも起こりません。

1. 「イエス」の場合： ロボットに課された数学の問題が、たまたまその鍵の特定の形と一致する場合、ロボットは即座に解決します。トレーニングデータと新しいデータを全く同時に学習します。待ち時間は存在しません。それは、鍵職人に彼らが生まれるべくして生まれた鍵を手渡すようなもので、ドアは即座に開きます。
2. 「ノー」の場合： 問題が鍵の形と一致しない場合、ロボットは完全に失敗します。答えを暗記することもありません。ループに陥ることもありません。ただ永遠にランダムな推測のレベルに留まり続けます。トレーニング損失（どれだけ間違っているかの指標）は、どれほどロボットの脳を広げようと、あるいはどれほど長く訓練しようと、決して下がることのない硬い床に突き当たります。

著者たちはこれを数学的に証明しました。彼らは、この特定のタイプのロボットにとって、解決できる問題の集合は、全可能な問題の中の極めて小さな固定されたスライスであることを示しました。もし問題がそのスライスに含まれていなければ、ロボットはそのデータを適合させることが数学的に不可能です。それは最適化の問題ではなく、構造的な不可能性なのです。

実験： 585回の真実の試行

これが単なる理論ではないことを証明するために、チームは585回の実験を実施しました。彼らは39種類の異なる数学問題と、5種類の異なる「鍵の形」（活性化次数）を用いてロボットをテストしました。

• 結果： ロボットの挙動は、数学的な予測と99.8%の精度で一致しました。
• パターン： 結果は完璧な「階段状」を形成しました。問題の数値が正しい合計に一致していれば、ロボットは即座に成功しました。そうでなければ、即座に失敗しました。
• 欠落した中間領域： 585回の試行の中で、「グロッキング（遅れてやってくる成功）」が発生したケースも、「暗記はするが汎化できない（宿題はできるがテストに落ちる）」ケースも、ゼロでした。ロボットは、即座に勝つか、即座に負けるかのどちらかでした。

比較： 「通常の」ロボット

これが特殊なロボット特有の奇妙な癖ではないことを確認するために、彼らは同じテストを標準的な「通常の」ロボット（業界標準であるReLU活性化関数を使用）に対して行いました。

• 通常のロボット： このロボットは、あらゆる問題を解くことができました。すべてを暗記しました。しかし、難しい問題においては、典型的なグロッキングの挙動を示しました。つまり、トレーニングセットを暗記し、数千ステップの間じっと待ち、その後突然汎化に成功したのです。
• 対照的な結果： 特殊なロボットを完全に失敗させた問題は、通常のロボットがグロッキングを引き起こした問題と全く同じでした。これは、グロッキングにおける「遅延」が、単に問題が難しいからではなく、ロボットの脳が「あと少しで足りるはずなのに、わずかに足りない」状態にあるからであることを証明しています。特殊なロボットは、脳がレースに参加することさえできないほど小さい場合に何が起こるかを示してくれました。

「ボトルネック」テスト： ギャップを埋める

研究者たちは、「即時の失敗」と「即時の成功」の間にスムーズな経路があるかどうかを知りたいと考えました。彼らは通常のロボットを取り、その脳を「ボトルネック」に通して、どんどん細くしていきました。

• 広いボトルネック： ロボットはグロッキングします（遅れて成功する）。
• 中程度のボトルネック： ロボットは暗記しますが、決して汎化しません（停滞する）。
• 極小のボトルネック： ロボットは暗記することさえできません（即時の失敗）。

この実験は点と点を結びつけました。これは、特殊なロボットの「即時の失敗」の領域が、グロッキングが起こるスペクトルの極端な端にあることを示しています。ロボットの容量を縮小していくにつれて、遅延はどんどん長くなり、最終的には、ロボットがそもそもデータを暗記することさえできなくなるため、遅延は無限大になります。

鍵を学習することについては？

人はこう疑問に思うかもしれません。「もしロボットが自分自身の鍵を学習できたらどうだろうか？」 著者たちは、固定された「1のべき根（roots of unity）」エンコーディングを与える代わりに、ロボット自身にインプット・エンコーディングを学習させることで、これをテストしました。

• 結果： 「階段状」の即時の成功と失敗のパターンは消え去りました。ロボットは今や、ほとんどすべての線形問題を即座に解くことができました。
• 例外： ただし、解けない問題が一つありました（乗算タスク $a \times b$）。学習可能な脳を持っていたとしても、ロボットの構造があまりに単純すぎて、乗算の複雑さを捉えることができなかったのです。これは、失敗の原因がロボットに与えた特定の数学的手法によるものではなく、ロボットのアーキテクチャ自体の根本的な限界であったことを裏付けています。

まとめ

この論文は、AI訓練に関する根本的な真実を明らかにしています。グロッキングとは、暗記と汎化の間のレースです。 しかし、そのレースが行われるためには、まず走者が靴紐を結ぶことができなければなりません。

ニューラルネットワークの脳が小さすぎたり、硬直していたりして、答えを表現することさえできない（「靴紐を結ぶ」ことができない）場合、レースは始まりません。そこには遅延も、苦闘も、突然の目覚めもありません。あるのは、完全な停止です。「いつグロッキングするか？」という問いは、「それは果たして表現可能なのか？」という、より単純で原始的な問いへと解消されます。

著者たちは、ネットワークを数学的な限界まで追い込んだとき、グロッキングという混沌とした紛らわしい挙動は消え去り、クリーンで二値的な現実へと置き換わることを示しました。すなわち、数学が適合すれば即座に勝ち、適合しなければ即座に負けるのです。これは、AIがどのように学ぶかについて語る前に、私たちが求めていることを、AIが実際に学ぶ能力を持っているかどうかを確認しなければならないということを思い出させてくれます。