あなたは、数学のテストに向けて詰め込み勉強をしている学生を観察していると想像してください。最初は、彼らはすべての練習問題の答えをただ暗記しています。練習問題のシートでは満点を取りますが、もしあなたが少し違う質問をすると、彼らはどうすればいいのか全く分かりません。これが「暗記」です。その後、同じ問題をぼんやりと見つめ続けている長い時間の後、突然、何かが「カチッ」と音を立てて噛み合います。学生は単に答えを復唱するのをやめ、その背後にある「論理」を理解し始めます。彼らは今や、見たこともない新しい問題も解けるようになりました。この、丸暗記から真の理解への突然の変化は、人工知能を研究している科学者たちを困惑させてきた謎です。

AIの世界では、この現象は「グロッキング（grokking）」と呼ばれています。これは、コンピュータモデルがデータセットを学習し、データの暗記には完璧になるものの、長い間、新しいデータに対して汎化（応用）できないときに起こります。それから突如として、モデルはパターンを把握し、非常に優れたものになります。科学者たちは、「なぜモデルはこれほど長く『暗記モード』に陥ってしまうのか？」と疑問を抱いてきました。単に遅いだけなのか、それとも閉じ込められているのか？ この問いに答えるため、研究者たちは物理学、特に「ガラス」の研究からアイデアを借りています。ガラスとは、非常に速く冷却されたために、無秩序で硬い状態に固まってしまった液体のことを指します。それは完全な固体ではありませんが、流れることもできません。科学者たちは、AIモデルが学習中に、似たような「ガラス的」な状態に陥っているのではないかと考えています。つまり、より良い解決策がすぐ目の前にあるにもかかわらず、凍りついて動けなくなっている状態です。

この新しい論文は、まさにそのアイデアを深く掘り下げています。Lai Shun Chan氏らを中心とする研究チームは、グロッキングが実際に「ガラス的」な振る舞いの一種であることを証明し、さらに重要なこととして、モデルをその凍りついた状態から脱出させる方法を見つけ出したいと考えました。彼らは単にモデルを観察しただけではありません。モデルの内部的な「脳」（パラメータ）がどのように動いているかを正確に測定するための特別なツールキットを構築しました。彼らは、モデルの動きが、暗記フェーズの間、驚くほど遅く、反復的で、狭い経路に固定されていることを発見しました。それはまるで、混雑した部屋を通ろうとしている人が、決して曲がることなく、直線のまま足を引きずって歩くことを強制されているようなものです。

これを解決するために、チームは「SAM-Swap」と呼ばれる巧妙なトリックを考案しました。これは、物理学者が粒子の位置を入れ替えることでガラスの状態を緩和させる方法から着想を得たものです。彼らは、モデルの内部数値の値をランダムに入れ替える手法を作りました。一見すると、すべてをめちゃくちゃにしてしまうように思えますが、実際には、それはモデルを目覚めさせるための「優しい揺さぶり」として機能します。この単純な入れ替えによって、モデルは凍りついた状態から脱出し、より早く「汎化」の解決策を見つけることができるのです。この論文は、モデルの動きの幾何学的な性質を理解することで、モデルが立ち往生するのを防ぎ、学習を加速させることができると示唆しています。つまり、長い、もどかしい待ち時間を、素早い「アハ体験（気づきの瞬間）」に変えることができるのです。

凍りついた脳の物語

「グロッキング」の停滞という謎
ロボットにパズルを解く訓練をしているところを想像してください。あなたは数千の例を見せます。最初、ロボットは正確な答えを暗記することに関してはスーパースターです。練習テストでは100％を取ります。しかし、見たことのない新しいパズルを与えると、ロボットは惨敗します。ロボットはずっと、ずっと失敗し続けます。それから、さらに数千回の試行の後、突然、ルールを理解し、新しいパズルに対しても100％の正解を出せるようになります。これが「グロッキング」です。

しばらくの間、科学者たちは、これはロボットの学習方法における単なる癖だと思っていました。しかし、新しい理論は、ロボットが「凍りついている」ことを示唆しています。川が冬に凍りつく様子を想像してください。水（学習プロセス）の流れが止まってしまいます。ロボットは「ガラス的」な状態に陥っています。解決策が存在しないのではなく、ロボットがより良い解決策を見つけるために内部のパーツを十分に動かせなくなっているのです。

凍結を測定するための3つのツール
これを証明するために、著者らはロボットの脳の動きを観察するための3部構成のツールキットを構築しました。彼らが知りたかったのは、ロボブルットは動いているのか？ ループに陥っているのか？ そして、新しい経路を探索しているのか？ ということです。

1. パラメーター・モビリティ (PM)： 「歩幅」計
   ロボットが歩いていると考えてください。学習の初期段階では、ロボットは学習に伴って大きく自信に満ちたステップを踏みます。しかし、暗記フェーズに入ると、著者らはロボットのステップが極めて小さくなり、ほとんど目に見えなくなることを発見しました。それは、ロボットが片足で立ち、わずかに震えているような状態です。論文によれば、ロボットの内部数値の移動距離は、劇的に減少します（約1から0.0001へ）。物理的に動けなくなっているのです。

2. レプリカ相関 (RC)： 「双子のテスト」
   これが最も興味深い部分です。研究者たちは、ロボットの「双子」を作成しました。全く同じ場所から出発した2体の同一のロボットを用意し、それぞれに小さなランダムな刺激を与えました。もしロボットが自由に探索できるのであれば、彼らはすぐに異なる方向へと進むはずです。しかし、暗記フェーズの間、双子は互いに固着していました。刺激を与えても、彼らは全く同じ経路を辿りました。この「履歴依存性」は、ロボットが現在の状態にあまりにも固執しているため、異なる解決方法を想像することすらできないことを意味します。それは、狭いトンネルを通ろうとしている2人の人のようです。どのように身をよじろうとしても、強制的に同じ列に並ばされるのです。

3. フラクタル次元 (FD)： 「ゆらぎ」検出器
   これはロボットの経路の形状を測定します。もしロボットが探索を行っていれば、その経路は乱雑で、曲がりくねり、回転に満ちたもの（高次元）になります。しかし、グロッキングの停滞期には、経路は直線的で退屈なものになります。著者らは、フラクタル次元がほぼ1まで低下することを発見しました。これは、ロボットが左右に曲がることができず、直線的で退屈な「チャネル（通路）」のような経路を移動していることを意味します。ロボットは狭い廊下に閉じ込められているのです。

「ガラス」理論の確認
この論文は、これら（極小のステップ、分離できない双子、そして直線的な経路）の組み合わせこそが、「ガラス的」なシステムの署名（特徴）であると示唆しています。ロボットは単に遅いのではなく、運動学的に停止（キネティック・アレスト）しています。解決策（出口）がすぐそこにあるにもかかわらず、脱出できない状態に閉じ込められているのです。著者らは、学習プロセスがシステムを急速に冷却しすぎたために、より良い解決策へと緩和される前に、この凍りついた状態にロックされてしまったのだと主張しています。

魔法の「スワップ」トリック
では、どうすればガラス状態のロボットを解凍できるのでしょうか？ 物理学において、科学者はガラスを緩和させるために「スワップ・モンテカルロ法」という手法を用います。彼らは、粒子がより良い配置を見つけられるよう、粒子の位置を入れ替えることを想定します。著者らはこれをAIモデルに適用しました。

彼らは新しいツール、SAM-Swapを作成しました。仕組みは以下の通りです：

• 彼らはロボットの経路を観察します。
• 経路が直線的になりすぎたとき（フラクタル次元が1.1を下回ったとき）、ロボットが停滞していると判断します。
• その後、同じレイヤー内にあるロボットの内部数値の値をランダムに入れ替えます。

「待ってください、数値を入れ替えたら、ロボットが学んだことを破壊してしまうのではないですか？」と思うかもしれません。驚くべきことに、そうではありません。著者らは、このスワップがモデルを壊すのではなく、むしろ「優しい揺さぶり」として機能することを発見しました。それは、ロボットが囚われている「チャネル」を破壊し、新しい経路を探索させてくれるのです。

結果：より早い「アハ体験」
結果は劇的でした。標準的な学習（AdamWと呼ばれる手法を使用）では、ロボットが最終的に汎化するまでに約3,000エポック（学習サイクル）を要しました。しかし、SAM-Swapトリックを使用すると、ロボットはわずか650エポックで汎化しました。これは大幅なスピードアップです！

また、論文では、ランダムなノイズを加える（静電気でロボットを揺らすようなもの）といった他の手法との比較も行われました。ノイズの追加も多少の効果はありましたが、構造化された「スワップ」の方がより効果的でした。重要な発見は、ガラス状態から脱出するためには、単に足踏みをするのではなく、「拡散（ディフュージョン）」、つまりランダムに動き回り、探索することが必要であるということです。

これが意味すること
この論文は、単に「グロッキングは奇妙だ」と言っているだけではありません。なぜそれが起こるのかを測定する方法と、それを修正するためのツールを提供しています。これは、モデルがいつ学習するかというタイミングは、単に問題の数学的な性質によるものではなく、モデルが辿る「旅路」に関係していることを示唆しています。もしその旅路が、あまりにも直線的で狭くなってしまうと、モデルは行き詰まってしまいます。少しの「組織化された混沌（スワップ）」を取り入れることで、モデルを解放し、より速く学習させることができるのです。

著者らは、これは特定の数学的タスク（剰余演算）と特定のタイプのモデルに対してテストされたものであることを慎重に注記しています。彼らは、これがここでの実験ではうまく機能したものの、言語や視覚に使用されるような、より大規模で複雑なモデルでも機能するかどうかを確認する必要があると述べています。しかし、中心となるアイデア――すなわち、動きの幾何学を理解することによって、損失のランドスケープを「トンネル」して突き進めるということ――は、AIの学習に関する強力で新しい考え方です。

要約すると、この論文は、時にはより速く学ぶために、もっと強く押し進める必要はないということを教えてくれます。ただ、少しだけ状況を揺さぶり、モデルに別の道を選ばせてあげればよいのです。