💻 computer science

Mechanistic Interpretability of Discrete Logarithm Grokking: How Representation Determines the Internal Algorithm

本論文は、離散対数問題の入力表現がニューラルネットワークによって発見される内部アルゴリズムを根本的に決定すること、そして、問題の真の因数分解との代数的な整合性が急速な汎化（グロッキング）の前提条件であること、および、必要な相互作用に富んだ計算構造は、性能が向上するずっと前の記憶フェーズにおいて形成されることを示している。

原著者： David Vesterlund

公開日 2026-10-05

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： David Vesterlund

原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

コンピュータサイエンスの静かな片隅では、研究者たちが人工知能が実際にどのように「考えている」のかを理解しようと試みています。長年、これらのシステムが複雑なパズルを解く方法を学習できることは分かっていましたが、そのプロセスはしばしば魔法のように見えることがあります。モデルは長い間繰り返し失敗し、突然答えを暗記し、そして奇妙な休止期間を経て、見たこともない新しい問題を解くための汎化（一般化）を開始するのです。機械が単にデータを暗記した後、かなり時間が経過してから概念を「把握（grok）」したかのように見えるこの現象は、中心的な謎となっています。このコードを解読するために、科学者たちは、特定の鍵を持つ鍵穴のように、明確で隠された構造を持つ数学的問題をしばしば利用します。その一つが離散対数問題であり、これはコンピュータに対して、隠された数を見つけるために乗算プロセスを逆転させるよう求めるタスクです。これは抽象的に聞こえますが、ニューラルネットワークの内なる仕組みを明らかにする論理的なパズルの一種です。コンピュータがこの特定の謎を解く方法を学習する様子を観察することで、研究者は、機械がどのような内部戦略を発明したのか、そして問題の提示方法が、見出される解決策を変えるのかどうかを正確に見ることができます。

デビッド・ヴェスタールンドによる新しい研究は、この調査を一歩進め、「情報をコンピュータに提示する方法が、その考え方を変えるのか？」という単純ながらも深遠な問いを投げかけています。この検証のために、研究者は、二つの非常に異なるデータ提示方法を用いて、離散対数問題を解くように人工知能モデルを訓練しました。第一の方法では、人間が紙の上で見る時のように、基礎となる構造に関する特別なヒントを与えられず、生の数値がモデルに与えられました。第二の方法では、研究者は問題を提示する前に、問題を自然な数学的構成要素へと分解し、実質的に、あらかじめ整理されたツールキットをコンピュータに手渡しました。結果は、これら二つのアプローチが、モデルに全く異なる内部アルゴリズムを発見させたことを明らかにしました。生のデータで訓練されたモデルは、問題の異なる部分が深く絡み合った、複雑で入り組んだ接続の網を発達させました。対照的に、整理された構造化データを与えられたモデルは、問題の異なる部分が独立して処理される、クリーンで分離された組織を発達させました。

おそらく最も驚くべき発見は、この学習のタイミングでした。研究者たちは、生のデータを用いたモデルにおける複雑で絡み合った構造が、モデルが実際に正解を出し始めるずっと前から形成され始めていることを見出しました。数千ステップの間、モデルの内部接続は、テストのスコアが低いレベルに留まっている間も、この複雑なパターンへと再構成されていました。その後、この内部構造が完全に構築された後になって初めて、モデルは突如として「カチッ」と音がしたかのように、問題を正しく解き始めたのです。これは、機械が理解を実証できるずっと前から、理解に必要な機構を構築していたことを示唆しています。また、この研究は、この内部アーキテクチャが単なる副作用ではなく、タスクにとって不可欠なものであることも示しました。研究者がモデルの内部数学の特定の部分を外科的に取り除くと、システムは完全に失敗しました。これは、これらの特定のパターンこそが、解決策を駆動する実際のエンジンであったことを証明しています。

また、この研究は、これらのモデルをテストする方法に関する従来の調査における誤解を正しました。一般的な手法には、モデルが数字の特定の順序に依存しているかどうかを確認するために、データのラベルをシャッフルする作業が含まれていました。新しい分析によれば、このシャッフル法は実際には「トリック」であったことが判明しました。モデルは独自の記号の辞書を学習するため、単に数字の名前を変えるだけでは、モデルが見ている基礎となる数学的構造を実際には変えていなかったのです。モデルは依然として同じ構造化された問題を解いており、単に名前が変わっただけでした。この発見は極めて重要でした。なぜなら、より誠実なテストへの道を開いたからです。研究者たちは、数学的構造を維持するものと、それを意図的に壊すものを含む、新しい階層的なテストを作成しました。その結果、入力が問題の真の数学的「分割（パーティション）」を保持している場合にのみ、モデルは問題を素早く解くことができることが分かりました。もし入力が方程式の構成要素間の関係をかき乱してしまうと、モデルはトレーニングデータを完璧に暗記はしますが、長い時間をかけて訓練しても、決して新しい問題を解く方法を学習することはありませんでした。

結局のところ、この研究は、入力の表現形式が単に学習を加速または減速させるだけでなく、機械が発見するアルゴリズムを根本的に決定することを示唆しています。問題がその自然な数学的分離を尊重する形で提示されるとき、機械は解決策への単純で効率的な経路を見つけます。問題が生の非構造化された方法で提示されるとき、機械はその隙間を埋めるために、はるかに複雑な内部世界を構築することを強いられ、その複雑さを使いこなせるようになるまでに、はるかに長い時間を要します。この研究は、これらの人工システムにとって、理解への道のりは与えられた情報の構造によって舗装されていることを裏付けています。それは単にどれだけのデータを見るかという問題ではなく、そのデータがいかに配置されているかという問題なのです。機械は単に答えを学ぶのではありません。それは、問い自体の形によって規定される、特定の思考法を学ぶのです。

技術要約：離散対数におけるグロッキングのメカニスティックな解釈可能性

1. 問題設定

本研究は、代数的な学習問題における入力表現が、ニューラルネットワークが発見する内部アルゴリズムをどのように決定するかを調査するものである。研究の対象は、グロッキング（grokking）——モデルがテストデータへの汎化を突然起こすずっと前に訓練データを暗記してしまう現象——の文脈における**離散対数問題（DLP）**である。

核心となる問いは、単にグロッキングが起こるか否かではなく、ネットワークがどのような内部メカニズムを構築しているのか、そしてそのメカニズムが、代数的構造（具体的には巡回群の中国剰余定理（CRT）による分解）を露出させるか、あるいは破壊するかという入力表現によってどのように形作られるかである。

2. 手法および実験設定

2.1 タスクとデータ

問題: $h = g^x \pmod p$ となる $x$ を求める（ここで $p=113$ は素数であり、群の位数 $N = p-1 = 112 = 7 \times 16$ である）。
CRT分解: この問題は、 $x \pmod 7$ と $x \pmod{16}$ への自然な分解を許容する。
データセット: 48個の生成元から生成されたすべての3つ組 $(g, g^x, x)$ 。分割：訓練用30%、テスト用70%。
モデル: 2層Transformer（パラメータ数427K、隠れ層次元128、ヘッド数4）。

2.2 入力表現

代数的整合性の必要性を検証するため、以下の入力エンコーディングを比較する：

RAW (R0): 標準的なシーケンス $[BOS, g, SEP, h, EOS]$ 。明示的な分解なし。
TRUE CRT (R1): 明示的に分解された入力 $[BOS, g_b, SEP, g_a, SEP, h_b, SEP, h_a, EOS]$ 。部分群の射影を露出させている。
SCRAMBLED: すべてのCRT位置に対して、単一の固定された置換を適用。
負の制御（代数的破壊の階層）:
- PERMUTED CRT (R2): 各因子に対して独立した置換を行う（分割は維持するが、順序を破壊する）。
- ROLE-DECOUPED CRT: 生成元と結果のポジションに対して異なる置換を行う（分割は維持するが、共有される共役性を破壊する）。
- GLOBAL RANDOM BIJECTION (R3): 群の法則と因子による分割の両方を破壊するランダムな全単射。
- ORDER-MATCHED (R3O) & MIXED RADIX (R4): 情報は保持するが、代数的構造を破壊するバリエーション。

2.3 分析手法

2D CRT フーリエ分解: 隠れ層の活性化をフーリエモード（ $E_A$ ：因子Aのみ、 $E_B$ ：因子Bのみ、 $E_{AB}$ ：因子間の相互作用）に分解する。相互作用比 $R_{int} = E_{AB} / (E_A + E_B + E_{AB})$ によって、表現の分離性を定量化する。
時系列分析: 32個のチェックポイント（0〜65Kエポック）にわたってフーリエエネルギーとテスト精度を追跡し、内部構造の形成と汎化のタイミングを特定する。
因果的アブレーション（Causal Ablation）: フーリエ部分空間（ $U_A, U_B, U_{AB}$ ）に対するトップkアブレーションを実施。ランクおよび分散が一致した100個のランダムコントロールと比較し、計算における因果的必要性を検証する。
代数的構造スコア: ホモモルフィズム・スコア（ $S_{hom}$ ）や調整済みランド指数（ARI）を含む指標を用い、表現がどれほど正確に群の法則と因子による分割を保持しているかを定量化する。

3. 主な貢献

分岐する内部アルゴリズム: RAW表現とCRT表現が、質的に異なる内部組織化をもたらすことを示した。RAWは非分離的で相互作用が豊かな構造（ $E_{AB} \approx 0.65$ ）を発達させる一方、CRTは分離的な構造（ $E_{AB} \approx 0.01$ ）を発達させる。これは、同じタスクを解いているにもかかわらずである。
相互作用の時系列形成: RAWモデルにおいて、相互作用に富んだ構造は暗記プラトー（エポック15K–30K）の間に形成されることを示した。これは、目に見える汎化（約50Kエポックでのグロッキング）よりも約20Kエポック早い。
SCRAMBLEDの監査: 以前の研究で扱われた「SCRAMBLED」表現は、初期化においてTRUE CRTと**正確に共役（conjugate）**であることを証明した。モデルは学習可能なカテゴリカル埋め込みを使用するため、グローバルなトークン置換は埋め込みテーブルに吸収され、結果としてSCRAMBLEDはすべての代数的構造を保持してしまう（ $S_{hom}=1.0$ ）。したがって、これは代数的破壊のテストにはなっていない。
負の制御の階層: 真のCRT因子による分割の保持が、迅速な汎化の決定的な要件であることを確立した。分割を保持する表現（TRUE CRT, PERMUTED CRT, ROLE-DECOUPLED CRT）はすべてグロッキングを起こすが、分割を破壊する表現（R3, R3O, R4）は、100Kエポック経過後もグロッキングに失敗する。
フーリエモードの因果的必要性: トップkアブレーションにより、Aモード、Bモード、およびAB相互作用モードのすべてが計算に因果的に必要であることを確認した（ $p < 0.01$ ）。

4. 主な結果

4.1 表現がアルゴリズムを決定する

RAWモデル: 因子間の相互作用に依存する複雑な内部アルゴリズムを発達させる。相互作用エネルギー（ $E_{AB}$ ）は、テスト精度が横ばい（約30%）のプラトー期間中、35%から52%へと上昇する。
CRTモデル: 分離的なアルゴリズムを発達させる。モデルは構成要素の情報（ $x \pmod 7$ および $x \pmod{16}$ ）を早期に発見するが、それらを再結合することを後から学習する。
結論: 入力表現は単に学習速度を変えるだけでなく、内部アルゴリズム（分離型か相互作用型か）を根本的に変えてしまう。

4.2 因子による分割保持の必要性

高速なグロッキング: TRUE CRT（~~20Kエポック）、PERMUTED CRT（~~8K）、ROLE-DECOUPLED CRT（~26K）はすべて、ほぼ完璧な汎化を達成する。
グロッキングの失敗: GLOBAL RANDOM BIJECTION (R3)、ORDER-MATCHED (R3O)、MIXED RADIX (R4) は、完全な暗記と最大ウェイト減衰を経ても、汎化に失敗する（ $T_{grok} > 100K$ ）。
示唆: 単に入力を2つの座標に分解するだけでは不十分である。表現は、真の代数的分割（群の要素をCRT因子へマッピングする特定の対応関係）を保持していなければならない。

4.3 「SCRAMBLED」の誤解

本研究は、先行文献における潜在的な誤解を修正する。SCRAMBLEDはCRTと共役であるため、その迅速なグロッキングは「代数的整合性が不要であること」を意味しない。それは単に、語彙のラベル付けを通じて代数的構造が保持されている場合、モデルはそのアルゴリズムを学習できることを裏付けているに過ぎない。

4.4 因果的検証

トップkのフーリエ部分空間をアブレーションすると、壊滅的な性能低下（ $\Delta \approx -0.89$ から $-0.96$）が発生するが、ランダムコントロールでは影響は無視できる。これにより、特定されたフーリエモードが単なる相関関係ではなく、計算に因果的に要求されるものであることが確認された。

5. 意義と主張

本論文は、入力表現がニューラルネットワークが発見する内部アルゴリズムの主要な決定要因であると主張している。

メカニスティックな洞察: グロッキングは単一の現象ではない。汎化への経路は、ネットワークが複雑な相互作用モード（RAW）を構築する必要があるか、あるいは事前に露出された分離可能な構造（CRT）を利用できるかによって決まる。
代数的整合性: 代数的タスクにおける迅速な汎化には、入力表現が基礎となる群構造の真の因子分割を保持していることが必要である。単純な情報の保持や任意の分解では不十分である。
手法論的修正: 本研究は、メカニスティックな解釈可能性における重要な落とし穴を指摘している。モデルが学習可能な埋め込みを使用している場合、トークンの置換による「スクランブル」は、代数的な論理を破壊することなく吸収されてしまうため、無意味になる可能性がある。
時系列ダイナミクス: 汎化に必要な内部構造（特にRAWにおける因子間相互作用）は、モデルが汎化能力を示すかなり前に形成される。これは、「プラトー」が単なる暗記のフェーズではなく、構造構築のフェーズであることを示唆している。

著者は、時系列分析に単一のシードを使用していることや、現在は $p=113$ に限定されていることなどの限界を認めつつ、これらを現在の結論を損なうものではなく、今後の研究課題として控えめに提示している。