🔬 condensed matter

Natural Ungrokking: Asymmetric Control of Which Rules Survive Pretraining

本論文は、学習コーパスにおけるルールを支持する証拠の頻度がそのルールの生存を決定するという性質により、言語モデルが事前学習中に特定のルールを自発的に学習した後に突如として忘却するという現象である「自然なアングロッキング（natural ungrokking）」を導入するものである。これは、ルールを破壊することは容易であるが、それを復元することは不可能であるという非対称な制御によって特徴付けられるプロセスである。

原著者： Juliana Li, Diya Sreedhar

公開日 2026-06-25

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Juliana Li, Diya Sreedhar

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大きなアイデア：ルールを学び、そして忘れる

想像してみてください。あなたは非常に幼い子供（AIモデル）に、膨大な図書室の本（学習データ）を読み聞かせることで、言葉を教えています。

このプロセスの途中で、その子供は特定の文法ルールを突然理解します。**「もし文章の中で女性の名前（例えば『スー』）が出てきたら、次の代名詞は『she（彼女）』になる」**というルールです。子供はこのルールに非常に詳しくなります。もしあなたが「スーは……（Sue cried because...）」と問いかければ、子供は自信を持って「she」と答えます。

しかし、その後、奇妙なことが起こります。子供がさらに多くの本を読み進めるうちに、そのルールを完全に忘れてしまうのです。学習の終わりには、同じ質問をしても、彼らは（たとえそれが女性に対して不適切であっても、一般的に人々が使いがちな）「he（彼）」と推測してしまいます。

論文ではこれを**「ナチュラル・アングロッキング（Natural Ungrokking）」**と呼んでいます。これは「グロッキング（Grokking）」（モデルが何かを突然理解すること）の逆の現象です。ここでは、モデルがルールを学び、しばらくの間それを使用しますが、たとえ読んでいる本の中にそのルールが依然として存在しているとしても、静かにそのルールを捨て去ってしまうのです。

ミステリー：なぜ忘れてしまったのか？

通常、コンピュータモデルが何かを忘れるときは、データが変わったか、データが消えたときです。しかし、この実験では、データは決して変わっていませんでした。ルールは学習中ずっと、本の中に存在し続けていたのです。

研究者たちは、決定的な要因は頻度（ある事象がどれくらい頻繁に起こるか）であることを突き止めました。

ルール： 「スー（Sue）」 $\rightarrow$ 「she（彼女）」
競合相手： 言語における一般的な習慣（人々がデフォルトの推測として「he」をよく使うこと）。

モデルが読んでいた特定の図書室では、「he」を使う習慣の方が、「スー $\rightarrow$ she」というルールよりもはるかに多く出現していました。ルールはそこに存在していましたが、「he」の習慣があまりにも大きく、頻繁であったため、ルールをかき消してしまったのです。モデルはルールを「消去」したのではなく、ルールが負けてしまったために、ルールに耳を貸すのをやめただけなのです。

実験：一方通行の道

研究者たちは、これをコントロールできるかどうかを調べたいと考えました。彼らは学習データを、回すことができるダイヤルのように扱いました。

1. 「キル・スイッチ」（破壊は容易）
彼らは、ルールが強力に働いている図書室を用意し、データを反転させ始めました。つまり、「スー... she」というすべての箇所を「スー... he」へと書き換えたのです。

結果： データを反転させるほど、モデルはより速くルールを忘れました。それは「完璧」から「ゼロ」へと向かう、スムーズで予測可能な滑落でした。
比喩： もしあなたが学生に対して、本には「Y」と書いてあるのに、「いや、答えはXだ」と言い続けたら、学生はやがて本を信じるのをやめ、あなたを信じるようになるでしょう。

2. 「レスキュー・スイッチ」（復元は不可能）
次に、彼らは逆の試みを行いました。すでにルールを忘れてしまったモデル（「he」が多い図書室を読んでいたモデル）を取り出し、それを「救済」しようとしました。「スー... she」の例を、ルールを維持するために必要な量の300倍という膨大な量で、データの中に注入しました。

結果：： 何も起きませんでした。 モデルは依然としてルールを忘れたままでした。
比喩： 想像してみてください。ある教師が一年間ずっと「2+2=5」だと教えたために、すでに「2+2=5」を学んでしまった学生がいます。もしあなたが突然、彼に「2+2=4」と書かれた教科書を1,000冊渡したとしても、彼は混乱するかもしれませんが、学んだ「2+2=5」という習慣を解くことはできないかもしれません。ダメージはすでに受けているのです。彼の中の「経路」は舗装されてしまったのです。

「なぜ」：それは消去ではなく、置き換えである

研究者たちは、モデルの「脳」（内部の数学的構造）の内部を調べ、何が起きているのかを確認しました。

彼らは、モデルが文章構造を理解する能力を失ったわけではないことを発見しました。モデルは依然として単語を処理する方法を知っていました。
代わりに、内部の確信度がシフトしていました。モデルの内部的な「sheへの投票」は、「heへの投票」というより強いものによって圧倒されてしまったのです。
これは法廷のようなものです。「she」という証拠はまだそこにありましたが、「he」という証拠があまりにも大きくなったため、裁判官（モデル）は「she」という証人の話を聞くのをやめてしまったのです。

まとめ

この論文は、AIの学習方法について主に3つのことを教えてくれます。

学習中の中間的なスキルは脆弱である： 学習の途中でモデルがルールを学んだからといって、それを保持し続けるとは限りません。
頻度がすべてを決める： ルールがデータの中で稀なものであれば、たとえそのルールが存在していても、より一般的な競合パターンによって押しつぶされる可能性が高いです。
壊すのは簡単だが、直すのは難しい： 一度、データの混合によってモデルがルールを忘れてしまうと、単に後からそのルールを戻すだけではうまくいかないことが多いのです。「忘却」はその特定の学習プロセスにおいて永続的なものとなります。

要約すると： AIモデルは、部屋の中で最も大きな声を聞く学生のようなものです。もし「間違った」声が「正しい」ルールよりも大きければ、学生は間違ったことを学びます。そして、一度間違ったことを学んでしまうと、後で正しいルールをいくら叫んでも、効果がないことが多いのです。

技術要約：自然なアングロッキング（Natural Ungrokking）

問題提起

本論文は、「自然なアングロッキング（natural ungrokking）」と名付けられた現象を調査している。これは、事前学習中の言語モデルにおいて、学習された能力が実行中に逆転する現象である。これは「グロッキング（grokking：遅延した汎化）」や、実行間のデータ減少によって引き起こされる「アングロッキング」とは異なり、定常的なデータ上で発生する。つまり、モデルがある特定の言語規則を習得し、それを適切に適用したにもかかわらず、その規則の証拠が学習ストリーム内に存在し続けているにもかかわらず、自発的にその規則を放棄してしまう現象である。

焦点となるケーススタディでは、ウェブテキストを用いて訓練された11.5Mパラメータのデコーダー専用トランスフォーマーを扱っている。モデルは代名詞の性別規則（例：「Sue cried because」に対して、コーパスの事前分布に基づく「he」ではなく「she」を解決する）を学習する。ステップ925までに、モデルは保持されたコンフリクト・プローブに対して0.94の精度を達成する。しかし、ステップ3,500までには、トレーニングデータの分布は変化していないにもかかわらず、精度はほぼゼロへと崩壊する。損失曲線はこの行動の変化を全く示していない。モデルは文法構造自体は保持しているが、表面レベルの事前分布と矛盾する場合、特定の規則を適用することを停止する。

方法論

実験設定

モデル: 4層のデコーダー専用トランスフォーマー（ $d_{model}=256$ 、アテンションヘッド数2、11.5Mパラメータ）を用い、4,400ステップ訓練。
コーパス: 以下の2つのデータセットを使用：
1. TinyStories: 代名詞の性別規則が密にサポートされている合成コーパス。
2. Filtered Web Corpus: ClimbMixから派生したもので、規則のサポート頻度が競合する表面パターンに対して低い。
変数: 本研究では、規則のサポート頻度（ $f$ ）およびデータ対パラメータ比（ $D/N$ ）を変化させる。
評価: テンプレート化されたプローブのセットを用いて、「コンフリクト（規則と事前分布が不一致）」項目と「アグリー（規則と事前分布が一致）」コントロール項目の性能を測定する。分類器を用いて、軌跡を Recovered（回復）、Displaced（置換）、Partial（部分的）、Never（未発生）、Unstable（不安定）に分類する。
メカニズム指標: **コントラスト・マージン（Contrast Margin: CM）**を用い、規則に従う継続表現と、事前分布に従う競合表現の間の対数確率差を追跡する。
厳密性: すべての確認用指標、閾値、および方向性の予測は、データの検証前に**事前登録（pre-registered）**された。盲検化されたレプリケーション用のシードセットは隔離されている。

因果的介入

因果関係を確立するため、著者らは訓練コーパスに対して「インプレース（in-place）」の編集を行った：

Kill（除去）: 単一のコーパス内で、規則を支持するトークンを反証となるトークン（例：女性の名前の後に「she」ではなく「he」にする）に置き換える。この際の割合を $p$ とする。
Rescue（復元）: 崩壊したウェブコーパスに対し、TinyStoriesでの生存に必要な密度の最大3倍の用量で、規則を支持する証拠を再注入する。
Second Rule（第二の規則）: 一般化可能性をテストするため、無関係な規則（$a/an$ の異形態）に対して「Kill ladder」を複製する。

主要な結果

1. サポート頻度が運命を決定する

規則の生存は、単一のコーパス統計量、すなわちサポート頻度（トレーニングストリームにおいて、いかに頻繁に規則が勝利するか）から予測可能である。

生存: TinyStories（高サポート）では、あらゆるデータ予算において、規則は天井精度で生存する。
崩壊: ウェブコーパス（低サポート）では、規則は早期に現れるものの、訓練終了時までに精度がほぼゼロへと崩壊する。これは $D/N$ 比に関わらず発生する。高いデータ量は、サポート頻度が低い規則を救うことはできない。
変調: $D/N$ 比は、崩壊の「深さ」（精度がどこまで下がるか）を変調させるが、生存の判定を覆すことは決してない。

2. 非対称な制御（「Kill/Restore」の非対称性）

本論文は、規則の生存を制御する上での顕著な非対称性を実証している：

破壊は容易であり、用量依存的である: サポートを反証へと反転させることは、厳密な単調な用量反応を伴って規則を破壊する。完全な反転（ $p=1.0$ ）において、すべてのシードで規則は死滅する。
復元は不可能である: 崩壊したコーパスにサポートを再注入しても、たとえそれが自然な維持密度よりも450倍多く、かつTinyStoriesの密度の3倍であっても、規則の生存を回復させることはできなかった。
- 内部メカニズム（コントラスト・マージン）は、一致させた用量において正の値へとわずかにシフトするものの、行動としての精度は崩壊したままである。
- これは、注入が崩壊ステップの「前」に集中して行われた場合でも成立しており、タイミングが失敗の唯一の原因ではないことを示している。

3. メカニズム：消去ではなく「置換」

規則の喪失は、構成の消去ではなく、競合する表面パターンによる**置換（displacement）**である。

証拠: 「アグリー」コントロール条件（規則と事前分布が一致する場合）では、崩壊の間も天井精度で解決されたまま維持されている。
コントラスト・マージン: 行動の崩壊が発生したとき（100ステップ以内）、CMは正確にゼロを横切る。崩壊した実行においては、文脈的経路（アテンションおよびMLPの寄与）が負のマージンを持ち、規則を圧倒している。
表現: ウェブデータにおける最終層のCue-genderデコーダブル性はチャンスレベルまで減衰しており、これは規則の表現がロジットの手前で置換されていることを示している。

4. 公開チェックポイントへの一般化

この現象は、特定の11.5Mモデルのアーティファクトではない。Pythia（70M–1.4B）やOLMo-1Bの公開チェックポイントも、同様の「出現とその後の崩壊」のシグネチャを示している。崩壊の深さはモデルのスケールによって順序付けられており（モデルが小さいほど深く崩壊する）、これは予測と一致している。

意義および主張

本論文は、主に以下の3つの貢献を主張している：

能力喪失の予測可能性: 規則の訓練終了時の運命は、訓練が終わる前に測定可能なコーパス統計量（サポート頻度）によって予測可能である。これは、損失曲線が能力の保持を監視するのに十分であるという仮定に挑戦するものである。
非対称な因果関係: サポート頻度は破壊に対しては因果的に十分であるが、復元に対しては不十分であることを本論文は確立している。一度、強力な事前分布によって規則が置換されると、証拠を再導入しても（たとえ大量であっても）能力を回復させることはできない。
メカニズム的洞察: 消失は物理的な「置換」として特定されており、競合する表面パターンが学習された規則を圧倒する現象であり、これはコントラスト・マージンのゼロ交差を通じて測定可能である。

実用的な含意:

中間訓練評価: 中間訓練のチェックポイントで観察された能力は、最終モデルにおいても存在することが保証されていない。
データフィルタリング: 稀な規則のサポートを希薄化することは、単一の例を削除することなく、その規則を破滅させる可能性がある。
継続的事前学習: データの混合比率の変化は、ベースモデルがすでに学習した能力を、静かに「アングロック（脱学習）」させる可能性がある。

著者らは、生存が反転する正確な境界線（頻度の軸上）を予測することは今後の課題であると明示しているが、質的な法則（サポート頻度が運命を決定する）は確立されている。本研究は、訓練のダイナミクス、メモリ、および汎化を理解するための建設的な貢献として位置づけられており、特に、競合する事前分布が存在する場合における学習された規則の脆弱性に焦点を当てている。