技術概要：Autolearn – 驚きによって学び、証明によって定着させる

1. 問題提起

現在の大規模言語モデル（LLM）は、デプロイ後に読み取るドキュメントから学習する能力を欠いています。新しい情報はコンテキストウィンドウに一時的なバッファとして取り込まれますが、コンテキストが終了すると破棄されます。既存の解決策はこの「学習」のギャップを効果的に埋めることができていません。

• ファインチューニングは、無差別な重み更新を強制し、以前の知識の破滅的な忘却（catastrophic forgetting）を招きます。
• **検索拡張生成（RAG）**は重み更新を回避しますが、情報を長期記憶に統合できず、コンテキスト汚染やドキュメント間推論の形成 inability に苦しんでいます。
• 知識編集および継続的学習の手法は、スケーラビリティが不足しているか、外部の監視を必要とします。

核心的な難しさは、新規性（真の新しい知識）とノイズ（妥当な偽情報または破損）を区別することにあります。両者とも、異常に高いトークンごとの損失（驚き度）を生み出します。外部検証なしにオプティマイザを高損失コンテンツに開放することは、モデルの重みを破損させるリスクがあります。さらに、生テキストに対する標準的な教師ありファインチューニング（SFT）は、モデルが正確な単語の順序を符号化するため、トークン系列の暗記につながりやすく、意味理解には至りません。

2. 手法：Autolearn パイプライン

Autolearn は、外部監視なしにモデルがドキュメントから学習することを可能にする、自己ゲート型ポストトレーニングフレームワークです。これは、驚きの検出、自己検証、記憶の定着という認知アーキテクチャを反映した 3 つの段階で動作します。

段階 1：検出とグラウンディング（驚き）

システムは、スライディングウィンドウにわたってトークンごとの損失（$s_t = -\log p_\theta(x_t | x_{<t})$）を集約することで、パッセージレベルの驚き度（$S_i$）を計算します。

• フラグ付け：$S_i > \tau$（既知のコンテンツで較正された閾値）となるパッセージは、「驚きがある」としてフラグ付けられます。
• グラウンディング：各フラグ付きパッセージについて、システムはグラウンディングタプル $G_i = (P_i, S_i, d_i)$ を記録します。ここで、$d_i$ はパッセージの初めから終わりまでの驚き度の正規化された減少率（ドロップ率）です。
• 結果：この段階は、モデルがすでに十分に知らないが、真の新規性と破損をまだ区別できないコンテンツをフィルタリングします。

段階 2：検証、評価、消化（自己検証）

パッセージを受け入れるか拒否する代わりに、モデルはパッセージの主張に関する自身の知識を明文化するためにQ&A チェーンを生成します。

• 生成：モデルは、$N$ 個の質問 - 回答ペアを生成します。ここで、$N$ はパッセージの驚き度に比例してスケーリングされます（$N = \lceil S_i \cdot c \rceil$）。質問は認識論的起源によってタグ付けされます。
  • [既存]：パッセージが前提とする背景的事実を確認します。
  • [メカニズム]：パッセージで提案された特定の因果段階を調査します（例：「タンパク質 X は受容体 Y に結合するか？」）。
  • [含意]：帰結が既知の事実と矛盾するかどうかをテストします。
• 一貫性チェック：各ペアは、モデルの既存の知識に対して検証されます。
  • [メカニズム] または [含意] の質問での失敗は、チェーン内で「ハードブレイク」を引き起こします。
  • [既存] の質問での失敗は、寛容に扱われます。
• 確信度（$k$）：チェーンはスコア $k$（合格した質問数）を生成します。この $k$ が学習の強度を決定します。早期に中断したパッセージは弱い学習を受け、完全なチェーンを完了したものは強いコミットメントを受けます。
• 奇妙さ記録：チェーンが中断した場合、失敗の背後にある推論は、不確実性を枠組みとしたトレーニング項目（「パッセージは X を主張しているが、私は不確実である…」）に変換され、モデルが知識の境界を学習することを可能にします。

段階 3：ゲート付き重み更新（定着）

トレーニングは、検証済みの Q&A ペアと奇妙さ記録に対して行われます。

• 確信度比例の $\beta_2$ 調整：フレームワークは、確信度 $k$ に基づいて AdamW オプティマイザの二次モーメントパラメータ $\beta_2$ を調整します。
  $$\beta_2^{(k)} = 0.999 \cdot r^k$$
  ここで、$r \in (0, 1)$ は減衰係数です。高い $k$（強い検証）は $\beta_2$ をわずかに低下させ、よく検証されたアイテムに対して勾配をより効率的に蓄積できるようにします。
• トレーニング形式：決定的なことに、トレーニングは生テキストではなくQ&A ペアに対して行われます。これにより、モデルはトークン系列ではなく、意味的関連（質問 $\to$ 回答）を符号化することを強制されます。

3. 主要な貢献

摂動ギャップ指標

本論文は、暗記と理解を区別する指標として摂動ギャップ（言い換えから元のテキストへのパープレキシティ比）を導入します。

• 暗記：モデルがトークン系列を暗記している場合、元のテキストはよく予測しますが、言い換えでは失敗し、高いギャップ（$\gg$ 事前学習ベースライン）が生じます。
• 理解：モデルが意味的関連を学習している場合、元のテキストと言い換えられたテキストの両方を同様に予測するため、ギャップは事前学習ベースラインに近い値になります。
• 重要性：ギャップが事前学習ベースライン未満であることは、トークン系列の暗記なしに理解が向上する「純粋な意味学習」を示しています。

自己消滅特性

システムは自己制限的です。モデルがパッセージを学習するにつれ、その驚き度（$S_i$）は低下します。$S_i$ が閾値 $\tau$ 以下に落ちると、そのパッセージは将来の遭遇でフラグ付けられなくなります。システムは、ドキュメント内の「驚きのある」コンテンツを使い果たすにつれて、自然に標準的な AdamW の動作に収束します。

データ空間ゲートによる選択的学習

パラメータ空間（例：EWC）でゲートする以前の継続的学習手法とは異なり、Autolearn はデータ空間でゲートします。これは、アイテムごとの $\beta_2$ 調整を通じて、どのアイテムが学習され、どの程度強く学習されるかを制御するものであり、選択的定着のために以前に提案されたことのないメカニズムです。

4. 実験結果

実験は、60 のパッセージ（20 は既知、20 は新規、20 は破損）のコーパスを使用して Qwen3-14B に対して行われ（Qwen3-8B/32B および Phi-4-14B 全体で複製されました）。

暗記対理解

• Autolearn は、「サブベースライン」領域に入る唯一の手法です。
  • 事前学習ギャップ：2.204。
  • Autolearn（最良）：2.098（$\Delta = -0.106$、$>10\sigma$）。
  • 標準 SFT（最良）：2.194（$\Delta = -0.010$、$<1\sigma$、ノイズ内）。
• これは、Q&A トレーニング形式がトークン系列の暗記を抑制し、純粋な意味学習を可能にすることを確認しています。

知識獲得

• 確率的評価：温度 0.7 サンプリングを使用すると、トレーニング後に正しい新規事実を生成する確率が大幅に上昇しました（例：グラフェン基板の事実について、**6% から 54%**へ、$p < 10^{-4}$）。
• 新規性対破損：Autolearn は、破損したコンテンツへの耐性において SFT と同等かそれ以上でした（例：$lr=5\times10^{-5}$ における破損直接質問での精度は、SFT が 47.4% であるのに対し、Autolearn は 50.5%）。
• 形式の優位性：アブレーション研究により、Q&A 形式が暗記抑制の主要な駆動力であることが示されました。$\beta_2$ を調整すること（$r=1.0$ と $r=0.999$ の比較）は、ほぼ同一の摂動ギャップを生み出し、現在のスケールではゲートリングではなく形式が支配的な要因であることを示唆しています。

クロスモデル一般化

このパターンは 4 つのモデル（Qwen3-8B、14B、32B；Phi-4-14B）全体で維持されます。Autolearn は一貫して SFT よりも低い摂動ギャップを達成し、サブベースライン領域に入る唯一の手法です。

5. 意義と主張

本論文は、Autolearn が外部監視なしで LLM における自律的知識獲得の実現可能な道筋を示していると主張しています。その主な意義は以下の点にあります。

1. 新規性/ノイズ問題の解決：自己生成された Q&A チェーンによる検証を使用することで、モデルは外部のオラクルがなくても、内部の一貫性に基づいて妥当な偽情報と真の新規性を区別できます。
2. 暗記の防止：トレーニングデータの形式（Q&A 対生テキスト）が、学習が意味理解につながるのか、それとも丸暗記につながるのかを決定する決定的な要因であることを証明しています。
3. 自己規制：システムは「自己消滅的」であり、理解されたパッセージについては学習プロセスを自動的に停止し、過学習と無限ループを防ぎます。

著者は、検証にモデルの既存の知識に依存すること（一貫した誤りを検証する可能性がある）や、新規性と破損を効果的に区別するためにモデルが十分に大きい必要があること（例：30 億パラメータ以上）などの限界を指摘しています。このフレームワークは、生物学的な記憶の定着（海馬 - 新皮質相互作用）の計算機アナログとして提示され、LLM が読んだものから「学習」するためのメカニズムを提供します。