技術的サマリー：2 つの時計とイノベーション・ウィンドウ

問題提起

有限データセットで訓練された生成モデルは、根本的な緊張関係に直面している。すなわち、その訓練目的（拡散モデルにおけるスコアマッチングや自己回帰モデルにおける次のトークン予測など）は、潜在的な母集団分布ではなく、経験的な訓練分布へと収束する傾向がある。記憶化を通じてリアリズムを達成することは可能であるが、モデルが分布を定義する潜在的な規則を真に学習したのかどうかを判断することは依然として困難である。自然データにおいて、規則に基づく一般化と完全な記憶化を区別することは難しい。本論文は、この課題に以下のように取り組む：生成モデルは、分布の真の規則をいつ学習し、いつ訓練サンプルの再生産を開始するのか？

手法

著者らは、規則の充足度、新規性、および記憶化を正確に測定するための制御された合成フレームワークを採用している。

• タスク: 主要なテストベッドは、バイナリ画像に対するグループレベルのパリティである。各画像はサイズ $G$ のグループに分割され、各グループは偶数パリティの制約を満たさなければならない。パラメータ $G$ は、規則の複雑さ（相互作用の次数）を直接制御するノブとして機能する。
• モデル: 本研究では、サイズ ($N$) とモデル容量が異なるデータセットで訓練された拡散トランスフォーマー (DiT) と自己回帰トランスフォーマー (GPT) を利用する。
• 指標:
  • 規則精度: パリティ制約を満たす生成サンプルの割合。
  • 記憶化率: 訓練データと完全に一致する生成サンプル（またはグループ）の割合。
  • イノベーション・ウィンドウ: 生成物が規則に準拠しているが記憶化されていない（新規である）時間間隔 $[\tau_{rule}, \tau_{mem}]$。
• 動的解析: 著者らは以下の手法を用いて訓練ダイナミクスを分解する：
  • サンプルごとの状態追跡（無効、規則違反、有効かつ新規、有効かつ記憶化）。
  • 異なるノイズスケール ($\sigma$) におけるデノイジング・スコアマッチング (DSM) 損失の分析。
  • ブール超立方体のスライスにおける学習されたベクトル場とアトラクタ盆地の可視化。

主要な貢献と結果

1. 生成訓練の 2 つの時計

本論文は、生成訓練を支配する 2 つの異なる時間スケールを特定している：

• $\tau_{rule}$（規則学習時間）: 生成サンプルが初めて規則に準拠するようになるステップ。
• $\tau_{mem}$（記憶化時間）: モデルが訓練サンプルの再生産を開始するステップ。

これら 2 つの時計は異なる要因によって支配される：

• $\tau_{rule}$ は、規則の複雑さ ($G$) に対して単調に増加する（$G$ の単位増加あたり約 1 桁遅延）し、モデル容量に対しては減少する。これはデータセットサイズ $N$ に対してはほぼ不変である。
• $\tau_{mem}$ は規則の複雑さに対してほぼ不変であるが、データセットサイズ ($N$) とほぼ線形にスケーリングする（DiT の場合、$\tau_{mem} \approx 35 N^{1.14}$）。また、より大きなモデル容量によっても加速される。

2. イノベーション・ウィンドウ

区間 $[\tau_{rule}, \tau_{mem}]$ はイノベーション・ウィンドウと定義され、この間にモデルは規則に準拠しているが記憶化されていない（新規な）サンプルを生成する。

• 拡大/縮小: ウィンドウは、より大きなデータセット（記憶化を遅らせる）によって広がり、より高い規則の複雑さ（規則学習を遅らせる）によって狭まる。
• 閉鎖: 高い複雑さ ($G \ge 9$) または小さなデータセットの場合、$\tau_{rule} \ge \tau_{mem}$ となり、イノベーション・ウィンドウは完全に消滅する。これらの場合、モデルはすでに記憶化を開始した後にのみ規則を学習したように見える。つまり、観測される精度は一般化ではなく、検索によって駆動されている。

3. ベクトル場を通じたメカニズム的洞察

DiT モデルの学習されたスコアを分解すると、最適化ランドスケープにおける対応する進化が明らかになる：

• 初期フェーズ: モデルはブール超立方体上で生成を学習し、頂点をアトラクタへと変換する。
• $\tau_{rule}$ 付近: 規則に準拠するサンプルのアトラクタが大幅に拡大し、規則違反のコーナーを抑制する。有効なサンプル（訓練データと保持データ双方）の盆地は対称的に拡大する。
• $\tau_{mem}$ 付近: 特定の訓練サンプルの盆地がさらに拡大し、近隣の保持された有効な領域を侵食する。学習されたベクトル場は保持されたサンプルにとってより劣ったデノイザーとなり、ノイズの付いたサンプルが有効な新規点に近い場合でも、記憶化された訓練点へと指し示すようになる。
• ノイズスケール依存性: これらの遷移は、ブール超立方体上のデータ点間の幾何学的距離に対応する、特定の中間ノイズスケール ($\sigma \in [0.2, 2.0]$) で発生する。

4. 他のアーキテクチャおよびタスクへの一般化

• 自己回帰モデル (GPT): GPT モデルも同様の 2 つの時計構造を示す。ただし、同程度のサイズの DiT に比べて学習と記憶化が速く、その結果イノベーション・ウィンドウは短くなる。GPT における記憶化への遷移はより急激である。
• 他の規則: このダイナミクスは、他のバイナリ規則（例：正確な $K$、行 $K$）や組み合わせパズル（ラテン方、数独）にも拡張される。
  • 複雑性の形式の影響: 高次のパリティは困難であるが、グローバルなカウント制約（正確な $K$）は迅速に学習される。これは、制約の形式（乗法的相互作用対加法的和）が、グローバル性単独よりも困難さを決定することを示唆している。
  • ネストされた制約: 数独のようなタスクは、単純なパリティに比べて非等方的な学習（行が列よりも先に学習される）と、有効性の遅延を示す。

意義と主張

本論文は、生成モデルがいつ、どのように真の革新と記憶化を示すかについての統合的かつ予測的な説明を提供すると主張している。

• 動的説明: 静的な評価を超えて、モデルが複雑な規則を学習できない理由を説明する：規則を学習するために必要な時間がデータを記憶化するために必要な時間を超えたとき、イノベーション・ウィンドウは閉鎖する。
• アーキテクチャの限界: 結果は、現在の拡散アーキテクチャが高次の乗法的相互作用（高い $G$ のパリティ）に苦しんでいることを示唆しており、これが抽象的な推論規則（例：RAVEN マトリックス）や物理的保存則の学習における困難の基盤となっている可能性がある。
• 将来への道筋: 著者らは、複雑な制約に対する規則学習を改善するためには、単にデータやモデルサイズをスケーリングするのではなく、アーキテクチャの修正（例：グローバルブロードキャスト、構造化された乗法的相互作用）やカリキュラム学習戦略が必要であると示唆している。

この研究は、現在の生成モデルの根本的な限界を特定している：その帰納的バイアスは高次のグローバルな規則と十分に整合しておらず、「イノベーション・ウィンドウ」が閉鎖された際には記憶化への依存を招く。