技術的サマリー：観測からの世界理論化の学習

1. 問題定義

現代の AI 世界モデルは、主に「理解」を潜在空間または観測空間における将来状態の正確な予測能力として実用化している。しかし、発達認知科学は、人間の理解が単なる予測からではなく、言語習得以前に、世界がどのように機能するかについての内部的で再利用可能な理論を構築することから生じることを示唆している。この「理論理論」は、認知が観測された現象に対する構造化された構成的な説明を発見することを含むと仮定している。

現在の AI システムには重大なギャップが存在する。それらは予測や再構成に最適化されており、相関を捉えるが体系的な汎化に必要な構成的構造を欠く絡み合った複合変換を学習することが多い。これらのモデルは、観測がどのように生成され、なぜ生成されるかを説明する明示的で再利用可能なメカニズムを発見できず、分布のシフト下や既知の要因の新しい組み合わせに直面した際に脆弱となる。

ここで扱われる中心的な問題は以下の通りである：人工システムは、言語、タスクラベル、または真のプログラム監視に頼ることなく、生で非言語的な感覚入力のみを観測することで、世界の明示的な説明理論を構築することを学習できるか？

2. 手法：理論化学習（L2T）と NEO

著者らは、モデルが生の観測ペア $(x, y)$ から実行可能な構成的プログラム（理論）を推論する学習パラダイムである**Learning-to-Theorize（L2T）**を提案する。理論は、ソース観測 $x$ をターゲット $y$ に変換する再利用可能なプリミティブ操作の系列として定義される。

L2T を具体化するために、本論文は以下の主要コンポーネントを持つ確率的ニューラルモデル**Neural Theorizer（NEO）**を導入する。

2.1. 確率的枠組み

NEO は、離散プログラム $\tau$（プリミティブの系列）と実行トレース $s$ という潜在変数を導入することで、条件付き尤度 $p_\theta(y | x)$ をモデル化する。モデルは、エンコーダが $x$ を初期潜在状態にマッピングし、「理論プログラマ」がプリミティブを逐次的に選択し、共有遷移モデルがこれらのプリミティブを実行して最終状態を生成し、それがデコードされて $y$ を再構成するという生成過程を仮定する。

2.2. 学習された思考言語

事前定義された記号言語を使用する代わりに、NEO はデータから直接思考言語を学習する。

• プリミティブ: モデルはベクトル量子化された VQ-VAE コードブックを通じて、操作の離散語彙を誘発する。これらのプリミティブには事前定義された意味はなく、その意味は潜在状態をどのように変換するかから導かれる。
• 構成: 理論プログラマ $q_\phi(z_{ik} | s_k, y)$ は、潜在状態をターゲット $y$ へ誘導する次のプリミティブを選択する、目標条件付き方策として機能する。これにより、モデルは明示的な監視なしにプリミティブを構造化されたプログラムに構成できる。

2.3. 最小記述長（MDL）原理

過剰分解（不必要に長いプログラムを作成すること）を防ぎ、最も再利用可能なプリミティブ集合の発見を促進するために、NEO は MDL 原理を採用する。モデルは、再構成精度とプログラムの簡潔さのバランスを取る最適なプログラム長さ $k^*$ を選択する。
$$k^* = \arg \min_{k} \lambda_{MDL}^k \cdot \ell(y, \hat{y}_k)$$
このメカニズムは、モデルが最短の正確な説明を見つけるよう動機付け、絡み合った系列を暗記するのではなく、基本的なプリミティブの発見を自然に促進する。

2.4. 状態グラウンディング

重要な革新として状態グラウンディングがある。中間潜在状態が有効な観測に対応し（モデルがデータ多様体から外れる「ショートカット」遷移を学習するのを防ぐ）、NEO は中間状態に対してデコード - エンコード整合性損失を強制する。これにより、推論されたプログラム内の各ステップが、学習された潜在空間内での意味のある変換であることを保証する。

2.5. 推論とテスト時スケーリング

テスト時には、NEO は再構成誤差が閾値を下回るまでプリミティブを逐次的に選択することで理論を推論する。モデルは構成的構造を学習するため、長さ汎化（トレーニングで見たものよりも長いプログラムを処理する）をサポートする。さらに、理論プログラマの確率的性質により、**テスト時探索（NEO-S）**が可能となり、複数の候補理論をサンプリングし、多数決で選択することで、複雑で未観測の組み合わせにおける精度を向上させる。

3. 評価：観測から理論誘導へのベンチマーク（OTIB）

著者らは、プログラム監視なしに生観測から再利用可能な理論を推論できるかどうかを評価するために設計されたOTIBベンチマークを導入する。

• 設定: 訓練データは、潜在プログラムによって生成された観測ペアで構成される。訓練セットには可能なプログラム構成の割合 $\alpha$ が含まれ、残りは構成的 Out-of-Distribution（OOD）として保持される。
• 指標: 性能は自己説明性（サポートペアからターゲットを再構成すること）と転移性（推論された理論を新しいクエリ入力 $x'$ に適用して $y'$ を予測すること）によって測定される。転移性は、再利用可能な理論が学習されたか、それともインスタンス固有のマッピングであるかを決定するための重要な指標である。
• ドメイン: ベンチマークは以下の 3 つのドメインで具体化される。
  1. GridWorld: 運動プリミティブを備えた 10x10 グリッド。
  2. 算数因数分解: 素数による乗算を通じた整数変換。
  3. 画像編集: 回転、明るさ、マスクなどの操作によって変換された CIFAR-10 画像。

4. 主要な結果

実験により、NEO はすべての設定において単一のモノリシックなベースライン（離散/連続 VQ-VAE および $\beta$-VAE）を大幅に上回ることが示された。

• 構成的汎化: ベースラインは分布内性能で高い値を達成するが、構成的 OOD タスクでは転移性がほぼゼロに崩壊する。一方、NEO は高い転移性を維持する（例：GridWorld OOD で約 0.93）。これは、入力 - 出力マッピングを暗記するのではなく、再利用可能なプリミティブを学習していることを証明する。
• 長さ汎化: NEO は、トレーニング中に観測されたものよりも長いプログラム（例：GridWorld で長さ 8、算数で長さ 6）に成功裏に汎化する。これはベースラインが完全に失敗する能力である。
• プリミティブ発見: 分析により、プリミティブがトレーニング中に単独で観測されなかった場合（低い $\alpha$）でも、NEO が真のプリミティブ集合を回復することが示された。モデルは絡み合ったトレーニング例を、原子単位で再利用可能な単位に分解することに成功した。
• テスト時スケーリング: 推論時にサンプリングベースの探索を利用する NEO-S 変種は、特に長期的タスクにおいて性能をさらに向上させ、構成的構造がプログラム空間の有効な探索を可能にすることを確認した。

5. 意義と主張

本論文は、予測中心の世界モデルから説明駆動型の構成的理解への移行に関する AI 学習目標の転換の概念実証として位置づけられている。

• 理論的貢献: 記号監視なしに、生で非言語的な観測から構造化された構成的理論を誘発できるという仮説を検証し、AI の学習目標を発達認知科学における「科学者としての赤ん坊」という視点と整合させる。
• 方法的貢献: 理論を学習されたプリミティブを持つ実行可能プログラムとして表現し、中間状態をグラウンディングすることで、モノリシックな潜在表現では達成できない体系的な汎化が可能であることを示す。
• 限定的な範囲: 著者らは明示的に限界を認めている。現在の定式化は、小さな離散プリミティブ集合と短いプログラム長を仮定しており、非常に複雑で連続的、あるいは確率的な現実世界のダイナミクスへのスケーラビリティは制限される。実験は制御された合成ベンチマークに限定されている。この研究は、展開可能なシステムというよりも、学習メカニズムの基礎的研究として提示されている。

結論として、本論文は、学習を「理論化学習」として枠組みづけることで、AI システムは再利用可能で構成的であり、新しい現象に汎化する能力を持つ内部的説明構造を獲得でき、それによってより豊かな機械理解の概念に近づくことができると主張している。