🤖 machine learning

Emergent Models: Intelligence from Tiny Substrates

本論文は、セルオートマトンのような単純でオープンエンドな動的基質が、創発的な計算行動を通じてタスクを解決するように進化される機械学習パラダイムである「エマージェント・モデル（Emergent Models）」を導入するものであり、このような最小限のシステムが、従来の微分可能なアーキテクチャを超えて、潜在的な普遍性とグローバルな汎化を達成できることを実証している。

原著者： Giacomo Bocchese, Nicola Giacobbo, Etienne Guichard, James Wiles, Akshaj Devireddy

公開日 2026-08-17

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Giacomo Bocchese, Nicola Giacobbo, Etienne Guichard, James Wiles, Akshaj Devireddy

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

人工知能の世界を、巨大な図書館だと想像してみてください。何十年もの間、司書たちは完璧な本棚を作ろうと試みてきました。彼らは何百万もの本（データポイント）を棚（ニューラルネットワーク）に積み上げ、その前の本に基づいて次にくる本を推測するように、その棚に学習させてきました。これは、すでに見たことのある本について尋ねる場合には素晴らしい働きをしますが、まだ書かれていない物語について尋ねると、棚はしばしばランダムに推測するか、デタラメな内容を作り出してしまいます。これは、棚がパターンの暗記には非常に長けているものの、そもそも物語を成立させている「ルール」を理解することには疎いためです。

ここで、異なるアイデアが登場します。巨大な本棚を作る代わりに、動き回ることで問題を解決することを学ぶ、小さな自律走行ロボットを作ったらどうなるでしょうか？これが「エマージェント・モデル（創発モデル）」の世界です。これは、コンピュータ画面上でプレイされる「ライフ・ゲーム」のようなものだと考えてください。オンまたはオフの状態になるセルの格子があります。あなたは「もし隣接するセルが2つオンなら、オンにする」といった単純なルールを与えます。そして、その様子を観察します。すると時として、単純なルールから、宇宙船やグライダーのような、驚くほど複雑なパターンが「創発（出現）」することがあります。科学者たちが問いかけている大きな疑問は、これら小さなルールベースのロボットを使うことで、巨大な本棚よりも数学や論理をより良く学習できるのではないか、ということです。わずか数百の「パーツ」を持つシステムが、材料のリストを暗記するのではなく、ケーキの秘密のレシピを見つけ出すことができるのでしょうか？この論文は、シンプルで進化するシステムが、より賢く適応力のあるAIへの鍵となるのかという問いを掘り下げ、単純な進化系システムがよりスマートなAIの鍵となり得るかを調査しています。

思考する微小な基質

この論文の著者たちは、機械学習に関する新しい考え方である**エマージェント・モデル（EMs）**を紹介しています。空白のキャンバス（「基質」）と、「右に一歩進んで色を変える」といった一つの単純なルールに従う、たった一つの小さな筆を持っていると想像してください。従来のAIでは、何百万もの筆致を一度に調整することで、完璧な絵を描こうとします。この新しいアプローチでは、キャンバスと筆をセットアップした後、それらをしばらく走らせます。私たちは筆に「何を描くか」を教えるのではなく、しばらく走らせた後に、現れたパターンが「2つの数字を足し合わせる」といった問題を偶然解決しているかどうかを観察するのです。

核心となるアイデアは、知能には巨大で複雑な脳は必要ないかもしれない、ということです。むしろ、それは単純な繰り返しのプロセスから生まれる（創発する）ものかもしれません。それは、一羽の鳥が命令を下すことなく、鳥の群れが完璧な隊列を組んで移動する仕組みによく似ています。ここでの「脳」とは、データの格子上で何度も何度も実行される、ごく小さな一連のルールに過ぎません。

「潜在的普遍性」の魔法

論文では、**潜在的普遍性（Latent Universality）**と呼ばれる魅力的な概念を提案しています。汎用リモコン（「プログラム」）とテレビ（「基質」）を想像してください。ほとんどのAIでは、見たい番組ごとに新しいテレビを買わなければなりません。しかし、潜在的普遍性においては、テレビは固定されています。リモコン（格子の初期状態）だけを変更します。著者たちは、もし適切な種類のテレビ（特定の数学的な格子）があれば、画面上の初期パターンを変えるだけで、内部の配線を一切変えることなく、理論上あらゆる計算を行うようにプログラムできることを示唆しています。

彼らは、これが理論的に可能であることを数学的に証明しています。無限に続く格子と単純なルールがあれば、初期パターンを設定することで、計算機、チェスのプレイヤー、あるいは翻訳機として機能させることができます。「プログラム」とは、格子上に描かれる初期の絵なのです。

実験：活動する小さなロボットたち

完璧な無限の格子を作ることは難しいため、研究者たちは「動物園」のような、小さくて単純なモデルの数々を用いてこのアイデアをテストしました。彼らは超知能AIを作ろうとしたのではなく、これらの小さなシステムが基本的なルールを学習し、それをより大きな数字に適用できるかどうかを確認したかったのです。

1. 数学の達人（EM43）
彼らは、単純なルールを持つ、細胞の一次元ストリップ（ドミノの長い列のようなもの）を作成しました。そして、 $x + 1$ や $x \times 2$ といった数学を教えました。

結果： 完璧に機能しました！モデルは小さな数字（1から30など）でルールを学習し、その後、一度も見ることのなかった巨大な数字（最大1,000まで）に対しても完璧に適用できました。
「アハ体験」の瞬間： モデルがどのように問題を解決しているかを観察すると、格子を横切って動く、美しく繰り返される幾何学的なパターンが見られました。彼らはこれを**「幾何学的グロッキング（geometric grokking）」**と呼んでいます。それは、モデルが単に答えを暗記したのではなく、あらゆる数字に対して機能する「視覚的なダンス」を発見したかのようです。これは、従来のAIが苦戦する部分であり、特に「4で割った余りは何か？」といった繰り返しのパターンにおいて顕著です。

2. ライフ・ゲーム（GoL-EM）
次に、彼らは隣接するセルに基づいて細胞の生死が決まる、有名なセル・オートマトンであるコンウェイの「ライフ・ゲーム」を使用しました。彼らはこのシステムに、数学や倒れそうな棒のバランスを取る（CartPole）ことを教えようとしました。

結果： 単純な数学（ $x + 1$ など）は学習できましたが、非常に不安定でした。初期パターンへのわずかな変化が、システム全体の崩壊を招きました。それは、強風の中でカードの家をバランスさせるようなものでした。しばらくの間、棒のバランスを取ることはできましたが、安定性には欠けていました。研究者たちは、正しい初期パターンを探す作業は、ほとんどランダムに推測しているようなものだと指摘しました。システムがあまりに敏感であったため、通常の方法で「訓練」することが困難だったのです。

3. 連続的学習者（CEM1D & CEM2D）
最後に、彼らは「オン/オフ」のスイッチではなく、滑らかな連続値（現実世界の物理学のようなもの）を使用するモデルを試しました。

結果： これらは制御においてより優れた性能を示しました。1Dバージョンは棒のバランスを非常によく取ることができ、2Dバージョンは、食べ物が時として毒に変わる世界をナビゲートすることを学習できました。
難点： これらのスマートなモデルにも課題がありました。時には、円を描いて回り続けたり、停止したりすることがありました。環境の変化に適応することはできましたが、完璧ではありませんでした。研究者たちは、これらのモデルはまだ非常に新しく、現在使用されている巨大なAIモデルに比べればるべくはるかに劣るものであると述べています。

これが意味すること（および意味しないこと）

この論文は、自身が何を達成し、何を達成していないかを非常に明確にしています。映画やスマートフォンで見られるような、より優れたAIを構築したと主張しているわけではありません。実際、これらの小さなモデルは、現在よりも訓練がはるかに難しく、パワーも劣っていることを認めています。

しかし、それは刺激的なことを示唆しています。すなわち、真の知能の秘密は、サイズ（膨大な数のパラメータ）ではなく、**反復（単純なステップの繰り返し）**にあるかもしれない、ということです。著者たちは、これらの小さなモデルが学習に成功したとき、彼らは答えではなく「ルール」を学習していたことを発見しました。これにより、見たことがない数字に対しても正しく予測することができました。これは「外挿（エクストラポレーション）」と呼ばれるスキルです。

また、彼らはAIの効率性に関する新しい考え方を導入しています。最高のモデルとは、非常に少ない「ハードなパーツ（ルール）」を使いつつ、それを長い時間（多くのステップ）実行するモデルである可能性を示唆しています。これは、膨大な量の「ハードなパーツ」を使いながら、一度しか実行しない今日の巨大なAIとは対照的な考え方です。

結論

この論文は、初めて動く蒸気機関が作られた時のときのような、基礎的な一歩です。これはまだ自動車ではありませんし、宇宙船でもありません。しかし、単純な繰り返しシステムがルールを学習し、新しい状況に適用できることを証明しています。研究者たちは、わずか数百のパラメータだけで、システムが数学を行い、単純なロボットを制御できることを示しました。

大きな教訓は、私たちはAIを複雑にしすぎているのかもしれない、ということです。どんどん大きな「脳」を作る代わりに、より長く考えることを許された、より小さくシンプルなシステムを作るべきなのかもしれません。この論文は、よりスマートなAIへの道は、これらの「エマージェント（創発的）」な振る舞いの中に、つまり、単純なルールから生命が生まれるように、単純なルールから知能が成長していくプロセスの中にあるのではないかと示唆しています。未来の知能は、最も小さく、最も単純なものの中に見出されるかもしれないという、希望に満ち、遊び心があり、かつ少し型破りなアイデアです。

技術要約：創発モデル（Emergent Models）：極小の基質からの知能

問題提起

従来のディープラーニング、特に順伝播型ニューラルネットワーク（FFNN）は、グローバルな汎化および**外挿（エクストラポレーション）**に苦慮することが多い。普遍的近似定理は、FFNNがコンパクトな領域において任意の関数を任意に良く近似できることを保証しているが、それらは通常、開いた領域におけるデータの背後にある生成規則を捉えることはできない。その結果、有界な範囲で訓練されたモデルは、訓練分布を超えた領域への外挿ができなくなる（例：ReLUネットワークは漸近的に線形になり、シグモイドネットワークは定数に収束する）。

さらに、近年の推論型LLMや回帰型アーキテクチャの研究は、反復計算が汎化を向上させることを示唆しているものの、これらのモデルは依然として膨大なパラメータ数に縛られており、長いシーケンスの外挿において脆弱性を示すことが多い。本論文は、AIにおける「苦い教訓（Bitter Lesson）」――トップダウン的なエンジニアリングよりも、一般的な手法を通じて計算資源を活用すること――と人工生命からの洞察を組み合わせ、単純な局所規則によって制御される基質（サブストレート）において複雑な振る舞いが創発される必要があると主張している。核心となる問いは、最小限の局所再帰的な計算基質が、現在のニューラルアーキテクチャよりも大幅に少ないパラメータ数で、高いグローバルな表現力と外挿性を達成できるか否かである。

手法

創発モデル（EM）フレームワーク

著者らは、**創発モデル（EM）**を、モデリングを閉じた入出力写像の学習としてではなく、単純な動的システム内における計算動作の創発として扱う機械学習パラダイムとして定式化している。EMは、タプル $M = (S, f, H, E, D, \oplus)$ として定義される：

潜在状態 ( $S$ ): メモリとして機能する構成空間（離散または連続）。
更新規則 ( $f$ ): 潜在状態に対して反復される局所的な遷移関数（例：セルオートマトン規則）。
停止条件 ( $H$ ): 反復の停止を決定する述語。
インターフェース ( $E, D, \oplus$ ): 外部の入力／出力を潜在状態に結びつけるエンコーダ、デコーダ、および結合演算子。
プログラム ( $p$ ): 摂動のない初期状態。与えられた入力 $x$ に対して、初期状態は $s_0 = p \oplus E(x)$ として形成される。

学習アプローチ:
勾配ベースのバックプロパゲーションとは異なり、EMは**進化計算（遺伝的アルゴリズム）**を通じて訓練される。探索空間には以下が含まれる：

ソフトパラメータ: プログラムの状態 $p$ （初期構成）。一部の設定では、これはマクロステップを通じた状態保持（ラマルク的継承）によって更新可能である。
ハードパラメータ: 更新規則 $f$ 、停止条件 $H$ 、およびインターフェースのパラメータ。これらは訓練中に最適化されるが、推論時には固定される。
目的は、進化させた軌跡が、停止時にデコードされた際にターゲットタスクを解決するような構成を見つけ出すことである。

理論的基礎：潜在的普遍性（Latent Universality）

本論文は、基質（ $S, f, H$ ）とインターフェース（ $E, D, \oplus$ ）が固定されており、プログラム $p$ のみが変化することで あらゆる部分計算可能関数を実現できる領域、すなわち潜在的普遍性という概念を導入している。

定理1: 著者らは、バイナリ文字列の入出力に対して、固定された基質とインターフェースを用い、有限サポートのプログラム状態のみを変化させることで、あらゆる部分計算可能関数を計算できるEMが存在することを証明した。これは、プログラムと入力が初期のテープ構成にエンコードされるチューリングマシンの概念と一致する。

実験的基質

著者らは、単一の競争力のあるアーキテクチャを設計することなく、本フレームワークの生存可能性をテストするために、「動物園（zoo）」とも呼べる最小限のEM実装を評価している：

EM43: 4つの状態を持つ1次元離ック・セルオートマトン（ルックアップテーブルによる規則）。
GoL-EM: 固定されたルールを持つConwayのライフゲーム（Game of Life）。最適化されるのは初期のグライダー構成（プログラム）のみである。
CEM1D: 局所的な微分方程式の更新規則を持つ、連続値の1次元格子。
CEM2D: 高速な活性化フィールドと低速なメモリフィールドを備えた連続2次元格子。学習可能なポートの位置も特徴とする。

主要な結果

1. 算術外挿（EM43）

タスク: 単純な整数関数（ $x+1, 2x, x \mod 4, \text{round}(x/3)$ ）の学習。 $[0, 30]$ で訓練し、 $[30, 1000]$ でテスト。
性能: EM43は、周期関数（ $x \mod 4$ ）や振動関数（ $x \cdot (1 + x \mod 2)$ ）を含むすべての単一入力タスクにおいて、100%の完全一致精度を達成した。
観察: これらのモデルは**「幾何学的グロッキング（geometric grokking）」**を示した。つまり、汎化は、入力のスケールが増大しても有効であり続ける、安定して解釈可能な時空パターン（例：移動するマーカー）を通じて実現された。
限界: 二入力の乗算タスク（ $a \cdot b$ ）は計算予算内で収束せず、現在の探索の限界または表現力の制約を示唆している。
効率性: 成功したモデルは、わずか30個の例で訓練され、70〜110個のパラメータ（140〜220ビットの情報）しか使用しなかった。

2. 制御タスク（GoL-EM & CEM1D）

CartPole:
- GoL-EM: ランダムなベースラインを大幅に上回るリターン（平均〜171、最高〜417）を達成したが、堅牢性に苦しみ（54.5%の非停止率）、デブリの蓄積による不安定性の原因となる状態保持の問題が生じた。
- CEM1D: 状態保持を備えた連続1次元モデルは、最大に近いリターン（734.93）を達成し、GoL-EMを上回った。しかし、角速度に強く依存しており、カートの位置を効果的に統合できず、最終的には境界外へドリフトした。
Meta-Life（適応）:
- タスク: エージェントは、事前の知識なしに、変化する環境の中で食料を採集するか、毒を回避しなければならない。
- 結果: CEM2Dと高密度メモリ拡張RNN（mRNN）のベースラインの両方が高いメタスコアを達成し、オンライン適応が成功したことを示した。
- 比較: mRNNの方が収束が速く、わずかに高いスコア（0.82 対 0.71）を達成した。CEM2Dはより長い訓練を必要としたが、局所的な連続力学がメモリと適応をサポートできることを示した。
- 失敗モード: 両モデルとも、資源が乏しい場合に「回転するアトラクタ（その場で回転し続ける状態）」を示した。この失敗は、訓練目的の収穫逓減と、スタックした状態から回復することの困難さに起因するとされている。

主な貢献

創発モデルの定式化: 動的システムを、固定された更新規則とインターフェースから分離された、潜在空間における初期状態としての「プログラム」を持つ機械学習モデルとして扱う厳密なフレームワーク。
潜在的普遍性の証明: 固定された基質とインターフェースが、プログラム状態のみを変化させることであらゆる計算可能関数を計算できることを示す理論的証明を行い、グローバルな表現力に不可なる条件を確立した。
最小限の基質の経験的検証: 数十から数百のパラメータ規模の局所再帰的計算が、算術タスクにおいて正確な外挿を達成し、制御や適応の振る舞いをサポートできることを示し、汎化には膨大なパラメータ数が必要であるという概念に挑戦した。
幾何学的グロッキング: 汎化が、基質の時空進化における安定した解釈可能な幾何学的パターンとして現れる現象の特定。
$q$ -比率の仮説: パラメータ数と時間的深度の比率（ $q = N_{params} / \bar{T}$ ）が、汎化と訓練可能性のトレードオフを支配するという仮説。低い $q$ （単純な規則、深い反復）はアルゴリズムの圧縮と外挿を促進するが、不規則な探索ランドスケープを生み出し、高い $q$ （大きなネットワーク、浅い反復）は記憶を優先する。

意義と主張

本論文は、自身を競争力のあるアーキテクチャの提案ではなく、基礎的な研究として位置づけている。その主な意義は以下の通りである：

設計空間の拡大: 微分可能な順伝播写像を超えて、単純でオープンエンドな物理的ような基質を探索すること。
知能の再定義: 知能が、ニューラルアーキテクチャの明示的なエンジニアリングではなく、単純な局所規則と初期条件の相互作用（「人工的な物理学」）から創発する可能性を示唆すること。
控えめな主張: 著者らは、自らのモデルがまだ成熟したタスク特化型の手法と比較して競争力がないことを明示している。彼らは、訓練の効率性、探索のスケーラビリティ（特に乗算のような複雑なタスクにおける）、および制御設定における堅牢性の限界を認めている。
今後の方向性: 実践における潜在的普遍な領域の実現と、低 $q$ の再帰モデルに特有の非凸かつ非局所的なランドスケープに特化した最適化手法の開発を呼びかけている。

結論として、現在の局所再帰的モデリングは、ディープラーニングの20年前の状態に匹敵するものであるが、極小の基質が外挿と適応を遂行できる能力は、効率的で汎用性の高い機械学習への有望かつ未開拓の道を示唆している。