Topological Simplification in Predictive Coding Networks

巨大で複雑な機械が、バラバラで雑多な生の材料を、いかにして完璧で整った一皿の料理へと変えていくのか、その仕組みを理解しようとしているところを想像してみてください。人工知能の世界において、この機械は「ニューラルネットワーク」と呼ばれます。これはデータから学習するように設計されたコンピュータプログラムです。科学者たちは、長年、これらのネットワークがどのように世界を「見ている」のかに魅了されてきました。彼らは単にピクセルや数字を見ているのではありません。彼らはデータを「隠れた形」、つまり、似たものは近くに、異なるものは遠くに配置される一種の不可視の風景へと変容させているのです。

この不可視の風景を研究するために、研究者たちは「トポロジー（位相幾何学）」と呼ばれる数学の一分野を用いています。トポロジーとは、引き伸ばしたり押しつぶしたりすることはできても、引き裂くことはできない形状の研究だと考えてください。この言語において、固体の球体はカップと同じ形です。なぜなら、生地を破ることなく形を変えることができるからです。しかし、ボールはドーナツとは異なります。なぜなら、穴を開けるには生地を破らなければならないからです。もう一つの重要な概念は「予測符号化（プレディクティブ・コーディング）」です。次に何が起こるかを常に推測し、その推測を現実と照らし合わせてチェックする探偵を想像してみてください。もし推測が間違っていたら、彼らは理論を修正します。一部の高度なAIモデルはこのように機能します。彼らはデータを一度見るだけではありません。常に予測し、確認し、洗練させることで、データを完全に理解し、ゼロから再構築できるほどにまで理解を深めようとするのです。大きな疑問は、これら「探偵AI」が賢くなるにつれて、彼らの理解の形はどう変化するのか、ということです。彼らは世界を単純な一本の線へと平坦化してしまうのでしょうか、それとも複雑な曲線をそのまま維持し続けるのでしょうか。

これこそが、南カリフォルニア大学の研究チームが2026年の論文「予測符号化ネットワークにおけるトポロジー的単純化（Topological Simplification in Predictive Coding Networks）」で調査しようとした内容です。彼らは、これらの「探偵」AIネットワークが、データを層（レイヤー）ごとに処理していく過程で、データの複雑な形状をどのように扱うのかを知りたかったのです。彼らは、浮遊する円盤と穴で構成された合成ゲーム（トポロジー的にトリッキーな設計）と、手書き数字の有名なMNISTデータセットという、2種類のパズルを用いてネットワークを訓練しました。

研究者たちは、これらのネットワークが、データの粗いエッジを段階的に滑らかにするフィルターのような役割を果たすことを発見しました。データがネットワークの深部へ進むにつれて、複雑な形状はより単純になります。具体的には、ネットワークはデータの別々のグループを、単一の統合された塊へと「崩壊」させます。これは「トポロジー的単純化」と呼ばれます。しかし、この崩壊のタイミングこそがすべてです。チームは、より少ない「脳細胞（ニューロン）」を持つ小さなネットワークは、プロセスの非常に早い段階でデータを単純化しようと急ぐことを発見しました。それは、テストに合格するためにいくつかの主要な事実を素早く暗記するものの、細部はすべて忘れてしまう学生のようなものです。対照的に、より強力で大きなネットワークは、複雑な形状をずっと長く保持し、単純化を最後の方まで遅らせます。

しかし、落とし穴があります。研究者たちは、ネットワークがデータを単純化する「時期」と、元の画像をどれだけうまく再構築できるかの間に強い関連性があることを見出しました。あまりに早く単純化しすぎたネットワークは重要な情報を失い、その「再構築」（記憶から元の画像を描き戻そうとする試み）はぼやけて質の低いものになりました。形状の単純化をより長く待ったネットワークは、データの再構築においてはるかに優れた性能を示しました。実際、彼らは明確なパターンを発見しました。ネットワークがトポロジーを単純化する時期が遅ければ遅いほど、再構築の精度は高くなるのです。

おそらく最も驚くべき発見は、これらの「探偵」ネットワークが、標準的な一方通行のAIネットワーク（MLPと呼ばれるもの）とどのように比較されるかという点でした。たとえ同じサイズと訓練を与えられたとしても、探偵ネットワーク（予測符号化ネットワーク）は、標準的なネットワークよりも約3.6層分長く、データの複雑な形状を保持した後にようやく単純化を行いました。このことは、予測符号化による「推測と確認」の絶え間ないプロセスが、ネットワークに対して、世界の複雑さをより長く維持させ、元のシーンを再構築する能力を保存させることを強いていることを示唆しています。

要するに、この論文はトレードオフが存在することを示唆しています。もし小さくて高速なネットワークを求めるなら、それは世界を素早く単純化しますが、詳細を再構築する能力を失うかもしれません。もし完璧に見たものを再構築できるネットワークを求めるなら、それは世界の複雑な形状をできる限り長く保持しておく能力が必要です。研究では、「パーシステント・ホモロジー」と呼ばれる数学的ツールを使用してこれらの変化を測定しており、これは各ステップにおいて、どれだけの数の穴や島が存在するかを数える定規のような役割を果たしています。結果は、すべてのディープネットワークは理解するために最終的に世界を平坦化するものの、「探偵」スタイルの学習はマップの詳細をより長く維持し、理解と記憶の間のより優れたバランスを提供することを示しています。