思考の形：AIはいかにして自らの世界を構築するか

あなたが、巨大なデジタル脳がどのようにして「猫」を認識することを学ぶのかを理解しようとしているところを想像してみてください。長い間、科学者たちは、お気に入りのチャットボットや画像生成モデルの背後にある強力なAIモデルであるこれらの「Transformer（トランスフォーマー）」を、謎めいたブラックボックスとして扱ってきました。それらが驚異的な精度で機能することは分かっていましたが、それが「どのように」学習しているのかは、本当の意味では分かっていませんでした。その内部を覗き見るために、研究者たちはAIが作り出す「表現（representation）」を観察し始めました。これらの表現を、高次元空間に浮かぶ光る点の雲だと考えてみてください。各々の点は画像の一片（毛並みの一部や耳など）であり、その点の配置の仕方が、AIにとってそれが何であるかを教えてくれるのです。

以前、科学者たちは、これらの雲の「スペクトル」（点がどれだけ広がっているか）や「幾何学（ジオメトリー）」（点がどのようにクラスター化しているか）を測定することで、これらの雲を研究してきました。AIが学習するにつれて、雲は拡大し、意味のある形へと自己組織化していくことが分かっています。しかし、パズルの欠けているピースがありました。それは「トポロジー（位相幾何学）」です。簡単に言えば、トポロジーとは、引き伸ばしたり曲げたりすることには関心がないが、「穴」や「接続」には関心を持つ形状の研究です。その雲は一つの大きな固まりなのか？ 真ん中に穴が開いたリング状なのか？ それとも、バラバラに離れた島々の集まりなのか？ これらの雲の「形」を理解することは、AIが世界の構造を真に理解しているのか、それとも単にパターンを暗記しているだけなのかを見極める助けとなります。この問いに答えようとしているのが、新しい研究である「TGO-IV」です。

---

論文：TGO-IV、トポロジーの探偵

「TGO-IV: Developmental Topology Observatory（発達的トポロジー観測所）」と題されたこの新しい研究において、インドのSVNITに所属するカウストゥブ・カピル（Kaustubh Kapil）氏とキショール・P・ウプラ（Kishor P. Upla）氏は、ビジョン・トランスフォーマー（画像を認識するタイプのAI）がどのように学習するかという「形」に対して、拡大鏡を向けています。彼らは「Neuromorphic Intelligence Research Collective」と呼ばれる大きなチームの一員であり、これは彼らの「Transformer Geometry Observatory（トランスフォーマー幾何学観測所）」シリーズの第4弾となります。これまでのシリーズでは、AIの広がりに関する数学やその意味論的な側面を見てきましたが、TGO-IVはより深い問いを投げかけます。「AIの思考のグローバルな形状は、学習が進むにつれて変化するのか、それとも一定のままなのか？」

この問いに答えるため、チームは単に点を見るだけでなく、点子の周りにデジタルな「足場」を築きました。例えば、197個の光る点（画像の一部を表す）が、384次元の空間に浮かんでいると想像してください。点の集まりを見ただけでは、その形を把握することはできません。そこで研究者たちは、「ヴィエトリス・リップス・単純複体（Vietoris–Rips simplicial complex）」と呼ばれる数学的なトリックを用いました。これは「点と点を結ぶゲーム」のようなものです。まず、非常に近い距離にある2つの点の間に線を引きます。次に、その「接続半径」をゆっくりと大きくしていきます。半径が大きくなるにつれて、より多くの点が線で結ばれ、3つの接続された点の間に三角形が形成され、最終的には3次元の形状（四面体など）が現れます。これにより、データ雲の形状を近似するメッシュ（網目）が作成されます。

この半径が大きくなるにつれてメッシュがどのように変化するかを観察することで、「持続的ホモロジー（persistent homology）」を追跡することができます。これは、穴や接続の「ライフストーリー」を数えるための高度な手法です。

• 誕生（Birth）: 新しい接続が形成される、あるいはループが現れる。
• 死（Death）: 接続が大きくなりすぎて穴が埋まる、あるいはループが閉じる。

研究者たちは、AIが画像を12のレイヤー（層）を通して処理する際の、これらの「誕生」と「死」を追跡しました。これは、ImageNet-100データセットから抽出した1,000枚の画像を用いた100日間のトレーニングを通じて行われました。使用されたのは特定のモデルである「ViT-Small/16」で、これは画像を16x16のパッチに分割して処理するため、1枚の画像につき197個のトークン（点）が存在します。

明らかになったこと：大いなる統合

この研究は、AIの内部世界がいかに安定していくかという、魅力的な物語を明らかにしました。トポロジー観測所が見たものは以下の通りです。

1. 島々が大陸へと合併する
トレーニングの極めて初期（エポック1）において、AIの表現の雲は散らばった列島でした。点は互いに離れており、多くの孤立した島を形成していました。トレーニングが進むにつれて、研究者たちは「ベッチ曲線（Betti curves）」（接続された断片の数を数えるグラフ）に劇的な変化が見られることに気づきました。「第0ベッチ数（$\beta_0$）」（分離された島の数を数えるもの）は劇的に減少しました。点は、プロセスのかなり早い段階で、より少なく、より大きなグループへと統合され始めました。トレーニングの終了時（エポック100）には、雲は単一の、まとまりのある「大陸」となっていました。AIは単にパーツを見ているのではなく、全体を一つの接続されたユニットとして捉えていたのです。

2. リングは残り、穴は消える
研究者たちはまた、「ループ（点の輪）」や「ボイド（3Dの空洞）」についても調査しました。その結果、AIはある種のループ（$\beta_1$）を作り出すものの、それらは常に少数であり、稀な存在であることが分かりました。さらに興味深いことに、3Dの空洞（$\beta_2$）はほとんど存在しませんでした。これは、AIの思考が複雑で多層的な情報の泡を形成しないことを示唆しています。代わりに、AIは点を結びつけて、ソリッドで平坦に近い構造を作り上げることに集中しています。

3. レイヤー間の類似性が高まる
最も驚くべき発見の一つは、レイヤー間の距離に関するものでした。研究者たちは、あるレイヤーから次のレイヤーへデータの形状がどのように変化したかを測定するために、「ボトルネック距離（Bottleneck Distance）」と「ワッサースタイン距離（Wasserstein Distance）」という2つのツールを使用しました。

• 学習初期: 各レイヤーは互いに非常に異なっていました。第1層から第2層、第3層へと進むにつれて、データの形状は激しく変化しました。
• 学習後期: 学習が進むにつれて、レイヤー同士がますます似通ってくるようになりました。連続するレイヤー間の形状の「距離」は縮まっていきました。これは、AIが各ステップで車輪を再発明するのをやめ、同じ安定した構造を洗練させ始めたことを示唆しています。

しかし、特定の箇所、具体的にはレイヤー3、10、12のあたりで、形状が大きく変化する「ピーク」があることも確認されました。AIが「学習」した後であっても、これらの特定のレイヤーは、データを大幅に再構成するという重要な役割を担い続けていました。

大きな概念：漸進的なトポロジー的安定化

これらの観察に基づき、著者らは「漸進的なトポロジー的安定化仮説（Progressive Topological Stabilization Hypothesis）」という新しい概念を提唱しています。

彼らは、学習とはAIの内部世界が退屈で特徴のない塊へと崩壊することではないと示唆しています。むしろ、それは「洗練」のプロセスなのです。

• 比喩: コンサート会場の混沌とした群衆を想像してください。最初は誰もがバラバラで、叫び声を上げ、断絶しています（高い$\beta_0$、多くの島）。音楽が始まり、曲が盛り上がるにつれて、人々は腕を組み始め、小さなグループを作り、最終的には群衆全体が一つの巨大で結束した波として動きます。「群衆の形」は安定し、接続されますが、消滅することはありません。
• 発見: AIの表現は「ますますコンパクト（点が近づく）」になりながらも、「非自明な幾何学的組織（構造が興味深く有用なまま維持される）」を保ちます。AIは単に暗記するのではなく、世界の安定した、接続された地図を構築しているのです。

これが意味すること（および意味しないこと）

著者らは、自分たちがAIの脳の「正確な形」を見ていると主張しているわけではない、と慎重に述べています。384次元という巨大な空間の中で扱う点がわずか197個であったため、彼らの作る「メッシュ」は近似であり、完全な再構成ではありません。点が非常に少ないため、彼らが見ている「形」はトポロジカルな近似であり、本質的な真実ではないことも認めています。しかし、観察された「傾向」は一貫しており、意味のあるものです。

彼らは、AIが単に無意味で平凡な一点へと崩壊しているという考えを明確に否定しています。一部のループ（$\beta_1$）がトレーニングプロセス全体を通じて生き残ったという事実は、構造が複雑さを維持していたことを証明しています。また、AIが一度の急激なジャンプで学習するのではなく、トレーニングが進むにつれてレイヤー同士がより類似していくという、連続的な変化を遂げることも示しています。

今後の展望

この論文は、長い旅路の第4地点に過ぎません。研究者たちには将来の計画があります。

• TGO-V（計算幾何学）: AIの数学（ドット積やアテンション・メカニズム）が、実際にどのようにしてこれらの形状を作り出しているのかを知りたいと考えています。
• TGO-VI（最適化ダイナミクス）: 学習プロセスの「物理学」、つまりトレーニングアルゴリズムの数学（勾配や損失ランドスケープ）が、どのようにしてAIをこれらの安定した形状へと落ち着かせるのかを理解したいと考えています。

要約すれば、TGO-IVは私たちに新しい眼鏡を与えてくれました。AIのデータを単なる数字の雲として見るのではなく、散らばった列島から始まり、安定した接続された大陸へと成長していく、生き生きとした「形」として見ることができるようになったのです。これは、トランスフォーマーが学習するとき、単に暗記しているのではなく、自らの知識のための安定したトポロジー的な「家」を築いていることを示唆しています。