あなたは、ロボットに動物を認識させる方法を教えようとしているところだと想像してください。あなたは猫、犬、鳥の写真を何千枚もロボットに見せます。最初は、ロボットの脳は数字の混沌とした塊です。猫を見ても犬を見ても、単なるピクセルの集まりにしか見えず、実質的な違いが分かりません。しかし、学習を続けるにつれて、そのデジタルな脳の中で魔法のようなことが起こります。数字が自らを整理し始めるのです。「猫」の数字は「犬」の数字から離れていき、広大なデータの海の中に、整然とした別々の島を形成していきます。この分野は機械学習と呼ばれ、特に「ビジョン・トランスフォーマー（画像を認識する超スマートなAIの一種）」が、学習に伴ってどのように内部の思考パターンを変化させるかに焦点を当てています。科学者がこれを重視するのは、もし私たちがこれらのロボットがどのように思考を整理しているのかを理解できれば、単に推測するだけでなく、世界を実際に理解できる、より優れた、より信頼性の高いAIを構築できるからです。

これから読む論文「TGO-III: Semantic Geometry Observatory（意味幾何学観測所）」は、このデジタルな脳に対するハイテクな顕微鏡のようなものです。著者であるKaustubh Kapil氏とKishor Upla氏は、大きな問いに答えたいと考えました。AIは学習するにつれて、単にランダムで複雑になっているだけなのか、それとも実際に意味に基づいて物事を整理し始めているのか？ 彼らは、100種類の画像（ImageNet-100というデータセット）を用いて100日間（エポック）学習させた際の、AIの「脳」（具体的にはViT-Small/16というモデル）の動きを観察するために、新しい一連のツールを使用しました。

以下は、成長する都市というレンズを通して語られる、彼らの発見の物語です。

アイデアの街

AIの内部世界を、巨大で空っぽの街だと想像してください。トレーニングが始まるとき、この街は平坦で泥だらけの平原です。すべてのアイデア（「猫」、「犬」、「車」など）は同じ場所に押し込められています。AIはそれらを見分けることができません。

AIがトレーニングを開始すると、街は拡張し始めます。以前の研究（TGO-IおよびTGO-II）において、科学者たちは、街が新しい高層ビルや曲がりくねった道路を生み出す街のように、より大きく、より複雑になっていることに気づきました。彼らはこれを「多様体拡張（Manifold Expansion）」と呼びました。しかし、彼らはなぜ街が成長しているのかを知りませんでした。単に乱雑になっているだけなのか？ それとも、より優れた近隣計画を構築しているのか？

TGO-IIIは、その疑問に答えるためにやってきた新しい都市計画家です。彼らは単に街の大きさを見たのではなく、異なる近隣地域（意味クラス）がどのように配置されているかを見たのです。

観測所の4つのツール

街のレイアウトを理解するために、著者らは4つの特別な測定ツールを使用しました。

1. 線形プローブ（単純なテスト）： 非常に単純なロボットに、「これは猫ですか、それとも犬ですか？」と尋ねる場面を想像してください。もしAIの脳が乱雑であれば、その単純なロボットは間違いを多く犯すでしょう。しかし、もしAIが思考をうまく整理できていれば、その単純なロボットは地図上に直線を引き、「左側にあるものはすべて猫、右側にあるものはすべて犬」と言うことができます。著者らは、学習が進むにつれて、この単純なロボットがどんどん賢くなっていることを見出しました。これは、AIが自身のアイデアをより分離しやすいものにしていることを意味します。
2. フィッシャー比（混雑計）： このツールは、あるグループの友人たち（例えば、すべての「猫」）がどれほど固まって集まっているか、対して他のグループ（例えば「犬」）からどれほど離れているかを測定します。スコアが高いということは、猫たちがタイトな円を描いて集まっており、その円が犬たちから遠く離れていることを意味します。著者らは、このスコアが上昇したことを確認しました。つまり、グループはよりタイトになり、より遠くに離れていったのです。
3. 重心距離（マップ上の散歩）： これは各グループの「重心」の間の距離を測定します。もしあなたが猫の近隣地域の真ん中に立って、犬の近隣地域の真ん中まで歩いたとしたら、その距離はどのくらいでしょうか？ 著者らは、トレーニングが進むにつれて、これらの近隣地域がさらに遠ざかり、二度と混乱が生じないような広大で開けた街が作られていることを見出しました。
4. ローカルPCAランク（部屋のサイズ）： これは最も興味深いものです。「特定の近隣地域が存在するために、どれだけの次元が必要か？」を問います。最初は、「猫」の近隣地域は、そのあらゆるバリエーションを収容するために巨大な3D倉庫を必要とする、乱雑で広がった状態でした。しかし、AIが学習するにつれて、「猫」の近隣地域はより組織化されました。それはもはや巨大な倉庫を必要とせず、整然としたコンパクトな部屋に収まることができるようになりました。著者らは、街全体は大きくなっている一方で、個々の近隣地域はより小さく、効率的になっていることを見出しました。

大きな発見：意味的拡張

著者らが発見した最もエキサイティングなことは、彼らが**意味的拡張仮説（Semantic Expansion Hypothesis）**と呼んでいるものです。

この論文の前では、AIは学習に伴って単にランダムで複雑になっているだけだと考えていた人々もいました。しかし、TGO-IIIはもっと目的を持ったプロセスであることを示唆しています。AIは単に大きな混乱を作っているのではなく、より優れた地図を積極的に構築しているのです。

このように考えてみてください。あなたが絵を描き始めたとき、スケッチブックは落書きでいっぱいです。練習を重ねるにつれて、あなたは単に「より多くの」落書きを描くのではなく、明確な形を描き始めます。円は頭のためのものであり、線は体のためのものであることを学びます。「落書き」（余分な複雑さ）は、実際には、より明確で際立ったカテゴリーを作成するために使用されているのです。

著者らは、AIのトレーニングが進むにつれて、「猫」のアイデアと「犬」のアイデアが単にランダムに漂っているのではなく、それらが識別しやすい構造へと自らを整理していることを観察しました。「街」は、これらすべての新しい明確な区別を受け入れるために拡張したのです。

「遷移ゾーン」の驚き

論文はまた、AIの脳のどこでこの組織化が起こるのかについても調査しました。AIは、多層階のビルのように、レイヤー（層）が積み重なった構造になっています。著者らは、下の階（初期レイヤー）はまだ少し乱雑であることを発見しました。本当の魔法は、上の階で起こっていました。

彼らは**遷移ゾーン仮説（Transition Zone Hypothesis）**を裏付けましたが、そこにはひねりがありました。彼らは、建物の「中間層」で幾何学的な変化が始まるものの、最終的な上の階こそが、真の分類が行われる場所であることを発見しました。上の層こそが、「猫」と「犬」が本当に分離し、極めて明確になる場所なのです。これは、下の階は建設現場であり、上の階は住民が平和に暮らす完成された、洗練されたアパートメントであるようなものです。

これが意味すること（および、意味しないこと）

著者らは、自分たちがこの挙動を「観察」し、その証拠が自分たちの考えを「支持」しているのだと慎重に述べています。彼らはAIの謎を「解決」したわけではありませんが、それがどのように機能するかについての非常に強力な地図を提供しました。

彼らは、AIが単にランダムになっている、あるいは単に混沌とした方法で画像を暗記しているだけであるという考えを否定しました。代わりに、AIは知識を整然とした、分離された、効率的なグループへと積極的に整理していることを示唆しています。

結局のところ、TGO-IIIは、ビジョン・トランスフォーマーが学習するとき、それは単に大きくなっているのではなく、より賢くなっているのだということを教えてくれます。それは混沌としたデータの雲を、すべてのアイデアが独自の場所を持ち、他から遠く離れ、即座に認識される準備ができている、よく整理された街へと変えていくのです。これは、機械の内部であっても、混沌から秩序がいかにして生まれるかを示す美しい例です。