Sky sphere representation in language models

想像してみてください。そこには、あらゆる本が異なる「思考」であり、棚は著者やタイトルではなく、「アイデア同士がどのように感じ合っているか」によって並べられた、巨大で見えない図書館があります。これは、人工知能の「脳」の内部を覗き込み、AIがどのように情報を整理しているのかを解明しようとする分野、「メカニスティック・インタープリタビリティ（機械論的解釈可能性）」の世界です。私たちは、大規模言語モデル（LLM）と呼ばれるこれらのAIが、文章を書いたり質問に答えたりすることに非常に長けていることは知っていますが、それらはしばしば「ブラックボックス」のようなものです。入力と出力は見えますが、その中間のプロセスは謎に包まれています。

この謎を理解するために、研究者たちは「リニア・プローブ（線形プローブ）」というツールを使用します。これは金属探知機のようなもので、AIの内部信号をスキャンし、そこに単純な直線的なパターン（数字のリストなど）が隠されていないかを探ります。しかし、時にはパターンは直線ではなく、曲線やループ、あるいは特定の形状をしていることがあります。これは、地球の地図を作ることに似ています。もし世界全体を平らな紙の上に描こうとすれば、地図は引き伸ばされたり、歪んだりしてしまいます。しかし、地球儀の上に描けば、距離や関係性は完璧になります。科学者たちは、AIが概念を整理するために、このような「地球儀のような」形状を使用していることがあることを発見しました。例えば、「金曜日の2日後」を計算しやすくするために、曜日の配列を円状に配置するといった具合です。

大きな疑問は、「この幾何学的な思考は、どれほど深いレベルまで及んでいるのか？」ということです。AIは単に事実を暗記しているだけなのか、それとも現実の球体のような、世界のメンタルマップを構築しているのでしょうか？ここで、夜空を探求する新しい研究が登場します。

AIの秘密の星図

最近の論文「Sky sphere representation in language models（言語モデルにおける天球表現）」において、アレクサンドル・ベルドニコフ氏とエフゲニー・リオクモヴィッチ氏は、巨大なAIモデル（具体的にはパラメータ数が約1,000億前後のもの）が、その脳内に夜空の3Dマップを密かに構築しているかどうかをテストすることに決めました。彼らはAIに対して、座標を暗唱させたり絵を描かせたりしたわけではありません。代わりに、「この天体の近くにあるものは何ですか？」や「天文学者はXのすぐ隣に……を見つける」といった、単純で会話的な質問を投げかけました。

彼らは、Mistral Large 2やQwen3といった巨人のようなモデルを含む、7つの異なるオープンソースAIモデルにこれらの質問を入力しました。AIがこれらの言葉を処理する際、研究者たちは「レジデュアル・ストリーム（残差ストリーム）」、つまり情報が次のレイヤーへと流れていく、モデル内部の高速度データハイウェイを観察しました。彼らが探していたのは、特定の信号、すなわち、星や星座が実際の空と同じように配置された「球体」のようなパターンでした。

発見：隠された地球儀
結果は驚くべきものでした。テストしたほぼすべてのモデルにおいて、AIは夜空の表現を確かに持っていました。研究者がAIの処理の最上層部を調べたところ、星や星座の位置が、実際の天球と同じように、湾曲した球面上に配置されていることが分かりました。

それは単なる微かな残響ではありませんでした。研究者たちは、この隠されたマップを驚くべき精度でデコード（復元）することができました。ほとんどのモデルにおいて、星や星座の位置をわずか12°から21°（腕を伸ばした時に拳の幅程度の誤差）の誤差で予測することができました。モデルはデータの分散の**65%から85%**を説明しており、これは、この球状の形状がAIの思考プロセスにおいて非常に強力で支配的な特徴であることを意味しています。

なぜこれが特別なのか
これまでは、AIが平面的なマップ（米国の州を示す2Dチャートのようなもの）や単純な円（曜日のようなもの）を使用していることが判明していました。しかし、今回のように、単なる単純な線の組み合わせではない「湾曲した高次元の球体」が見つかったのは、これが初めてのことです。それは、AIが単に星の名前のリストを暗記したのではなく、空の中で物事がどれくらい近いかを理解するために、メンタルな「地球儀」を構築したかのようです。

何ではないのか
研究者たちは、他の可能性を排除するために細心の注意を払いました。彼らはこう問いかけました。「AIは単に、天文学者が使用する座標である『赤経』と『赤緯』というテキスト文字列を記憶し、それを平らな2Dチャートに並べているだけではないのか？」

• 平面マップの否定： 彼らは、平面の地図（紙の地図における世界の端のようなもの）に存在するはずの「不連続な」線を探索することで、これをテストしました。その結果、そのような証拠は見つかりませんでした。AIは平らな2Dチャートを使用していたのではなく、真の意味で球体を使用していたのです。
• 3D距離の否定： また、星の実際の距離（光年単位での距離の違い）をマッピングしているのではないかとも確認しました。AIのマップは現実世界の距離には関心を持っていませんでした。代わりに、「球体の深さ」は、その天体がテキスト中でどの程度頻繁に言及されるか、あるいはそれがどのような「種類の」天体であるかに影響されているようでした（例えば、星はマップ上で「近く」に配置され、星座は「遠く」に配置されていました）。

「gpt-oss」の謎
グループの中に一つ、奇妙なモデルがありました。それは gpt-oss-120b というモデルです。この特定のモデルでは、星のマップを見つけるのが非常に困難でした。研究者は、このモデルが、生のテキストではなく特別な「ハーモニー」形式（会話の特定のフォーマット）でトレーニングされたため、信号が乱されてしまったのではないかと推測しています。しかし、直接星の座標を尋ねると、このモデルは依然として非常に優れた回答を返したため、このモデルは事実を「知って」はいるものの、他のモデルのように可視的な球体として整理はしていないことを示唆しています。

なぜ重要なのか
この発見は、私たちがAIに夜空について尋ねるとき、AIは単にデータベースを検索しているのではないことを示唆しています。AIは、近接性に関する構造化された幾何学的な理解にアクセスしているのです。研究者たちは、この「星のマップ」は、AIが「近さ」について尋ねられたとき（例：「Xの隣にあるものは？」）に最も顕著になることを発見しました。もし「Xの歴史は？」といった一般的な質問をすれば、マップは消え去り、ノイズの中に沈んでしまいます。

要するに、これらの巨大なAIモデルは、ニューラルネットワークの中に夜空を配置するための、独自の幾何学的な構造を自発的に学習したのです。これは、AIが明示的に教えられていないにもかかわらず、世界の理解のために独自の内部幾何学を発展させ、驚くほど正確な、星の湾曲した3Dマップを作り上げているという、美しい例なのです。