純粋な思考でできた巨大で目に見えない雲の形を理解しようとしていると想像してみてください。これは、人工知能（AI）、特に「大規模言語モデル（LLM）」の「脳」の世界です。これらのモデルは単に言葉を蓄積しているのではなく、読んだすべての文章を複雑な多次元マップへと変換しています。これらのマップがどれほど複雑であるかを判断するために、科学者たちは**固有次元（Intrinsic Dimensionality: ID）**と呼ばれるツールを使用します。IDは、データがいかに「広がっている」か、あるいは「密集している」かを測るものだと考えてください。もしアイデアのグループが非常に単純であれば、それらは密集して平らな円を描くかもしれません（低ID）。もしそれらが極めて複雑で多様であれば、広大な高次元のジャングルへと広がっていくでしょう（高ID）。科学者たちは、数値が高いほど構造が豊かで複雑であると仮定し、モデルがいかに賢いか、あるいはタスクがいかに難しいかを推測するためにIDを利用することを好みます。しかし、ここに落とし穴があります。その数値は、アイデアそのものについて教えているのではなく、単に私たちがどのように「数えたか」について語っているだけだとしたらどうでしょう？

このパズルに取り組んだのが、Arwa Osman、Marco Baroni、そしてIuri Macoccoによる論文「Local and Global Regimes of Geometric Complexity in Language Model Representations（言語モデルの表現における幾何学的複雑性の局所的および全域的レジーム）」です。彼らは、言語モデルの脳の「複雑さのスコア（ID）」は固定された真実ではないことを発見しました。それは、どれだけの「異なる」言葉を入力するか、そしてそれらを何回「繰り返すか」によって、スイッチのように切り替わるのです。彼らは、ユニークな単語の数が少ない場合、モデルは驚くほど複雑に見えることを発見しました。しかし、ユニークな単語の数が膨大になると、モデルはさらに複雑に見えますが、それは全く別の理由によるものです。最も驚くべきことは、もし二種類の言葉（例えば「名詞」と「前置詞」）を比較する際に、それぞれのグループに含まれるユニークな単語の数を制御しなければ、結果が逆転してしまう可能性があるということです。結局のところ、私たちが目にしている「複雑さ」は、単語の語彙数によって引き起こされた光学的な錯覚に過ぎない可能性があるのです。

語彙の入れ替わり劇（The Great Vocabulary Switcheroo）

これを理解するために、言語モデルの脳を巨大で魔法のようなダンスフロアだと想像してみましょう。モデルが単語を見るたびに、その単語はダンサーをフロアに送り出し、ポーズを取らせます。もしモデルが「猫」という言葉を1,000回見れば、1,000人の「猫」のダンサーを送り出します。たとえ彼ら全員が「猫」のダンサーであっても、文脈（例：「猫が眠る」対「猫が跳ぶ」）に応じて、わずかに異なるポーズを取るかもしれません。

研究者たちは、「異なる」単語の数（語彙多様性）が、このダンスフロアの形をどのように変えるのか？ という疑問を掲げました。

彼らは10,000個のサンプルを用いた大規模な実験を行いました。彼らは11の異なるシナリオを作成しました。一つのシナリオでは、1つのユニークな名詞（例：「猫」）を10,000回繰り返しました。別のシナリオでは、10,000個のユニークな名詞（例：「猫」「犬」「象」など）を使用し、各単語は一度しか登場しませんでした。そして、彼らはGRIDEと呼ばれる特別な定規を用いて、ダンサーたちのポーズの「固有次元（ID）」を測定しました。

二つのレジーム：局所的（ローカル）対 全域的（グローバル）

結果は驚くべきものでした。ユニークな単語の数と複雑さのスコアの関係は、測定スケールに応じて単に上がったり下がったりするのではなく、逆転しました。

1. 局所的レジーム（「混雑した部屋」効果）
研究者が小さな測定スケール（一度に少数の隣接個体だけを見る場合）を使用し、語彙多様性が低い（ユニークな単語が少なく、繰り返しが多い）場合、奇妙なことが起こりました。ユニークな単語が少なければ少ないほど、複雑さのスコアは高くなったのです。

• 比喩： ダンスフロアに一種類のダンサー（例えば「猫」）しかいない状況を想像してください。10,000匹の猫がいると、彼らは密集しています。しかし、彼らの数が非常に多いため、互いにぶつからないように、あらゆる微細で微妙なポーズの違いを見つけ出すことを強いられます。単一の「猫」の周囲の「局所的」な領域は、多様性に満ちて密集しています。定規はこの密度の高い、混雑したバリエーションを検知し、「これは非常に複雑で高次元な空間だ！」と判定するのです。
• 結果： ユニークな単語が少ない ＝ 高ID（この特定の局所的な視点において）。

2. 全域的レジーム（「巨大なパレード」効果）
彼らがより大きな測定スケールに切り替えるか、あるいはユニークな単語の数を増やした場合、ルールは反転しました。今度は、ユニークな単語が多いほど、複雑さのスコアが高くなりました。

• 比喩： 今度は、10,000種類の異なるダンサー（猫、犬、象、宇宙飛行士など）によるパレードを想像してください。各タイプには、ダンスフロア上の独自の場所があります。「局所的」な領域（単一のダンサーの周囲）は、近くに他の「猫」がいないため、空っぽです。代わりに、定規はパレード全体を見渡し、ダンサーたちが可能性の全宇宙に広がっているのを目にします。存在するものの「種類」があまりにも多いため、その空間は巨大なのです。
• 結果： ユニークな単語が多い ＝ 高ID（この全域的な視点において）。

魔法のスイッチポイント

この論文の最もエキサイティングな部分は、著者たちがこの反転を単に観察しただけでなく、それがどこで起こるかを正確に予測したことです。

彼らは、ルールが「単語が少ない＝高ID」から「単語が多い＝高ID」へと切り替わる「転換点」に関する、シンプルで完璧な公式を導き出しました。スイッチは、ユニークな単語の数（$n$）が、総サンプル数（$N$）を測定スケール（$k$）で割った値に等しくなるときに起こります。

• 公式： $n = N / k$
• 意味： もしあなたが128人のダンサー（$k=128$）の近隣領域を見ているとして、総サンプル数が10,000（$N=10,000$）であれば、スイッチはちょうど78個のユニークな単語（$10,000 / 128 \approx 78$）があるときに発生します。
• 証明： 彼らはこのテストを2つの異なる巨大なAIモデル（Qwen3-8BとMeta-Llama-3-8B）に対して行い、スイッチが毎回、予測された数値と正確に一致することを発見しました。それは推測ではなく、データの配置に基づいた数学的な必然でした。

なぜこれが重要なのか（そしてなぜ私たちは間違っていたのか）

この発見は、これらのツールを使用する科学者に対する大きな警告ラベルとなります。この論文は、もし二つの単語グループを、その中のユニークな単語の数を制御せずに比較した場合、答えが完全に逆転してしまう可能性があることを示しています。

「名詞 vs 前置詞」の罠：
著者たちは典型的な例を示しました。自然なテキストにおいて、「名詞」（例：犬、家、アイデア）は数千のユニークな単語を持ちますが、「前置詞」（例：中に、上に、で）は数十個しかありません。

• 標準的な見方： もし名詞と前置詞の複雑さを単に測定すれば、名詞ははるかに複雑で高次元な空間に存在するように見えます。あなたはこう思うかもしれません。「名詞はとても豊かで多様だ！」
• 現実： 著者たちが両方のグループを、どちらも正確に25個のユニークな単語を持つように一致させたところ、結果は突然反転しました！前置詞の方が名詞よりも複雑に見えるようになったのです。
• 教訓： 元々の違いは、名詞が「優れている」とか「より複雑である」からではありませんでした。それは、名詞には数千のユニークなタイプがあり、前置詞にはわずか数個しかないという事実によって引き起こされた**アーティファクト（人工的な誤差）**だったのです。測定ツールは、単語の性質ではなく、ユニークな単語の「カウント」に反応していたに過ぎませんでした。

まとめ

この論文は、AIの「脳の形」を見るとき、私たちは自分が実際に何を測定しているのかについて、細心の注意を払わなければならないことを教えてくれます。

• 繰り返される単語の小さなグループを見ている場合、複雑さのスコアはその「一つの単語」が異なる文脈でどれほどポーズを変えるかを示しています。
• 膨大なユニークな単語のグループを見ている場合、複雑さのスコアは「語彙全体」がいかに広がっているかを示しています。

これらは全く異なるものです。これらを直接比較することはできません。なぜなら、あなたは二つの異なるレジームを測定していることに気づかずにいるからです。著者たちは、自分がどちらのレジームにいるかを判断するための精密な数学的ルールを見つけ出しました。これは、AIの世界において、最も「複雑そうに見える」数値が、機械の心の奥底にある深い秘密ではなく、単に私たちが実験をどのように設定したかの反映であることもある、という教訓です。「モデルの幾何学的な真実」は、あなたがどのスケールで眺めるかによって、完全に決まってしまうのです。