The Changing Geometry of Grammar: Dimensionality and Neighborhood Reorganization across Transformer Layers

現代の言語モデルのデジタルな精神の中では、言葉は静止しているわけではない。コンピュータが文章を読み取るとき、それは各単語を長い数字のリスト、つまり数百もの次元を持つ広大で目に見えない空間の中に浮かぶ一点へと変換する。これらの点は無作為に散らばっているのではなく、高次元の空虚の中に、薄く湾曲したシート（面）を形成して集まっている。科学者たちはこれを多様体（マニフォールド）と呼ぶ。そして、そのシートの厚みは、その言葉がどれほどの情報を運んでいるかという物語を語る。もし言葉が多くの方向に変化できる自由を持っているなら、シートは厚く複雑になる。もし言葉が隣接する言葉によって厳格に制約されているなら、シートは薄く単純になる。この情報の圧縮は、これらのモデルが世界を理解するための根本的な手法であるが、これまでは、文章の中で特定の役割を果たす言葉――「猫」のような重い名詞なのか、「the」のような軽い接続詞なのか――が、どのようにこの幾何学形状を形作るのかを解明しようとする研究者は苦慮してきた。

ある研究チームは、この隠された風景をマッピングするために、単語の文法的な役割がニューラルネットワークの層を通じて辿る経路を決定づけるのかどうかという問いを立てた。彼らは、名詞や動詞のように豊かな意味を持つ「開放クラス（内容語）」と、前置詞や代名詞のように構造的な目的を果たす「閉鎖クラス（機能語）」の区別に焦点を当てた。数千の文章を4種類の異なる言語モデルに投入することで、彼らはデータの形状が層を経るごとにどのように変化するかを追跡した。その結果、これら2種類の言葉は同じルートを通らないことが判明した。閉鎖クラスの言葉は、プロセスの初期段階において、より広く複雑な空間へと拡大するが、その後、内容の濃い言葉よりもずっと早く、再びタイトで単純な形状へと収束（崩壊）する。これは、モデルがまず、これらの構造的な言葉が文中の他の部分とどのように接続されるかを把握するために空間を広げ、一度その接続が確立されると、必要な関係的情報をすべて抽出した上で、それらを再び折り畳むことを示唆している。

研究者たちは、この幾方面的な折り畳みが単なるランダムな変動ではなく、各単語の周囲にある「近傍」の精密な再編成であることを発見した。ネットワークの深部へと進むにつれ、数学的空間におけるその単語の最も近い隣人（近傍）は変化していく。構造的な言葉の場合、この変化は迅速かつ決定的に起こる。例えば「the」という言葉は、最初は他の限定詞に囲まれて旅を始めるかもしれないが、ネットワークが文章を処理するにつれて、そのグループから離脱し、それが修飾する特定の名詞へと近づいていく。この隣人の変化は、単語の内部表現がより単純かつ圧縮されたものになる瞬間と正確に一致している。対照的に、「象」や「走る」といった内容語は、より複雑で開かれた幾何学形状を長く維持するが、これは文の進化する文脈と、その具体的な意味を統合し続ける必要性を反映している。

この研究は、モデルのアーキテクチャも極めて重要であることを明らかにした。エンコーダのように文章を両方向から同時に読み取るモデルは、これらの構造的な接続を早期に解決するため、幾何学的な変化は中間層で起こる。一方で、デコーダのように厳密に左から右へと読み取るモデルは異なる経路を辿り、文脈が蓄積されるにつれて、これらの幾何学的なシフトがより後半に発生する。こうしたアーキテクチャの違いにもかかわらず、核心となる発見は変わらなかった。すなわち、言葉が辿る経路は、その文法的な機能の直接的な反映であるということだ。研究者たちは、コンピュータがデータポイントの形状（その厚みや隣人がどのように変化したか）のみを見て、その言葉が機能語なのか内容語なのかを、あるいは特定の品詞さえも、単語自体を見ることなく正しく推測できることを示すことで、これを証明した。

この研究は、文章の文法が単にモデルが従うべきルールの集合ではなく、その数学的構造の中にある物理的な実態であることを示唆している。モデルは単に単語の意味を保存するのではない。その単語の周囲の空間を物理的に再形成することで、その言葉が文章の中でどのように適合するかというパズルを解いているのである。構造的な言葉が文章の中でパートナーを見つけた瞬間、モデルは探索のために必要とした余分な次元を折り畳み、効率的でコンパクトな表現を残す。それはあたかも、モデルが文章を支えるための仮設の足場を構築し、構造が安定すると、その足場を取り除いて、意味の本質的な形だけを残すかのようである。この拡大と収縮の幾何学的なダンスは、人工知能が「意味を運ぶ言葉」と「それらを繋ぎ止める言葉」との間の繊細なバランスをどのように理解しているのかという、新たな窓を開くものである。