巨大なデジタル脳がどのようにして読み方を学ぶのか、それを理解しようとしているところを想像してみてください。この脳は「大規模言語モデル（LLM）」と呼ばれ、私たちが日々使っているチャットボットやスマートアシスタントの背後にある技術です。世界を理解するために、これらのモデルは単に単語を暗記するのではなく、すべての単語を「埋め込み（embedding）」と呼ばれる数学的な「指紋」へと変換します。この指紋は、巨大で多次元的な地図上の座標のようなものです。もし二つの単語が似た意味を持つなら、その座標は、都市の隣人のように近くにあるはずです。もし意味が異なれば、遠く離れているはずです。

長年、科学者たちはこの地図を信頼してきました。モデルが作成した単語の最終的な指紋を見れば、その単語の意味を正確に把握できると信じてきました。この考え方は、文書を見つけ出す検索エンジンや、似たアイデアをグループ化するアプリなど、今日私たちが使っている多くのツールの根幹となっています。しかし、そこには落とし穴があります。言語は非常にトリッキーなのです。「bank（銀行／土手）」のように、お金を保管する場所を意味することもあれば、川の側を意味することもある言葉があります。これらは「曖昧な単語」と呼ばれます。研究者たちが問い続けてきた大きな疑問は、モデルの最終的な指紋はこれら二つの意味の違いを実際に示しているのか、それとも、最後の方で地図がぼやけて混乱してしまうのか、ということです。

この論文は、三つの異なるAIモデル（小、中、および非常に大規模なもの）が、層（レイヤー）ごとに曖昧な単語をどのように処理しているかを観察することで、この謎を深く掘り下げています。研究者たちは、驚くべき、かつ直感に反する発見をしました。モデルが「bank」のような単語を処理する際、ネットワークの中間層では「川」の意味と「お金」の意味の間の数学的な距離は実際には広がりますが、最終層に近づくと再び縮まってしまうのです。それはまるで、モデルの内部地図が、二つの意味を一時的に分離させた後、話し始める直前に再び同じ近所にまとめ直すかのようです。

しかし、ここにひねりがあります。たとえ最終的な指紋が非常に似通っていたとしても（まるで再び同じ近内に戻ったかのように見えても）、モデルの「予測」は完全に異なります。モデルが次の単語を推測するように求められるとき、モデルはどの「bank」について話されているのかを正確に理解しています。この研究は、最終層が意味の秘密を保持しているものの、標準的な測定ツール（単純な距離チェックなど）では見ることができない方法でそれを隠していることを示しています。モデルは混乱しているのではなく、単に、類似しているように見えながらも差異として機能する「秘密のコード」を最終層で使用しているのです。これは、単に最終的な「指紋」だけに頼ってAIが何を考えているかを理解しようとすることは、誤解を招く可能性があることを示唆しています。なぜなら、最も重要な区別は、消えてしまったかのように見える方法で行われているからです。

変わりゆく地図の物語

これがどのように機能するかを理解するために、AIモデルを、長い列の中で秘密のメモを回していく64人の探偵チーム（最大のモデルであるQwen2.5の場合）だと想像してみてください。各探偵はモデルの「層（レイヤー）」を表しています。メモに「bank」と書かれているとき、最初の数人の探偵は単に単語の形を見ているだけです。彼らはまだそれが川なのか銀行なのかを知らないので、彼らのメモはほぼ同一に見えます。

メモが中間の探偵たちに移動すると、魔法のようなことが起こります。これらの探偵は、文脈（コンテキスト）――つまり「bank」の前後の単語――に注意を払い始めます。ある探偵は近くに「river（川）」があるのを見て、メモに大きな赤い丸を描きます。別の探偵は「money（お金）」を見て、青い星を描きます。この中間段階では、二つの意味のメモは、昼と夜ほども違っています。もしここで二つの間の距離を測定すれば、それらは大きく離れているはずです。

しかし、その後、メモは最終層の探偵たちに届きます。ここで展開が複雑になります。最終層の探偵たちは、それらの明確な赤丸や青い星を、非常に似た見た目のメモへと再び折り畳みます。もしあなたが、最終的な「river bank」と「money bank」の間の距離を測定したなら、それらは再びほぼ同一に見えるでしょう。まるで探偵たちが、「ボスを混乱させないために、最終報告書は同じに見えるようにしよう」と決めたかのようです。

しかし、ボス（モデルの出力）は騙されません。最終的なメモが同じように見えても、探偵たちは違いを秘密のコードとして組み込んでおり、それが最終的な答えを変えるのです。モデルが次の単語を予測するとき、たとえ最終的なメモが「river」に属しているように見えても、お金の文脈に対して「river」とは言いません。

研究者たちは、「入れ替えゲーム」を行うことでこれを証明しました。彼らは「river」の文脈からの最終的なメモを取り出し、それを「money」の文脈へと入れ替えました。これを行ったとき、モデルは完全に考えを変え、川に関連する単語を予測し始めました。これは、最終層が、たとえ二つの意味が再び融合したように見えたとしても、依然としてその「違い」を保持していることを証明しました。違いはまだそこにありますが、それはメモの形状そのものではなく、次のステップへの指示の中に隠されているのです。

なぜ地図は誤解を招くのか

この発見は、手品師のトリックのようなものです。もしあなたが手品の最後に手品師の手だけを見ているなら、手は空っぽで、同じように見えるでしょう。しかし、パフォーマンス全体を見ていれば、手品師がずっと二つの異なるボールをジャグリングしていたのが見えるはずです。研究者たちは、曖昧な単語の場合、「ジャグリング」は意味が明確に分離されている中間層で行われることを発見しました。しかし、トリックが終わる頃には、ボールは再び隠され、手は同じように見えるのです。

この論文は、GPT-2（1億1700万パラメータ）、Llama-3.2（30億パラメータ）、Qwen2.5（320億パラメータ）という三つの異なるモデルでこれをテストしました。これらのサイズや構造の違いにもかかわらず、彼らはすべて同じことを行いました。中間層で意味を分離し、その後、最終層で再び一つにまとめながら、それでもなお、どちらの意味を使うべきかを正確に把握していたのです。

研究者たちは、これが単に単語の文中の位置による偶然ではないかどうかも確認しました。彼らは文章内の単語の順序を入れ替え（例えば、「The cat chased the mouse」を「The mouse chased the cat」に変えるなど）、モデルの挙動が単なる単語の順序ではなく、真に意味によって駆動されていることを確認しました。これにより、モデルが真に曖昧さを理解していることが裏付けられました。

これが未来にとって意味すること

大きな教訓は、私たちが間違った部分の地図を見ている可能性があるということです。長い間、人々は、AIの最終層において二つのものが似て見えるなら、それらは同じ意味を持つと考えてきました。しかし、この論文は、それが必ずしも真実ではないことを示唆しています。最終層は、まるで全員が近くに立っている混雑した部屋のように見えるかもしれませんが、もし彼らが何を話しているかに耳を傾ければ、彼らが実は全く異なるトピックについて議論していることに気づくでしょう。

これは、AIが壊れているという意味ではありません。単に、情報の保存方法が単純な距離チャートよりも複雑であることを意味しています。研究者たちは、もし私たちが情報を検索したり整理したりするためのより優れたツールを作りたいのであれば、意味が明確に分離されている中間層を見る必要があるか、あるいは、指紋がいかに近いかを測定するのではなく、モデルが何を予測しているかに耳を傾ける必要があるかもしれないと提案しています。

この研究は、魔法のような解決策や新しいモデル構築法を見つけたわけではありませんが、モデルがどのように考えるかというパズルを解きました。それは、曖昧さの解消という「魔法」が最終層で失われているのではなく、単に、正しい手がかりを探せば見える場所に、隠されたまま存在していることを示したのです。研究者たちは、複数のモデルと様々な種類の曖昧な単語を用いて、このパターンが常に維持されることを確認しており、この結果に自信を持っています。これは、AIの世界においては物事は常に見たままではなく、最も重要な違いとは、定規では測ることのできないものなのです、ということを思い出させてくれます。