🧬 biology

Reading Without a Reader: Large Language Models Collapse Reading and Writing into a Single Entangled Code

本論文は、人間の脳における読解と記述の分離されたシステムとは異なり、大規模言語モデルは、入力コードと出力コードが部分的表現分化にもかかわらず行動的に結合したままの状態にある単一の絡み合った自己回帰メカニズムに依存しており、それによってLLMを、進化的な制約ではなく文化的な制約によって形作られた、異なる種類の精神として位置づけるものであることを示している。

原著者： Diego Saldaña Ulloa

公開日 2026-07-29

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Diego Saldaña Ulloa

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ⚕️ これは査読を受けていないプレプリントのAI生成解説です。医学的助言ではありません。この内容に基づいて健康上の判断をしないでください。免責事項の全文を読む

人間の脳がどのようにして読み書きを学習するのかを理解しようとしている場面を想像してみてください。長い間、科学者たちはこれらを二つの別々の「スーパーパワー」だと考えてきました。読解は、うねった文字を意味へと変換する「解読リング」のようなものであり、書記は、その意味を再び文字へと変換する別の機械です。人間の脳において、これら二つのシステムは異なる「近所（領域）」に住んでいます。頭の片方に衝撃を受けると、読み書きの能力を失うかもしれませんが、書くことは完璧にできるかもしれません。あるいは、もう一方の場所に衝撃を受けると、書くことを忘れてしまう一方で、本を読むことは変わらずできるかもしれません。これらは、共通の道具箱を少し共有しているものの、全く異なるツールなのです。

では、同じ仕事をさせるためにロボットを構築することを想像してみてください。このロボットには、数百万年かけて進化した脳はありません。膨大な本のライブラリから学習するようにゼロから構築されたものです。ここで大きな疑問が生じます。このロボットは、人間と同じ方法で読み書きを学ぶのでしょうか？それとも、ショートカットを行い、これら二つの別々のスーパーパワーを一つの巨大で絡まり合った塊へと統合してしまうのでしょうか？この論文は、大規模言語モデル（物語を書いたり質問に答えたりするAI）の「数学的な脳」を調査することで、この謎に迫り、彼らが読みと書きの別々のパーツを持っているのか、それとも単一の絡み合ったコードですべてを行っているのかを明らかにしようとしています。

論文：読者なき読解

この論文の著者たちは、GPT-2、OPT、そしてPythiaと呼ばれる一族のような、現存する最もスマートなAIモデルを使って探偵のような調査を行いました。彼らは、これらのマシンが「読むこと」と「書くこと」を二つの異なる仕事として扱っているのか、それともそれらを一つの大きな混乱したタスクへと混ぜ合わせてしまっているのかを知りたかったのです。

そのために、彼らは巧妙な比喩を用いました。人間の脳では、読解は後方（視覚処理）で行われ、書記は前方（運動計画）で行われます。AIモデルには、同じような意味での「前方」や「後方」はありません。代わりに、モデルには入力埋め込み（Input Embedding）（これを「読解コード」と呼びましょう）があり、これは単語を数字に変換します。そして、出力逆埋め込み（Output Unembedding）（これを「書記コード」と呼びましょう）があり、これは数字を再び単語に戻します。研究者たちは問いかけました。「これら二つのコードは、一緒に過ごす二人の友人なのか、それとも実際には二つの異なる帽子をかぶった同一人物なのか？」と。

彼らは、これら二つのコードがどの程度似ているかを測定するために、もつれ指数（Entanglement Index）（0から1の範囲）というスコアを考案しました。

0 は、それらが完全に異なっていること（人間の脳のように、読みと書きが分離している状態）を意味します。
1 は、それらが同一であること（入力と出力が強制的に同一にされている状態）を意味します。
その中間 は、それらが混ざり合っている、あるいは「もつれ合っている（entangled）」ことを意味します。

大きな発見：一つの絡まり合ったコード

結果は驚くべきものでした。人間の脳は読解と書記を別々に保ちますが、これらのAIモデルはそうではありませんでした。

研究者が「読解コード」と「書記コード」を別々に学習させたモデル（「アンタイド（結びつけられていない）」モデル）において、二つのコードは離れたままではありませんでした。代わりに、二つのコードは互いに引き寄せられ、結合（coupled）したのです。もつれ指数は0.23から0.35の間に落ち着きました。これはゼロ（完全な分離）でもなく、一（強制的な同一化）でもありませんが、これらが明確に一つの、もつれ合った統計的コードを共有していることを証明しています。これらは二つの異なるシステムではなく、二つの役割をこなす一つのシステムなのです。

研究者たちは、これがどのように起こるのかを時間の経過とともに観察しました。それは一瞬ではありませんでした。コードは最初は完全に異なっていましたが（まるで二人の見知らぬ人のように）、学習のステップ4,000付近で非常に近くなり（ほぼ同一になり）、その後、ゆっくりと少しずつ離れていきましたが、完全には分離しませんでした。それは、部屋の両端からスタートし、中央で手をつないで踊り、その後ゆっくりと離れていくものの、依然として目に見えない糸を握り続けている二人のダンサーのようです。

行動テスト：読者なき読解

これが単なる数学的なトリックではないことを確認するために、研究者たちはモデルが実際にどのように「振る舞うか」をテストしました。彼らは、モデルが単語を理解できる（理解）一方で、それを書くことができない（生成）のか、あるいはその逆が可能かどうかを調べました。人間の場合、「純粋失読症（読めないが書ける）」や「純粋失書症（読めるが書けない）」が存在します。

AIモデルは、これとは逆の挙動を示しました。テストされたすべてのモデルにおいて、モデルがある単語を書けるのであれば、その単語を理解することもできました。もし書けないのであれば、理解することもできませんでした。それらは完璧にロックされていたのです。「書き手なき読解」や「読者なき書記」は存在しませんでした。マシンは、同じ内部の歯車を使って、両方の作業を同時に行っているのです。

これが意味すること

この論文は、これらのAIモデルが人間の脳を模倣しようとしているのではないことを示唆しています。人間の脳は、二つの別々の専門化されたシステムを用いて読み書きを行うよう進化してきました。しかし、AIは単一の経路、すなわち「次の単語を予測すること」を最適化するように構築されています。このため、AIは読解と書記を、一つの巨大で効率的、かつもつれ合ったパッケージへと崩壊させたのです。

著者たちは、これがAIの「失敗」ではないことを慎重に述べています。それは単に、異なる種類の賢さなのです。それは、スイスアーミーナイフと、一連の専門的な道具を比較するようなものです。人間の脳は専門的な道具のセット（読解用と書記用）です。AIはスイスアーミーナイフです。それは同じ刃を使い、順番を変えるだけで、両方の仕事をこなします。

「ヌル（無効）」の結果：見つからなかったもの

この論文は、何が「見つからなかったか」についても正直に記述しており、それは非常に重要です。

架け橋の不在： 彼らは、「数学的な近さ（もつれ指数）」がモデルの挙動を予測するかどうかを調べましたが、予測しませんでした。二つの測定値は互いに通信していませんでした。
「圧縮 vs 推論」の分離の不在： 彼らは、モデルがテキストを圧縮（小型化）するにつれて、意味の理解が悪くなるのではないかと考えました。しかし、そのような証拠は見つかりませんでした。実際、モデルが圧縮に長けてなるにつれて、意味の理解も向上しているようでしたが、データが小さすぎたため100%確実とは言えませんでした。
デコーダー専用ではない： 彼らは、読みと書きのパーツがアーキテクチャとして分かれている他のタイプのAIモデル（T5やBERTなど）についても調査しました。それらのモデルは、構造上は別々のパーツを持っていますが、それでも読解と書記が結合しているかのように振る舞いました。これは、「もつれたコード」の挙動が、特定の設計による特異な現象ではなく、言語モデル全般に見られる一般的な特徴であることを示唆しています。

まとめ

この論文は、大規模言語モデルがミニチュアの人間脳ではないことを教えてくれます。彼らは、明確に異なる種類の精神です。人間は、読み書きを別々の部屋に分けて進化させてきましたが、これらのAIモデルは、読解と書記が同じ空間で行われ、同じ道具を使う「オープンコンセプトのスタジオ」を構築しました。彼らは同じ結果、すなわち「機能的な識字能力」を達成しますが、そこに至るルートは全く異なります。著者たちはこれを「可能な精神の空間における明確に異なる点」と呼んでおり、AIを理解するためには、人間と同じ姿にすることを強いるのではなく、その独特で、もつれ合った思考のあり方を理解すべきであると示唆しています。

テクニカル・サマリー：読者なき読解（Reading Without a Reader）

問題提起

本論文は、人間の識字能力と大規模言語モデル（LLM）の機能的識字能力との間にある、根本的な構造的相違を取り上げている。人間の脳において、読解（視覚記号のデコード）と記述（意味を正書法的な出力へとエンコードすること）は、二重に解離可能なシステムである。これらは、部分的に共通の正書法コアを持ちつつも、選択的に損傷し得る（純粋アレキシアまたは純粋失書症）別個の神経経路（腹側デコード vs 前頭頂部エンコーディング）に依存している。

対照的に、デコーダーのみのLLMは、進化した本能ではなく文化的発明物である「書かれたテキスト」に最適化された、単一の自己回帰パスを通じて識字を実現している。中心となる実証的な問いは、この単一のメカニズムが「読む」機能と「書く」機能をどの程度絡み合わせているか（entangle）である。モデルはこれらの機能を一つの統計的コードへと崩壊させているのか、それとも人間の脳と同様の解離可能な経路を発達させているのか。

メソドロジー

モデル

研究では、「結合された（tied）」埋め込みと「結合されていない（untied）」埋め込みというアーキテクチャの変数を分離するために、2つのモデルファミリーを利用している。

結合モデル（構造的に絡み合っている）: GPT-2ファミリーおよびOPT。ここでは、入力埋め込み（ $W_E$ ）と出力アンエンベディング（ $W_U$ ）が強制的に同一（ $W_U = W_E^\top$ ）とされる。これらは「天井（ceiling）」の参照点として機能する。
非結合モデル（個別に学習される）: Pythiaスイート（14M–1.4Bパラメータ）。ここでは、 $W_E$ と $W_U$ は独立したパラメータブロックであり、モデルが両者を結合させるか解離させるかを学習できる。

幾何学的分析：絡み合い指数（Entanglement Index, $E$ ）

著者らは、入力の「読解コード」（ $W_E$ ）と出力の「記述コード」（ $W_U$ ）の類似性を定量化するために、複合的な**絡み合い指数（ $E \in [0, 1]$ ）**を定義している。 $E$ は以下の4つの正規化されたコンポーネントの非加重平均である。

線形CKA: 行空間のジオメトリ間の中心化カーネルアライメント（Centered Kernel Alignment）。
プロクラスティス残差（Procrustes Residual）: $W_E$ と $W_U$ の間の最適な直交写像を求めた後の残差を、類似度スコアに変換したもの。
平均トークン・コサイン: 対応するトークンベクトル間の平均コサイン類似度。
相互k-NNオーバーラップ: $W_E$ における近傍の割合のうち、 $W_U$ でも近傍となっているものの割合。

キャリブレーション:

フロア（底）: 独立した初期化（ランダム行列）。
ヌル（無効）: シャッフルされたトークン対応（アライメントを破壊）。
シーリング（天井）: 結合モデル（ $E=1$ ）。

行動分析

研究では、理解（正しい形態の対数確率判別）と生成（形態の貪欲な生成）を対比させている。

指標: $2 \times 2$ の分割表が作成される。「解離質量（dissociation mass）」（非対角成分の確率）が、統計的独立性のベースラインと比較される。
仮説: もしモデルが人間の脳のように振る舞うならば、理解と生成は解離しているはずである（高い非対角成分を持つ）。もし結合されているならば、非対角成分は低くなる。

実験設計

論文では9つのプローブを報告している。

実験1–6: 確立された知見（誘導ヘッド、正書法獲得、データ効率、意味の前の形態、圧縮のスケーリング、記憶）の再現。
実験7: 主要な読解/記述分析（アーキテクチャ、スケール、学習軌跡における絡み合い指数 $E$ ）。
実験8: 行動的な読解/記述の解離と「架け橋」（ $E$ と行動的結合 $\phi$ の相関）。
実験9: アーキテクチャの対比（デコーダーのみ vs エンコーダー・デコーダー vs マスク付きエンコーダー）を行い、結合がデコーダーのみのフォワードパスに特有のものかを検証。

主な結果

1. 幾何学的絡み合い（重み）

結合: 非結合のPythiaモデルは、有意な絡み合い指数（ $E \approx 0.23–0.35$ ）を示しており、これは独立した初期化のフロア（ $E \approx 0.003–0.04$ ）を大きく上回っているが、結合された天井（ $E=1$ ）には遠く及ばない。
軌跡: 学習の軌跡は非単調である（「結合してから分化する」）。コードは初期に結合し（ステップ4000でCKA $\approx 0.49$ にピーク）、その後部分的に分化して、最終ステップまでに $E \approx 0.21$ に落ち着く。
非対称なドリフト: 全ての頻度デシルにおいて、記述コード（ $W_U$ ）は、読解コード（ $W_E$ ）よりも約3.2倍遠く初期値からドリフトしている。これはLopardoら（2026）の知見を再現・拡張するものであり、勾配への曝露だけが原因ではないことを示している。
スケールの傾向: モデルサイズによる $E$ の系統的な傾向は見られない（フラットである）。

2. 行動的結合

正の結合: 12個の非退化モデルすべてにおいて、理解と生成は正に結合している。非対角の「解離質量」は、統計的独立性のベースラインを大幅に下回っている（厳密な符号検定 $p < 0.001$ ）。
脳との対比: これは人間の脳の二重解離（一方の機能を喪失しても他方が保持される状態）とは逆の結果である。
理解 > 生成: 理解の正確さは、生成の正確さを一貫して上回っているが、著者らはこれがタスクの難易度の非対称性を反映している可能性についても言及している。

3. アーキテクチャの一般性

デコーダーのみに限定されない: エンコーダー・デコーダーモデル（T5）やマスク付きエンコーダー（RoBERTa）も、行動的な結合を示す。ただし、T5モデルはエンコーダーとデコーダーのスタック間で高い表現的分離（最大 $1 - \text{CKA} = 0.96$ ）を示している。
結論: 行動的結合は現在の言語モデルの一般的な特性であり、デコーダーのみのフォワードパスに特有のアーティファクトではない。

4. ヌル結果（誠実な会計）

論文ではいくつかのヌル結果も明示的に報告している。

幾何学 $\to$ 行動の架け橋: モデル間（ $\rho = 0.00$ ）および学習内（ $\rho = 0.08$ ）において、重みのレベルでの絡み合い（ $E$ ）と行動的な結合（ $\phi$ ）の間に相関はない。生成が定義される前にジオメトリが定まらないため、初期段階での検証は不可能である。
圧縮 vs 推論: テキスト圧縮が機能的能力から解離しているという証拠はない。むしろ、両者は正に共変している。
誘導回路: 最上位の誘導ヘッドをアブレーション（除去）しても、正書法の単語形態のギャップ（残存率 $\approx 1.009$ ）は崩れない。これは、正書法のデコードが誘導回路によって担われていないことを示している。

意義と主張

「読者なき読解」

本論文は、デコーダーのみのLLMは、単一の、絡み合った統計的コードを通じて機能的な識字を実現しており、それは人間のリテラシーの組織化とは逆転していると論じている。

人間の脳: 二つの解離したシステム（読解/記述）と、共有されたコア。
LLM: 解読とエンコードを崩壊させた、一つの絡み合ったシステム。

「可能な精神の空間」における位置付け

著者らは、LLMを「人間の読解・記述を行う脳のモデル」としてではなく、「可能な精神の空間」における明確に異なる点として位置付けている。LLMは、人間が取る経路とは異なるルートで機能的な識字を実現している。すなわち、進化的な、解離した神経基盤を持つことなく、汎用的なメカニズム（自己注意機構）を文化的産物（書かれたテキスト）に対して最適化することで達成しているのである。

貢献の性質

類推であり、相同ではない: $W_E/W_U$ と脳の読解/記述システムとの比較は、構造化された類推であり、生物学的な相同性を主張するものではない。モデルは人間のように「読む」ことも「理解する」こともしていない。
方向性の収束: 主要な貢献は、二つの補完的な分析レベル（重みのジオメトリと顕在的な行動）の間の方向性の合致である。両方のレベルが、解離ではなく結合を示している。
謙虚な姿勢: 著者らは、メカニズム的な架け橋（ジオメトリが行動を予測すること）の欠如と、アーキテクチャ上の制約（単一のフォワードパス）に鑑み、これらの知見は「これらのモデルがどのように機能するか」を記述するものであり、人間のような認知構造を持っていることを示すものではないと強調している。本論文は、LLMを「欠陥のある人間モデル」としてではなく、「独自の認知システム」として分類するための解釈的レンズとして機能している。