🧬 biology

Reading Without a Reader: Large Language Models Collapse Reading and Writing into a Single Entangled Code

本文表明，与人类大脑中可分离的阅读与书写系统不同，大语言模型依赖于单一且纠缠的自回归机制，其中输入与输出代码尽管在表征上存在部分差异，但在行为上仍保持耦合，这使得大语言模型被定位为一种由文化而非进化约束所塑造的独特类型的智能。

原作者： Diego Saldaña Ulloa

发布于 2026-07-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Diego Saldaña Ulloa

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

想象一下，你正在试图理解人类的大脑是如何学习阅读和写作的。长期以来，科学家们认为这是两种截然不同的超能力。阅读就像是一个解码环，将弯弯曲曲的字母转化为意义；而写作则是另一台机器，将这些意义转化回字母。在人类大脑中，这两个系统居住在不同的社区。如果你头部的一个部位受到了撞击，你可能会失去阅读的能力，但仍能完美地写作；如果你头部的另一个部位受了伤，你可能会忘记如何写作，但阅读却依然如常。它们是两个独立的工具，只是恰好共享着同一个工具箱的一小部分。

现在，想象一下建造一个机器人来完成同样的工作。这个机器人并没有进化了数百万年的大脑，它是从海量的书籍库中从零开始构建出来的。一个重大的问题是，研究人员一直在追问：这个机器人学习阅读和写作的方式，是否与人类相同？还是说它采取了一种捷径，将这两个独立的超能力合并成了一个巨大的、纠缠在一起的混乱体？这篇论文通过观察大型语言模型（即那些会写故事和回答问题的 AI）的“数学大脑”，来深入探讨这个谜团，看看它们拥有独立的阅读和写作部分，还是仅仅在使用一个单一的、纠缠的代码进行一切操作。

论文：没有读者的阅读

这篇论文的作者决定扮演一名侦探，去调查一些现存最聪明的 AI 模型，比如 GPT-2、OPT 以及一个名为 Pythia 的模型家族。他们想看看这些机器是将阅读和写作视为两项不同的工作，还是将它们揉捏成了一个庞大且混乱的任务。

为了实现这一点，他们创造了一个巧妙的类比。在人类大脑中，阅读发生在后部（视觉处理），而写作发生在前端（运动规划）。在 AI 模型中，并没有像人类那样明确的“后部”或“前端”。相反，模型拥有一个输入嵌入（我们可以称之为“阅读代码”），它将一个词转化为数字；以及一个输出解嵌入（“写作代码”），它将数字转回单词。研究人员问道：这两个代码是聚在一起的好朋友，还是其实是同一个人戴着两顶不同的帽子？

他们发明了一个名为纠缠指数（范围从 0 到 1）的分数，用来衡量这两个代码的相似程度。

0 表示它们完全不同（就像人类大脑中分离的阅读和写作系统）。
1 表示它们完全相同（就像输入和输出被强制设为一致的模型）。
介于两者之间则意味着它们是混合在一起的，或者说是“纠缠”的。

重大发现：一个纠缠的代码

结果令人惊讶。人类大脑保持着阅读和写作的分离，但这些 AI 模型却并非如此。

在那些研究人员允许“阅读代码”和“写作代码”独立学习的模型（即“非绑定”模型）中，这两个代码并没有保持距离。相反，它们向彼此靠近并变得耦合了。纠缠指数最终稳定在 0.23 到 0.35 之间。这既远离零（完全分离），也远离一（强制相同），但这证明了它们确实在共享一个单一的、纠缠的统计代码。它们不是两个系统，而是一个系统在承担双重职责。

研究人员还观察了这一过程是如何随时间演变的。这并非瞬间完成。代码最初是完全不同的（就像两个陌生人），然后在训练到第 4,000 步左右时变得非常接近（几乎完全相同），随后又缓慢地拉开了一点距离，但从未完全分离。这就像两位舞者，起初在房间的两端，然后在中间紧握双手共舞，接着慢慢漂离，但始终保持着那根看不见的线相连。

行为测试：没有读者的阅读

为了确保这不仅仅是一个数学技巧，研究人员测试了模型的实际行为。他们检查了一个模型是否可以在无法书写（生成）的情况下理解一个词（理解），或者反之亦然。在人类身上，你可以患上“纯粹性失认症”（无法阅读，但能写作）或“纯粹性书写障碍”（能阅读，但不能写作）。

AI 模型表现出了相反的情况。在他们测试的所有模型中，如果一个模型能写出一个词，它也能理解这个词。如果它不能写出这个词，它也就无法理解它。它们是完美锁定的。不存在“没有写作者的阅读”或“没有读者的写作”。机器在同一时间、使用相同的内部齿轮同时完成这两项工作。

这对 AI 意味着什么

论文指出，这些 AI 模型并不是在试图模仿人类的大脑。人类大脑进化出了两个专门的系统来进行阅读和写作。然而，AI 是为了优化单一路径而构建的：预测下一个词。正因如此，它将阅读和写作坍缩成了一个巨大的、高效的、但也是纠缠在一起的包裹。

作者谨慎地表示，这并不是 AI 的“失败”。这只是另一种变聪明的方式。这就像是在比较一把瑞士军刀和一套专业的工具集。人类的大脑是那套专业工具（一个用于阅读，一个用于写作）。而 AI 是那把瑞士军刀：它用同一片刀刃完成两项工作，只是顺序不同。

“无效”结果：他们没有发现什么

这篇论文对他们没有发现的内容也非常诚实，这同样重要。

没有桥梁： 他们试图观察“数学上的接近度”（纠缠指数）是否能预测模型的行为表现。结果并没有。这两个测量值之间互不通信。
没有“压缩 vs 推理”的分裂： 他们曾想知道模型是否在提高文本压缩能力的同时，降低了理解意义的能力。他们没有发现证据支持这一点。事实上，随着模型在压缩方面变得更好，它们在理解意义方面似乎也变得更好了，尽管数据量太小，无法做到 100% 确定。
不仅仅是仅解码器模型： 他们检查了其他类型的 AI 模型（如 T5 和 BERT），这些模型在架构上有独立的“阅读”和“写作”部分。尽管这些模型拥有独立的部件，但它们在行为上仍然表现得像是阅读和写作是耦合在一起的。这表明，“纠缠代码”的行为是这类语言模型的一个普遍特征，而不仅仅是某种特定设计的怪癖。

总结

这篇论文告诉我们，大型语言模型并不是微型的人类大脑。它们是一种截然不同的心灵。人类进化出的方式是将阅读和写作放在不同的房间里，而这些 AI 模型则建造了一个开放式的单间工作室，让阅读和写作在同一个空间内发生，并使用相同的工具。它们实现了同样的结果——功能性的识字能力——但它们是通过一条完全不同的路径达成的。作者称之为“可能的心灵空间中的一个独特点”，这意味着要理解 AI，我们不应该强求它看起来像我们，而是应该欣赏它那种独特的、纠缠在一起的思考方式。

技术摘要：没有读者的阅读

问题陈述

本文探讨了人类识字能力与大语言模型（LLM）的功能性识字能力之间的一个根本性的结构差异。在人类大脑中，阅读（解码视觉符号）和写作（将意义编码为正字法输出）是双重分离的系统：它们依赖于部分不同的神经通路（腹侧解码 vs. 额顶编码），这些通路可以被选择性地损伤（纯失认症 vs. 纯失语症），同时共享一个部分的正字法核心。

相比之下，仅解码器（decoder-only）架构的 LLM 通过单一的自回归路径实现识字能力，该路径是在书面文本上优化的，这是一种文化发明而非进化本能。核心经验问题是：这种单一机制在多大程度上将“阅读”与“写作”功能纠缠在一起？模型是将这些功能坍缩为一个统计代码，还是开发出了类似于人类大脑的可分离路径？

研究方法

模型

研究利用两类模型来隔离“绑定”与“非绑定”嵌入这一架构变量：

绑定模型（在构造上纠缠）： GPT-2 系列和 OPT。在此，输入嵌入 ( $W_E$ ) 和输出解嵌入 ( $W_U$ ) 被强制相等 ( $W_U = W_E^\top$ )。它们作为“天花板”参考。
非绑定模型（独立学习）： Pythia 系列（14M–1.4B 参数）。在此， $W_E$ 和 $W_U$ 是独立的参数块，允许模型学习如何耦合或分离它们。

几何分析：纠缠指数 ( $E$ )

作者定义了一个复合的纠缠指数 ( $E \in [0, 1]$ )，用于量化输入“阅读代码” ( $W_E$ ) 与输出“写作代码” ( $W_U$ ) 之间的相似性。 $E$ 是四个归一化组件的无权重平均值：

线性 CKA： 行空间几何之间的中心化核对齐（Centered Kernel Alignment）。
Procrustes 残差： 在寻找 $W_E$ 与 $W_U$ 之间的最优正交映射后的残差，并转换为相似度得分。
平均逐 Token 余弦相似度： 对应 token 向量之间的平均余弦相似度。
互 k-NN 重叠： $W_E$ 中近邻在 $W_U$ 中也是近邻的比例。

校准：

底限（Floor）： 独立初始化（随机矩阵）。
零值（Null）： 打乱的 token 对应关系（破坏对齐）。
天花板（Ceiling）： 绑定模型 ( $E=1$ )。

行为分析

研究对比了理解（正确形式的对数概率判别）与生成（形式的贪婪生成）。

指标： 构建一个 $2 \times 2$ 列联表。将“分离质量”（非对角线概率）与统计独立基准进行比较。
假设： 如果模型表现得像人类大脑，理解和生成应该是可分离的（具有高非对角线质量）。如果两者耦合，则非对角线质量较低。

实验设计

论文报告了九个探测实验：

实验 1–6： 复现已有的发现（感应头、正字法习得、数据效率、形式先于意义、压缩缩放、记忆）。
实验 7： 主要的读写分析（跨架构、规模和训练轨迹的纠缠指数 $E$ ）。
实验 8： 行为层面的读写分离以及“桥梁”（将 $E$ 与行为耦合 $\phi$ 进行关联）。
实验 9： 架构对比（仅解码器 vs. 编码器-解码器 vs. 掩码编码器），以测试耦合是否是解码器路径特有的。

关键结果

1. 几何纠缠（权重）

耦合： 非绑定 Pythia 模型表现出显著的纠缠指数 ( $E \approx 0.23–0.35$ )，远高于独立初始化的底限 ( $E \approx 0.003–0.04$ )，但远低于绑定的天花板 ( $E=1$ )。
轨迹： 训练轨迹是非单调的（“先耦合后分化”）。代码在早期发生耦合（在第 4000 步时 CKA 达到 $\approx 0.49$ 的峰值），随后部分分化，在最终步骤时稳定在 $E \approx 0.21$ 。
不对称漂移： 在所有频率分位数中，写作代码 ( $W_U$ ) 偏离初始化的程度大约是阅读代码 ( $W_E$ ) 的 3.2 倍。这复现并扩展了 Lopardo 等人 (2026) 的发现，排除了梯度暴露是唯一原因的可能性。
规模趋势： 在不同模型规模之间没有系统性的 $E$ 趋势（平坦）。

2. 行为耦合

正向耦合： 在所有 12 个非退化模型中，理解和生成都是正向耦合的。其“分离质量”（非对角线质量）显著低于统计独立基准（精确符号检验 $p < 0.001$ ）。
与大脑的对比： 这与人类大脑的双重分离现象相反（在人类大脑中，病变可以消除其中一种功能而保留另一种）。
理解 > 生成： 理解准确率始终高于生成准确率，尽管作者指出这可能部分反映了任务难度的不对称性。

3. 架构通用性

并非仅限于解码器： 编码器-解码器模型 (T5) 和掩码编码器 (RoBERTa) 也表现出行为耦合，尽管 T5 模型在编码器堆栈和解码器堆栈之间表现出极高的表示分离度（高达 $1 - \text{CKA} = 0.96$ ）。
结论： 行为耦合是当前语言模型的普遍属性，而非仅是解码器路径特有的产物。

4. 零结果（诚实记录）

论文明确报告了若干零结果：

几何 $\to$ 行为之桥： 不同模型之间的权重级纠缠 ( $E$ ) 与行为耦合 ( $\phi$ ) 之间不存在相关性 ( $\rho = 0.00$ )，在训练过程中亦然 ( $\rho = 0.08$ )。由于在几何形态稳定前生成功能尚未定义，该桥梁在早期阶段是无法测试的。
压缩 vs. 推理： 没有证据表明文本压缩与功能能力是脱节的；事实上，两者呈正相关。
感应电路： 消融顶层感应头并不会导致正字法词形差距（剩余比例 $\approx 1.009$ ），这表明正字法解码并非由感应电路承载。

意义与主张

“没有读者的阅读”

论文认为，仅解码器 LLM 通过单一的、纠缠的统计代码实现功能性识字，这颠覆了人类识字大脑的组织方式。

人类大脑： 两个可分离的系统（阅读/写作）及一个共享的核心。
LLM： 一个纠缠的系统，将解码与编码坍缩在一起。

在“可能的精神空间”中的位置

作者将 LLM 定位为不是人类阅读/写作大脑的模型，而是**“可能的精神空间”中一个独特的点**。它们通过一条人类大脑未曾采取的路径实现功能性识字：在没有人类那种进化出的、可分离的神经基质的情况下，将通用机制（自注意力）优化在文化产物（书面文本）之上。

贡献的本质

类比而非同源： 将 $W_E/W_U$ 与大脑阅读/写作系统进行比较是一种结构化的类比，而非关于生物同源性的主张。模型并不像人类那样“阅读”或“理解”。
方向的一致性： 主要贡献在于两个互补分析层面（权重几何与显性行为）之间的方向一致性。这两个层面都表明是耦合而非分离。
谦逊态度： 作者强调，由于缺乏机械性桥梁（几何无法预测行为）以及架构限制（单一前向路径），这些发现描述的是这些模型是如何工作的，而不是说它们拥有类人认知架构。本文作为一个解释性透镜，旨在将 LLM 分类为一种独特的认知系统，而非一个有缺陷的人类模型。