论文技术总结：相同的几何结构，相反的噪声——Transformer 幅度表征缺乏标量变异性

1. 研究背景与问题 (Problem)

生物系统的幅度表征（如时间、数量感知）具有两个核心特征：

1. 对数压缩几何（Log-compressive Geometry）：内部表征距离遵循刺激幅度的对数函数，符合韦伯定律（Weber's Law）。
2. 标量变异性（Scalar Variability）：表征噪声与幅度成比例缩放，导致变异系数（Coefficient of Variation, CV）保持恒定。

在“高效编码”（Efficient Coding）框架下，这两个特征通常被认为源于同一机制：系统受限于固定的噪声预算（代谢约束），在编码幂律分布的输入时，同时产生了对数几何和标量噪声。

核心问题：大型语言模型（LLM）是否也表现出这种生物学的“标量变异性”？
Transformer 模型已知能复现对数压缩的幅度几何（基于训练数据中整数的幂律分布），但它们缺乏生物系统的代谢约束（如固定的发放率上限或噪声预算）。本研究旨在检验：在缺乏代谢约束的情况下，仅靠分布式学习（Distributional Learning）是否足以产生标量变异性？

2. 方法论 (Methodology)

2.1 数据与模型

• 模型：三个 7-8B 参数量的 Transformer 模型：
  • Llama-3-8B-Instruct
  • Mistral-7B-Instruct-v0.3
  • Llama-3-8B-Base
• 数据：来自 Cacioli (2026) 的公开数据。
• 刺激：26 个数值幅度（1, 2, ..., 9, 10, 15, 20, ..., 1000）。
• 载体：每个数值嵌入在 5 个不同的载体句子中。
• 特征提取：提取所有 33 层中数值 token 位置（RMSNorm 之前）的隐藏状态向量。

2.2 测量指标

研究主要关注表征变异性（Representational Variability），定义为 5 个载体句子向量相对于其质心的平均欧几里得距离 $V(n, l)$。

• 控制变量：
  1. 句子身份校正（Sentence-identity correction, $V_{residual}$）：减去每个句子在所有幅度上的平均向量，消除系统性句子偏移。
  2. 幅度轴投影（Magnitude-axis projection, $V_{proj}$）：将向量投影到 26 个质心的主成分 1（PC1，即幅度方向）上，隔离与幅度相关的分散度。

2.3 分析策略

• 假设：
  • H1: 变异性随幅度增加（$\alpha > 0$）。
  • H2: 标量变异性成立，即 $\alpha \approx 1$（恒定 CV）。
  • H3: 变异性随幅度增加但 $\alpha < 1$（无代谢约束）。
  • H4: 缩放指数随层深变化。
• 统计方法：在 16 个主要层（16-31 层）上，对 $\log(V)$ 和 $\log(n)$ 进行 OLS 回归，估计缩放指数 $\alpha$。使用 Theil-Sen 估计器进行鲁棒性检验，并进行 Bootstrap 置信区间计算。
• 预注册：所有假设、指标和排除规则已在 OSF 预注册。

3. 主要结果 (Key Results)

3.1 核心发现：反标量模式 (Anti-scalar Pattern)

• 否定标量变异性：所有模型在所有 16 个主要层中，缩放指数 $\alpha$ 均为负值（$\alpha < 0$），而非预期的正值。
  • 这意味着：随着数值幅度的增加，表征变异性反而下降。
  • 原始测量（$V_{eucl}$）的 $\alpha$ 范围约为 -0.031 到 -0.046。
  • 幅度轴投影（$V_{proj}$）的负向效应最强（$\alpha \approx -0.19$）。
• 否定 H1 和 H2：没有任何层表现出 $\alpha > 0$ 或 $\alpha \approx 1$。
• 支持 H3 的修正版：结果不仅低于标量（$\alpha < 1$），而是呈现完全相反的“反标量”特征。

3.2 探索性发现

• 语料库频率的强预测性：表征变异性与数值在训练语料库中的对数频率呈强正相关（Spearman $\rho \approx 0.84$）。
  • 解释：小数字（高频）出现在更多样化的语境中，导致表征分散度大；大数字（低频）出现在更刻板、狭窄的语境中，导致表征更紧密。
• 幅度轴特异性：反标量模式在幅度轴（PC1）上比正交维度强 3-5 倍。这表明变异性降低主要集中在行为相关的子空间中。
• 指令微调的影响：经过指令微调的模型（Llama-Instruct）比基础模型（Llama-Base）表现出更负的 $\alpha$ 值（$\Delta \alpha \approx -0.015$），说明微调进一步压缩了稀有数字（大数值）的表征。
• 层深稳定性：反标量模式在所有层（不仅是主要层）中均存在且稳定，不随层深显著变化。

4. 关键贡献 (Key Contributions)

1. 解耦几何与噪声：首次明确证明，Transformer 模型可以复现生物系统的对数压缩几何（由输入分布的幂律特性驱动），但完全缺乏标量变异性（恒定 CV 噪声）。
2. 揭示分布式学习的局限性：表明仅靠分布式学习（Distributional Learning）不足以产生生物式的噪声结构。生物系统的标量变异性可能依赖于 Transformer 所缺乏的代谢约束（Metabolic Constraints，即固定的噪声预算）。
3. 提出“反标量”现象：发现 Transformer 中数值表征的噪声随幅度增加而减小，这与生物系统的“噪声随幅度增加”截然相反。
4. 语境多样性驱动：证实了表征变异性主要由语料库频率（语境多样性）驱动，而非数值本身的物理属性。

5. 意义与讨论 (Significance)

• 理论意义：该研究挑战了“高效编码”能自动同时产生几何和噪声的假设。它表明，几何结构源于输入统计特性，而噪声结构源于系统的物理/代谢限制。Transformer 作为没有代谢预算的纯统计模型，无法模拟生物系统的噪声缩放特性。
• 对 LLM 认知能力的启示：虽然 LLM 在几何上模拟了人类的数值感知（如对数压缩），但在噪声特性上存在本质差异。这意味着 LLM 在处理大数值时的“确定性”或“精确度”随数值增大而人为提高，这与生物感知系统（大数值感知更模糊）不同。
• 未来方向：研究指出，若要使 AI 系统具备更真实的生物感知特性，可能需要引入类似代谢约束的机制，或者在训练目标中加入对噪声结构的显式约束。

总结：这篇论文通过严谨的预注册实验发现，Transformer 语言模型虽然学会了生物系统的“形状”（对数几何），却未能学会其“纹理”（标量噪声）。这种“反标量”特性揭示了纯分布式学习与生物感知系统在噪声机制上的根本分歧。