论文技术总结：Transformer 中的韦伯定律与幅度表示

论文标题：Weber's Law in Transformer Magnitude Representations: Efficient Coding, Representational Geometry, and Psychophysical Laws in Language Models
作者：Jon-Paul Cacioli (独立研究员)
核心主题：利用心理物理学（Psychophysics）框架，探究大语言模型（LLM）如何内部表示数值、时间和空间幅度，并解决现有文献中关于其表示几何结构（对数 vs. 线性）的争议。

---

1. 研究背景与问题 (Problem)

• 现有争议：关于 Transformer 语言模型如何表示幅度（Magnitude），近期研究得出了相互矛盾的结论：
  • 部分研究（如 AlQuabeh et al., 2025）发现隐藏状态呈现对数间隔（Logarithmic spacing）。
  • 部分研究（如 Zhu et al., 2025）通过线性探针（Linear probes）认为编码是线性的。
  • 还有研究指出存在按位（per-digit）的圆形表示或正弦波表示。
• 核心问题：这些矛盾是源于底层表示的不同，还是方法论的差异？Transformer 是否遵循人类心理物理学中的韦伯定律（Weber's Law）（即最小可觉差与刺激强度成正比，$\Delta S/S = k$）？
• 理论假设：基于高效编码（Efficient Coding）理论，如果输入数据的分布遵循近似 $1/s$ 的幂律（如自然语言中的数字频率），且系统优化信息论目标，那么即使没有生物资源的限制（如代谢成本），模型也应自发形成对数压缩的幅度几何结构。

2. 方法论 (Methodology)

研究采用了心理物理学框架，结合四种收敛范式（Paradigms），在三个幅度领域（数值、时间、空间）对三个不同架构家族的指令微调模型（Llama-3-8B, Mistral-7B, Qwen-2.5-7B）进行了测试。

2.1 实验对象

• 模型：Llama-3-8B-Instruct, Mistral-7B-Instruct-v0.3, Qwen-2.5-7B-Instruct（后添加作为探索性模型）。
• 领域：
  1. 数值：26 个跨度三个数量级的数值（1-1000）。
  2. 时间：19 个跨度约 7 个数量级的时间单位（秒到年）。
  3. 空间：14 个跨度约 6 个数量级的距离单位（米到千米）。

2.2 四大实验范式

1. A. 表示几何探测 (Representational Geometry)：
   • 使用表示相似性分析 (RSA) 和 Mantel 置换检验。
   • 比较模型隐藏状态的距离矩阵（RDM）与三种理论模型（线性、韦伯/对数、史蒂文斯/幂律）的拟合度。
   • 指标：Spearman 秩相关系数、$R^2$、AIC。
2. B. 行为判别 (Behavioural Discrimination)：
   • 强制选择任务（如：“哪个数量更大？”）。
   • 测量韦伯分数 (Weber Fraction, WF) 和准确率，判断行为是否遵循比率依赖（Ratio-dependent）而非绝对差依赖。
3. C. 精度梯度 (Precision Gradient)：
   • 检验表示密度是否随幅度增加而降低（高效编码的预测：小幅度精度更高）。
4. D. 因果干预 (Causal Intervention)：
   • 使用激活修补 (Activation Patching) 技术，沿幅度方向注入扰动，测试不同层对比较任务的因果贡献。

2.3 控制与验证

• 预注册：所有假设和分析计划均在 OSF 预注册。
• 鲁棒性控制：包括数字边界诊断（排除位级结构干扰）、单 Token 控制、单位边界检查、频率匹配名词控制等。
• 语料库分析：验证训练数据中整数频率是否遵循幂律分布。

3. 关键发现 (Key Results)

3.1 表示几何结构：一致的对数压缩 (H1 支持)

• 结论：在所有测试的模型、领域和层级中，表示几何结构一致呈现对数压缩（Log-compressive）。
• 数据：在 96 个“模型 - 领域 - 层”单元中，韦伯/对数模型与线性模型相比，RSA 相关系数范围从 .68 到 .96。线性几何从未被选为最佳拟合模型。
• 史蒂文斯指数 ($\beta$)：收敛至约 0.01（接近纯对数），比人类感官模态（$\beta$ 通常在 0.33-3.5 之间）压缩得更剧烈。
• 解决争议：解释了为何线性探针能成功（局部线性）而 PCA 显示对数（全局几何）：对数编码是平滑且单调的，局部线性探针可以恢复数值，但全局距离结构是对数的。

3.2 几何与行为的解离 (Geometry $\neq$ Competence)

• 数值领域：
  • Llama：表现出人类范围内的韦伯分数（WF $\approx$ 0.20），行为遵循比率依赖。
  • Mistral：WF $\approx$ 0.53，行为更符合绝对差依赖，未表现出人类水平的韦伯定律。
  • Qwen：表现出更强的比率依赖（WF $\approx$ 0.18），且置信度极高（熵低）。
• 时间与空间领域：
  • 尽管模型在这些领域拥有与数值领域同样强的对数几何结构（RSA 相关性高），但在行为判别任务中表现随机（Chance level）。
  • 原因：单位边界问题（Unit-boundary）。模型难以在不同单位（如"1 年”vs"200 天”）之间进行抽象归一化，导致几何结构无法转化为行为能力。
• 结论：对数几何结构是必要但不充分的条件。行为能力取决于特定的读出机制（Readout mechanism）。

3.3 因果层级的倒置 (Causal Layer Inversion)

• 发现：
  • 早期层（几何结构较弱）：激活修补显示这些层在近似比较任务中具有因果特异性（Specificity ratio $\approx$ 4.1$\times$）。
  • 晚期层（几何结构最强）：尽管几何结构最清晰，但在修补实验中无因果效应（Specificity ratio $\approx$ 1.2$\times$）。
• 解释：早期层可能用于“操作计算”（解决当前提示），而晚期层可能用于“结构化摘要”（为下一个 Token 预测格式化信息），其几何结构是装饰性的或用于其他功能，而非直接用于比较。

3.4 预训练与指令微调的解耦

• Base 模型 vs. Instruct 模型：Base 模型（Llama-3-8B）拥有与 Instruct 模型同等甚至更强的对数几何结构，但在行为任务上完全随机（50%）。
• 结论：对数几何是预训练的产物（由数据分布统计驱动），而行为能力（韦伯定律的表现）是指令微调的产物（取决于读出机制）。

4. 主要贡献 (Contributions)

1. 方法论创新：首次将完整的心理物理学工具包（韦伯分数、心理测量函数、RSA、因果干预）应用于 LLM 的幅度表示研究，提供了比单纯“线性/对数”二分法更丰富的分析框架。
2. 解决文献矛盾：通过区分“全局几何”与“局部恢复”，调和了关于 LLM 数值表示是线性还是对数的争议。
3. 揭示解离现象：
   • 几何与行为解离：拥有完美的对数几何不代表具备相应的行为能力（如 Mistral 在数值任务，所有模型在时空任务）。
   • 层级功能解离：几何结构最强的层并非执行计算功能的层。
4. 验证高效编码假设：证实了在没有生物资源约束的情况下，仅凭自然语言数据的统计特性（幂律分布，$\alpha \approx 0.77$）就足以在 Transformer 中诱导出对数压缩的表示几何。

5. 意义与启示 (Significance)

• 对 LLM 可解释性的启示：仅仅发现结构化的表示（如通过探针或 PCA）并不足以证明模型在下游任务中使用了该表示。因果干预（如激活修补）是验证功能相关性的关键。
• 对认知科学的启示：Transformer 模型表明，韦伯定律所描述的对数压缩几何可能主要源于输入数据的统计规律，而非生物系统的代谢限制。生物系统的压缩程度可能受到资源预算的调节。
• 未来方向：研究指出，要获得人类水平的行为表现，除了预训练形成的几何结构外，还需要特定的指令微调来建立有效的“读出机制”。此外，模型在处理跨单位（时间/空间）任务时的失败提示了语义归一化在幅度处理中的重要性。

总结：该论文通过严谨的心理物理学实验设计，证明了 Transformer 模型在预训练阶段自发形成了符合高效编码理论的对数幅度几何，但这种几何结构本身并不保证行为上的韦伯定律表现；行为能力的实现依赖于指令微调建立的特定读出机制，且因果计算主要发生在几何结构较弱的早期层。