技术摘要：必然性偏差

问题陈述

本文探讨了人工智能与认知科学交叉领域的一个根本性问题：某些认知偏差（具体指首因效应、锚定效应和顺序依赖性）是序列信息处理在数学上不可避免的必然结果，还是仅仅是当前模型训练和架构的产物？尽管大量实证研究已在人类和大型语言模型（LLM）中记录了这些偏差，且提出了各种去偏技术（如思维链、反思提示），但这些方法仅能减少而无法完全消除偏差。作者提出，由于自回归处理中固有的因果掩码约束，这些偏差可能是“架构上必要的”。

方法论

本研究采用混合方法论，结合了形式化理论证明、针对前沿模型的大规模实证验证以及预注册的人类行为实验。

1. 理论框架：作者利用“因果掩码”概念形式化了自回归模型的约束，即令牌 $x_i$ 只能关注 preceding tokens $x_1, \dots, x_{i-1}$。他们定义了位置特权（$\Phi(j)$）为所有后续位置给予某一位置的总预期注意力权重。
2. 不可能性定理：推导了三个定理，证明在标准假设（非平凡注意力、因果掩码、内容与位置交互）下，若不违反架构约束或承担 prohibitive 计算成本，特定偏差无法被消除。
3. LLM 实证验证：该框架在 12 个前沿 LLM（包括 GPT-4、Claude-3、Gemini-1.5、Llama-3 等）上进行了测试。研究利用经典的锚定范式，每个模型进行 200 次试验，通过操纵 8 句语境中无关锚点的位置来追踪位置特权曲线。模型比较使用贝叶斯信息准则（BIC）进行。
4. 人类行为实验：两项预注册研究（$N=464$ 已分析）测试了从形式化模型推导出的定量预测：
   • 研究 1：测试锚点位置（在目标信息之前 vs. 之后）是否调节锚定效应的幅度。
   • 研究 2：测试工作记忆（WM）负荷是否放大首因偏差，以及个体工作记忆容量是否能预测偏差的减少。

主要贡献

本文做出了五项主要贡献：

1. 不可能性定理：证明由于因果掩码，首因偏差、锚定效应和顺序依赖性在自回归模型中是数学上不可避免的。
2. 定量界限：确立通过排列边缘化进行精确去偏需要 $\Omega(n!)$（阶乘时间）的计算，使得实际消除在计算上不可行。
3. 实证验证：在 12 种不同的 LLM 上验证了理论框架，证明位置特权的指数衰减模型比线性、幂律或零模型显著更好地拟合数据（$R^2 = 0.89$；与次优模型相比 $\Delta BIC = 16.6$）。
4. 跨领域预测：基于形式化模型推导出人类认知的定量预测，并在人类实验中予以确认。
5. 资源理性重构：将认知偏差重构为并非错误，而是人类和机器共有的序列处理约束下的最优、资源理性响应。

结果

理论结果

• 定理 1（首因偏差的不可避免性）：对于任何满足因果掩码的自回归模型，存在输入排列使得输出分布不同。第一个令牌具有结构优势（位置特权），若不违反因果约束则无法被消除。
• 定理 2（锚定效应的涌现）：锚定偏差不可避免地涌现，因为查询位置的隐藏状态在数学上必须包含来自前序锚点的非零信息量，无论该锚点的规范性相关性如何。
• 定理 3（去偏成本）：精确消除偏差需要评估输入的所有 $n!$ 种排列。蒙特卡洛近似是可行的，但会产生每个容差单位的恒定开销，意味着完美的去偏在计算上是不可处理的。

LLM 实证结果

• 模型拟合：位置特权的指数衰减模型强烈预测了 12 个模型的锚定偏差（$R^2 = 0.89$）。
• 位置效应：随着锚点在序列中位置的后移，锚定幅度减小，遵循位置特权的预测谐波/指数衰减。
• 泛化性：该模型在不同模型家族间具有泛化性（留一法交叉验证 $R^2 = 0.84$），并成功预测了 Mistral-Large 的样本外结果。

人类实验结果

• 研究 1（锚点位置）：确认在目标信息之前呈现的锚点比之后呈现的锚点产生显著更强的锚定效应（$d = 0.52$，$BF_{10} = 847$）。这与预测的 $d \in [0.35, 0.55]$ 范围一致。
• 研究 2（WM 负荷）：高工作记忆负荷放大了首因效应（$d = 0.41$）。个体差异分析显示，较高的工作记忆容量预测了较小的位置效应（$r = -0.38$），支持了首因偏差是对有限序列处理能力的一种资源理性响应的假设。

意义与主张

本文主张将认知偏差重构为序列处理的必然结果，而非可纠正的缺陷。

• 计算层面的平行性：作者认为，Transformer 中的因果掩码与人类工作记忆中的串行处理约束代表了马勒（Marr）计算层面的类似约束。两个系统都以有限访问未来输入的方式顺序处理信息，导致相似的偏差结构。
• 资源理性：借鉴资源理性分析，本文提出人类和机器的偏差都是在有限计算资源下的最优策略。“偏差”源于问题结构（序列处理），而非求解器结构。
• 对 AI 设计的启示：研究结果表明，追求精确去偏在计算上是徒劳的。相反，本文倡导人机协作策略，利用互补的架构约束（例如，将自回归模型与双向编码器或检索系统配对）以实现稳健的联合决策。
• 评估方法论：本文断言，在"LLM 作为裁判”的评估中，位置偏差是一种基本的架构属性，而非缺陷。因此，评估协议应随机化呈现顺序并在排列间进行聚合，而不是期望模型学会忽略位置。

作者在机制等价性方面保持谦逊，指出虽然计算约束是平行的，但底层实现（神经与人工）存在差异。他们承认人类样本的 WEIRD（西方、受过教育、工业化、富裕、民主）性质方面的局限性，并指出需要测试替代架构（如状态空间模型，例如 Mamba）。