Benchmarking Large Language Model Rationality Using Measurement Axioms

技术摘要：利用测量公理对大语言模型的理性进行基准测试

问题陈述
随着大语言模型（LLMs）越来越多地被部署在信用风险、医疗保健和政策制定等高风险领域的决策过程中，当前的评估范式仍然不足。现有的基准测试优先考虑准确性和事实依据，却往往忽略了实现连贯且可解释决策所需的结构属性。在缺乏明确“地面真值”（ground truth）的现实环境中，基准测试的准确性无法捕捉模型决策过程是否具有内部一致性。具体而言，目前缺乏正式的框架来确定 LLM 生成的偏好是否满足实现理性代理和效用表示所必需的结构条件——例如传递性（transitivity）。缺乏传递性意味着偏好无法被连贯地排序，这破坏了模型输出的可解释性，并增加了与人类价值观对齐的难度。

方法论
作者引入了一个基于效用理论的测量论框架，用于评估 AI 的决策能力。研究将一个决策系统定义为：若该系统能够容纳一个效用函数，则该系统是理性的，这一条件是由偏好传递性公理所要求的。为了应对 LLM 输出的非确定性特征，作者采用了直接的首个 Token 对数概率提取（first-token log-probability extraction），而非依赖于生成的文本或事后解析。这使得研究能够针对给定输入恢复确定性的选择概率。

本研究评估了 20 个不同的 LLM（包括 Meta 的 Llama 系列、阿里巴巴的 Qwen、MistralAI 和 Google 的 Gemma），并针对三种实验操纵进行了测试：

1. 生成温度（Generation Temperature）： 在 10 个设置（0.2 到 2.0）下进行测试，以确定增加随机性是否会破坏偏好的逻辑结构。
2. 上下文记忆（Contextual Memory）： 对比了“无记忆”条件（独立试验）与“全记忆”条件（模型接收其最近 10 次选择的记录），以评估上下文历史是稳定还是退化了偏好一致性。
3. 问题格式（Question Format）： 改变了概率的呈现方式（分数形式 vs 百分比形式）以及货币价值的呈现方式（数字、带有 "$" 前缀、“dollars”后缀），以测试框架效应对结构连贯性的影响。

刺激材料由五个改编自人类传递性实验（Tversky, 1969; Davis-Stober et al.）的赌博集组成，每个集合包含 20 个选择试验。作者评估了四种概率传递性模型：

• 弱随机传递性 (WST)： 最宽松的条件（$P_{AB} \ge 0.5 \land P_{BC} \ge 0.5 \implies P_{AC} \ge 0.5$）。
• 中等确定传递性 (MCT)： 更严格的条件（$P \ge 0.75$）。
• 高确定传递性 (HCT)： 高确定性条件（$P \ge 0.9$），旨在评估产生确定性概率计算的代理。
• 传递偏好混合模型 (MMTP)： 允许通过对传递的确定性偏好进行采样来实现随机选择。

关键结果

• 传递性遵循度： 对最宽松模型（WST）的遵循度在不同温度下保持稳定，但随模型类型而显著变化，指令微调模型（instruction-tuned models）的表现通常优于基础模型（base models）。然而，对更严格模型（MCT 和 HCT）的遵循度在几乎所有模型中都接近于零，仅有少数 70B 指令微调变体显示出非零计数，且这些计数随温度升高而下降。
• 温度效应： 虽然 MMTP 的遵循度随温度升高略有增加，但作者认为这很可能是数学上的人工痕迹，即概率向 0.5（随机猜测）压缩导致的，而非决策连贯性的提升。
• 问题格式： 当概率以百分比而非分数形式呈现时，遵循度略有提高。货币价值的表示方式对结果影响微乎其微。
• 上下文记忆： 与“上下文可能稳定偏好”的假设相反，提供先前选择的记忆反而降低了对 WST 和 MMTP 的遵循度。此外，先前选择的具体顺序引入了显著的变异性，某些模型的遵循度计数会根据序列的不同而在全量程（0 到 30）内波动。
• 非传递性模式： 当发生违反行为时，这些行为并非随机。许多模型表现出了“人类对齐的非传递性”（human-aligned intransitivity），即复制了人类决策中记录的词典序半序（lexicographic semi-order）模式（Tversky, 1969）。然而，LLM 的违规率明显高于人类受试者。

核心贡献

1. 形式化框架： 本文提供了一个基于测量论的原则性框架，用于评估 AI 的理性，该框架超越了准确性，转而评估结构连贯性。
2. 方法论严谨性： 通过利用直接的对数概率提取，本研究避开了随机文本生成的噪声，从而测量内在的选择概率，为评估偏好一致性提供了可重复的标准。
3. 系统性基准测试： 研究系统地改变了操作参数（温度、记忆、格式），以展示这些因素如何影响 LLM 决策的逻辑结构，揭示了当前模型缺乏稳定的效用表示。
4. 对比分析： 该工作提供了 LLM 与人类决策之间的直接结构化比较，强调虽然 LLM 可以模仿人类的非传递性模式，但其出现的频率更高且稳定性更差。

意义与主张
作者主张，测量公理为评估 AI 系统提供了互补的基础，这种基础与基准准确性不同且同样必要。研究表明，当前的 LLM 未能满足实现连贯决策所需的结构条件，特别是在更严格的理性标准（MCT, HCT）下以及暴露于上下文记忆时。

论文谦虚地指出，其框架评估的是输出的结构，而非模型的内部认知过程。结论认为，尽管 LLM 看起来在做出有结构的决策，但它们在不同条件下无法维持一致的偏好，这表明其缺乏稳定的效用表示。作者建议，该框架可以扩展到其他领域（如医疗分诊、道德权衡）以及其他选择公理（如单调性），作为迈向以测量为导向的评估人工代理理性之基础性的一步。