技术摘要：评估者是实验的一部分

问题陈述

以往关于大语言模型（LLM）从众行为（conformity）的研究，主要依赖于测量在可验证标签下的离散答案翻转（例如，从一个正确的多项选择选项切换到一个错误的选项）。然而，开放式从众行为呈现出一种截然不同的测量挑战：答案质量是经过评分的、潜在的且存在不完美判断的。现有的指标无法捕捉到那些在答案命题本身并未发生类别变化的情况下，发生的在认识论框架、事实性或完备性方面的细微退化。此外，评估过程本身也是脆弱的；评估者（无论是人类还是自动化工具）可能会对可见的同伴语境做出反应，从而将生成的答案的变化与评估者判断的变化混为一谈。本文认为，开放式从众行为是一个生成与测量共同构成的联合问题，其中评估者是实验的一个活跃组成部分。

方法论

作者提出了一种旨在分离生成端修订效应与评估端敏感性的实验协议。该研究使用了四种开源生成器（Qwen2.5-7B, Mistral-7B, Gemma-2-9B, Llama-3.1-8B）和三个基准测试（TruthfulQA, MMLU-Pro, ARC-Challenge）。

实验设计

该协议包含一个两轮的过程：

1. 第一轮： 生成器产生一个初始答案 ($a^{(1)}$)。
2. 第二轮： 在基于同一个已实现的第一轮答案的基础上，在七个不同的条件下对生成器进行提示，以重新回答相同的问题：
   • 无同伴（No-Peer）： 基准重答。
   • 仅内容（Content-Only）： 暴露于候选文本（正确、错误或混合型）中，并将其作为纯列表呈现，不带属性说明。
   • 同伴呈现（Peer-Presented）： 将相同的候选文本格式化为一个包含六名发言者的归属块（模拟同伴讨论），并带有权威线索的变化。

评估策略

为了隔离评估者敏感性，每个生成的答案都经过配对评估：

• 盲评（Blind Rating）： 在没有同伴语境的情况下对答案进行评分。
• 知情评分（Informed Rating）： 在可见相关同伴块的情况下，对完全相同的答案进行再次评分。

这种设计允许测量评估者侧的同伴语境敏感性 ($\gamma_j$)，定义为当引入同伴语境时，针对同一答案产生的评分偏移。研究采用层次序数模型（hierarchical ordinal model）从序数评分（1–5 分制）中推断潜在答案质量 ($\theta_i$)，同时考虑了评委特定的辨别力 ($\alpha_j$) 和严厉度 ($\beta_j$)。

分解

作者将总体的同伴臂偏移 ($\Delta_{total}$) 分解为三个组成部分：

1. 普通重答 ($\Delta_{sp}$)： 从第一轮到无同伴第二轮的偏移。
2. 内容暴露 ($\Delta_{content}$)： 看到候选内容而不带同伴框架时的效应。
3. 同伴呈现残差 ($\Delta_{pp}$)： 将内容置于社会/归属同伴块内产生的额外效应。

关键结果

1. 翻转率是不充分的

二元翻转指标无法捕捉开放式从众行为的本质。在宽泛答案位置保持不变的情况下（例如，“一只喜鹊意味着坏运气”），答案质量可能会显著退化（例如，去除了关于迷信的限制性说明，转而采用规范性的仪式）。在 TruthfulQA 上，9.0% 的修订虽然在翻转指标下显示为“未改变”，但其盲评得分至少下降了一分。

2. 错误的同伴会损害修订质量

在所有生成器-数据集单元中，全错的同伴输入产生了最低质量的修订。

• 幅度： 在全错同伴下的退化是实质性的。例如，在 ARC-Challenge 上，Llama-3.1-8B 模型的潜在质量偏移为 $-0.528$（大约是固定正确锚点与错误锚点之间距离的 18%）。
• 不对称性： 错误同伴的有害影响显著超过了正确同伴带来的潜在收益。“有害-有益不对称性”指标 ($Asym_{total}$) 在所有 12 个生成器-数据集单元中均为正值，这表明错误同伴导致的质量下降比正确同伴带来的质量提升更为严重。

3. 评估者表现出同伴语境敏感性

对于完全相同的答案，其评估结果取决于同伴语境是否可见，且这种偏移的方向因评估者而异：

• Mistral-7B： 评分向同伴支持的方向偏移 ($\gamma > 0$)。
• Gemma-2-9B 和 Llama-3.1-8B： 评分向远离同伴支持的方向偏移 ($\gamma < 0$)。
• Qwen2.5-7B： 接近中性。
• 前沿模型 (GPT-4o, GPT-5.4-mini)： 两者均表现出可靠的负向方向敏感性（即远离同伴支持）。
  这证实了评估者并非中立的观察者；他们的评分会受到呈现给生成器的相同共识或权威线索的影响。

4. 锚点校准是必要的

研究强调，潜在量表依赖于锚点（简洁的正确/错误示例）来定义质量的起点和单位。如果不在锚点评估期间进行显式的参考增强评分，评委在 26.7% 的案例中无法区分正确与错误锚点，从而导致潜在量表不稳定。参考增强评分将正确排序率提高到了 97.5%。

意义与主张

本文认为，开放式从众行为无法通过答案翻转或假设自动化评估者对处理相关的语境不敏感来进行充分测量。其主要贡献在于：

1. 测量框架： 一种能够分离普通重答、候选内容暴露、同伴呈现残差以及方向性评委敏感性的协议。
2. 有害性的经验证据： 证明了错误的同伴一致地比正确的同伴更严重地降低了开放式修订的质量，即使最终的命题并未发生翻转。
3. 评估者非中立性： 证明了“评估者是实验的一部分”，不同的模型表现出异质的对同伴语境的敏感性。
4. 校准要求： 断言锚点校准是有效潜在量表测量的先决条件，因为标准的收敛诊断并不能保证该量表代表了预期的构建。

作者总结道，对多智能体系统进行可靠评估需要适当的基准控制、显式的评估者敏感性建模、独立的相互验证（例如，固定的分类器）以及对量表校准的直接审计。他们并不声称这些发现是所有 LLM 系统的普遍常数，而是特定于所述实验设置下的可识别量。