Calibrating the Instrument: Controllability of an LLM-Driven Synthetic Population

技术摘要：仪器校准——LLM驱动的合成人口的可控性

问题陈述
生成式合成人口（GSP）——统计人口合成、基于智能体建模（ABM）与大语言模型（LLM）智能体的融合——为城市模拟和制度沟通研究提供了前景。然而，存在一个根本性的验证缺口：在信任一个 GSP 仪器能够模拟现实世界人口（外部有效性）之前，必须先验证其内部机制（内部有效性）。具体而言，该仪器是否会对具有已知效价（valence）的刺激做出有序、可复制且具有群体结构的响应？本文认为，在建立这种被称为**可控性（controllability）**的属性之前，任何关于该仪器能够追踪人类行为的说法在逻辑上都是过早的。作者提出，合成人口必须首先被证明能够“追踪自身”——即恢复其被赋予的潜在结构——然后才能被用于追踪真实的人类。

方法论：SIVE 实验
为了解决这一问题，作者引入了 SIVE（合成仪器验证实验），这是一个极简模型校准台，旨在将仪器的响应函数从现实世界的复杂噪声中分离出来。

• 实验系统（Montelago）： 一个虚构的意大利市镇，没有现实世界的参照物，居住着 120 个合成人格（personas）。每个人格都拥有已知的、编码的潜在态度结构（具体为：低、中、高三种制度信任水平）和人口统计特征，但在推理过程中，这些编码的分数对 LLM 是隐藏的。LLM 仅接收该人格的背景故事和人口统计数据。
• 刺激物： 该人口暴露于涉及市政供水网络的七种实验条件下。这些条件涵盖了一个效价光谱：
  • POS/POS2： 强正向（用于噪声估计的副本）。
  • NEG： 强负向。
  • POSW/POSW2： “弱正向”信号（POSW 是一个校准错误的刺激物；POSW2 是经过重新校准的版本）。
  • PLA： 一个主题正交的安慰剂（社区节日）。
  • CTRL： 无消息。
• 程序： 120 个智能体分别进行七次独立运行（对应每种条件）。在每次运行中，智能体提供刺激前评分，在三个时间间隔内通过自由文本对刺激做出反应，并提供刺激后评分。
• 参数： 实验在不同温度设置（$t \in \{0.2, 0.5, 0.7\}$）下进行，使用的是 DeepSeek deepseek-chat 模型。
• 验证标准： 定义了七个预注册标准（C1–C7）来评估：
  1. 忠实度 (Fidelity, C1)： 编码的潜在态度与刺激前反应之间的相关性。
  2. 稳定性 (Stability, C2)： 不同条件下刺激前基线的连贯性。
  3. 噪声底限 (Noise Floor, C3)： 通过副本刺激（POS vs. POS2）和单配置文件重复测得的内在变异性。
  4. 特异性 (Specificity, C4)： 安慰剂（PLA）相对于对照组（CTRL）的零效应。
  5. 敏感性 (Sensitivity, C5)： 对已知效价刺激的有序响应。
  6. 排序性 (Ordering, C6)： 观测到的条件排名与预期排名之间的秩相关性。
  7. 接收检查 (Receipt Check, C7)： 无论消息效价如何，检测信息充分性的变化。

关键结果
所有七个预注册标准在三种温度设置（$t=0.2, 0.5, 0.7$）下均通过。

• 忠实度与稳定性： 仪器忠实地恢复了潜在的信任结构（C1：主要信任变量的 $r > 0.89$），并在不同条件下保持了稳定的基线（C2：$r_{min} > 0.85$）。
• 噪声特征化： 发现跨智能体噪声底限（$\sigma_{cross} \approx 1.4$）大约是内在仪器噪声（$\sigma_{instr} \approx 0.77$）的两倍，后者通过单配置文件重复得到隔离。至关重要的是，内在噪声与温度无关。
• 校准成功 (POSW/POSW2)： 一个核心发现源于一次刺激校准失败。设计为中性偏正向的“弱正向”刺激物（POSW），被仪器识别为功能性的负向信号，导致信任得分低于对照组基线。事后分析显示，该文本编码了“问题+不确定性+制度被动性”。重新校准后的刺激物（POSW2）恢复了预期的排序，证明了该仪器具有诊断刺激本身设计缺陷的能力。
• 敏感性与排序性： 仪器成功区分了不同的刺激，一旦包含重新校准后的 POSW2，观测到的条件排名与预期排名一致（C6：$\tau \approx 1.0$）。
• 微观动态： 虽然聚合指标显示出一致的趋势，但个体智能体的轨迹揭示了性质截然不同的心理机制。例如，在负向刺激下，“低信任”智能体表现为要么消极顺从，要么积极的公民动员；而“高信任”智能体经历的是感知来源公信力的崩溃，而非仅仅是信任度的下降。

意义与主张
本文声称 SIVE 确立了 GSP 研究的一个必要逻辑先验：可控性。作者认为，表征一个仪器的响应函数，与验证其对人类行为的外部忠实度是不同的，且是后者的前提。

• 内部有效性优先： 研究表明，GSP 仪器可以经过严格校准，以结构化的方式对已知输入做出响应，而无需与任何真实的真人数据进行比较。
• 诊断效用： 实验强调了该仪器作为刺激物诊断工具的能力，揭示了“弱正向”消息可能由于制度被动性而被怀疑的受众解读为负面信号。
• 精确度： 研究量化了仪器的噪声底限，表明其比朴素的跨智能体分析所显示的更为精确，且这种精确度在温度变化中保持稳定。
• 范围： 作者明确指出，SIVE 并不验证该仪器模拟真实人口的能力（外部有效性），也不验证促成这项工作的 Caffaro/Brescia 具体案例研究的动态。相反，它提供了实现这些未来问题所需的“已表征的仪器”。

文章总结道，Montelago 仪器是可控的，且 SIVE 的实验逻辑可以应用于其他仪器，为 LLM 驱动的社会模拟的成熟提供了基础性的一步。