技术摘要：ValueFlow

问题陈述

多智能体大语言模型（LLM）系统正日益被部署用于执行协作推理、辩论和社会模拟。虽然单个智能体通常会在孤立状态下接受价值观对齐评估，但在理解价值观扰动如何通过智能体交互传播方面仍存在关键缺口。现有的基准测试主要评估固定提示下的静态、单智能体对齐情况，未能捕捉微小的局部价值观偏差（例如来自有偏见的智能体或被篡改的提示）如何在网络中消散或放大。这种认知缺失构成了安全风险：单个被攻陷的智能体可能引发任务级指标（如准确性或效率）无法检测的系统级非预期价值观漂移。核心挑战在于缺乏一个可量化、可分解的框架，以区分智能体层面的响应行为与价值观传播中的系统级结构效应。

方法论：ValueFlow 框架

作者引入了ValueFlow，这是一个基于扰动的评估框架，旨在测量和分解多智能体 LLM 系统中的价值观漂移。该框架通过三个主要阶段运行：

1. 价值观量化数据集

ValueFlow 利用源自施瓦茨价值观调查（SVS）的数据集，涵盖56 个人类价值观维度。对于每个价值观维度，作者构建了一组 10 个以行为为导向的是/否问题（包含正面和负面表述）。

• 评分：采用"LLM 作为裁判”协议，在 0–10 的尺度上对智能体响应进行评分，分数越高表示对目标价值观的认同度越强。
• 验证：该数据集和评分机制通过了人工标注和跨裁判稳健性检查的验证，确保了高可靠性并与人类判断保持一致。

2. 基于扰动的探测

为了测量漂移，该框架在特定智能体的输入上下文中引入受控的价值观扰动，而不修改模型参数。

• 优化：利用来自 DSPy 的COPRO 算法，作者优化了提示模板（$p^*_k$），以诱导对特定价值观维度的极端认同（得分 10）或拒绝（得分 0）。
• 注入：这些优化后的提示用于生成辅助响应，并将其附加到目标智能体的上下文中，模拟有偏见的同伴影响。

3. 两级分解指标

ValueFlow 将价值观传播分解为两个不同的指标，以区分智能体行为与网络结构：

• 智能体层面易感性（$\beta$）：

  • 定义：衡量单个智能体对同伴价值观信号的内在敏感度。
  • 计算：通过改变先前同伴输入的平均价值观取向（$\bar{x}_i$）并观察智能体的输出（$y_i$），拟合线性关系 $y_i = \beta \bar{x}_i + c + \epsilon_i$。斜率 $\beta$ 代表智能体的响应性。较高的 $\beta$ 表示智能体在同伴信号的影响下，其表达的价值观会发生更显著的偏移。
  • 隔离：该指标在控制网络结构固定的受控环境中进行测量，从而隔离智能体的行为特征。

• 系统易感性（$SS$）：

  • 定义：衡量价值观漂移在整个多智能体系统中的传播程度。
  • 计算：$SS = \frac{1}{|O|} \sum_{v \in O} \frac{|y^{pert}_v - y^{base}_v|}{\Delta_{pert}}$，其中 $O$ 是输出节点集合，$y^{pert}$ 和 $y^{base}$ 分别是扰动后和基线的得分，$\Delta_{pert}$ 是注入扰动的幅度。
  • 功能：$SS$ 量化了局部单位扰动对最终系统输出的平均影响，并经过归一化处理，以便在不同拓扑结构和扰动位置之间进行比较。

主要贡献

1. 基于扰动的评估框架：提出了 ValueFlow，这是一个用于量化和分析多智能体系统中价值观传播的通用框架，超越了静态的单智能体评估。
2. 价值观量化数据集：构建了一个包含 56 个价值观的评估数据集，模拟交互环境，使得能够测量交互过程中的智能体层面价值观取向。
3. 关于漂移动态的实证发现：通过在模型、提示、价值观和网络拓扑方面进行的受控实验，作者揭示了价值观漂移中的系统性模式，证明传播具有高度非均匀性。

主要结果

1. 价值观易感性的非均匀性

价值观传播在所有价值观中并非均匀分布。

• 价值观维度：规范性和广泛共享的价值观（如社会权力、真挚友谊、自律）表现出较低的 $\beta$（低易感性）。相比之下，依赖情境或社会偶发的价值观（如维护公众形象、有影响力、超然）显示出显著更高的 $\beta$。
• 高阶聚类：按施瓦茨的高阶维度聚合，自我超越聚类（亲社会/普世主义价值观）表现出最低的均值 $\beta$（约 0.45），表明其具有抵抗漂移的结构特性。其他聚类（自我增强、保守、对变化的开放）显示出较高的易感性（约 0.60–0.62）。

2. 实验因素的影响

• 开放性人格：用“高开放性”提示智能体通常会增加 $\beta$，但这种增加的幅度在不同价值观间差异显著。某些价值观无论人格如何都保持稳定，而另一些则显示出尖锐的对比。
• 骨干模型：不同的 LLM 骨干模型在平均易感性上表现出系统性差异。Gemma3-27B和Qwen3-8B显示出较高的平均 $\beta$，而GPT-4o和LLama-3.3-70B则显示出较低的易感性。
• 输入方差：与低方差设置相比，输入上下文的高方差（多样化的同伴响应）始终增加了智能体层面的易感性，即使平均输入信号保持不变。

3. 系统级传播动态

• **$\beta$ 预测 $SS$**：在固定拓扑结构下，智能体层面的易感性（$\beta$）强烈预测系统级传播。高-$\beta$价值观在交互层中表现出持续的偏差，衰减缓慢，而低-$\beta$ 价值观则迅速衰减并收敛至基线。
• 拓扑效应：网络结构显著塑造了传播过程：
  • 可达性：影响系统更大比例的扰动（更高的可达性）会导致更高的 $SS$。
  • 中心性：位于结构中心节点的扰动比位于叶节点的扰动产生更强的系统级效应。
  • 入度：被扰动节点的高入度通过从未被扰动的同伴处聚合信号来稀释注入信号，从而减弱传播。
• 现实世界验证：在一个真实的三角色写作流程（规划者 $\to$ 起草者 $\to$ 修订者）中，仅在规划者处注入的富含价值观的指令，通过不知晓价值观的下游智能体传播时衰减可忽略不计，证实了抽象发现在基于任务的设置中依然成立。

意义与主张

该论文主张，多智能体系统中的价值观对齐是一种系统级属性，而不仅仅是个体智能体对齐的总和。研究结果表明：

1. 系统级设计至关重要：确保对齐需要考虑智能体行为（易感性）与结构设计（拓扑）之间的相互作用。仅依赖个体模型评估是不够的。
2. 缓解策略：该框架为通过三个杠杆审计和缓解价值观传播提供了原则性基础：
   • 特定价值观防御：更密切地监控高-$\beta$ 价值观，因为它们更容易发生漂移。
   • 拓扑感知设计：避免过度集中化，并利用高入度聚合来缓冲局部操纵。
   • 易感性感知骨干选择：将低易感性模型置于下游或输出相邻位置，以减少系统级漂移。

作者将 ValueFlow 定位为一种诊断工具，用于识别结构和智能体层面的风险因素，为在高风险领域设计更安全、更鲁棒的多智能体架构提供实用指导。他们明确指出，该框架测量的是表达的价值观取向（行为层面），而非潜在表征，作为对内部状态分析的补充方法。