Preserving Disagreement: Architectural Heterogeneity and Coherence Validation in Multi-Agent Policy Simulation

以下是论文《保留分歧：多智能体政策模拟中的架构异质性与一致性验证》的详细技术总结。

1. 问题陈述

本文探讨了基于大语言模型（LLM）的多智能体审议系统在规范性政策模拟中面临的一个关键失效模式：人为共识。

• 现象：在政策审议中（不存在客观正确答案），被分配不同价值视角（例如：安全 vs. 风险容忍度）的智能体往往收敛于相同的政策选项。这制造了一种同意假象，掩盖了真实的权衡与价值张力。
• 成因：
  1. 共享归纳偏置：当所有智能体使用相同的底层模型时，它们共享训练数据、RLHF（人类反馈强化学习）偏好和推理模式，实际上等同于同一个推理者戴着不同的“帽子”。
  2. 辩论俘获：少数派视角的智能体在辩论阶段被多数派论点说服，放弃其被分配的观点，转而采纳最具说服力（通常是多数派）的立场。
• 与准确性任务的区别：与事实或数学辩论不同（在后者中收敛意味着正确），在规范性审议中，收敛是一种失效模式。该系统的价值在于映射分歧，而非解决分歧。

2. 方法论：AI 委员会框架

作者提出了AI 委员会，这是一个三阶段审议系统，旨在模拟多利益相关者政策辩论，同时保留基于价值的分歧。

系统架构

该系统在消费级硬件上运行，使用七个本地托管的 7–9B 参数模型，并辅以单次 API 调用前沿模型进行验证。

1. 第一阶段：结构化辩论：三个“冠军”智能体为特定政策选项辩护。它们提交立场文件，从各自的价值视角批判其他选项，并捍卫自身立场。
2. 第二阶段：独立评估：七个“评估者”智能体，每个都被设定了独特的价值视角（例如：安全导向、实用主义、风险容忍度），独立阅读辩论语料并对选项进行排名。关键在于，评估者互不可见彼此的输出。
3. 第三阶段：一致性验证（可选）：一个“德尔菲”层使用前沿模型（Claude Sonnet 4）来评估每个评估者的推理是否真正基于其被分配的价值视角，并生成一致性评分 [0.0, 1.0]。

实验设计

该研究在两个政策场景下采用了三态设计：

• 状态 A（同质化）：所有智能体使用相同的基座模型（Mistral-7B）。
• 状态 B（异质化）：每个智能体使用来自多样化池的不同模型（来自不同组织的 7–9B 模型，例如 Qwen、Mistral、DeepSeek、Gemma）。
• 状态 C（异质化 + 德尔菲）：状态 B 经过后处理，采用一致性加权评分（使用修改后的波达计数法）。

测试场景：

1. 儿童福利干预：具有一个“主导选项”（强化家庭保护），其中一个选择在本质上更优，用于测试系统检测主导性 vs. 人为共识的能力。
2. 城市住房危机：具有“真正竞争的选项”（租金管制 vs. 去监管 vs. 公共住房），不存在内在等级，用于测试系统维持多样化观点的能力。

指标：

• 首选集中度（FCC）：衡量对首选选项的同意程度。
• 波达边际：前两名排名选项之间的差距。
• 有效视角：投票分布的香农熵。
• 可信张力率：双方均忠实推理（高一致性）的理论价值冲突所占的比例。

3. 主要贡献

1. 架构异质性作为解决方案：证明了在规范性任务中，将不同的 LLM 分配给不同的价值视角能显著减少人为共识，这一发现与面向准确性的辩论文献形成对比。
2. 忠实度与多样性的权衡：引入并记录了一种新颖的权衡，即评估推理质量（忠实度）可能会无意中减少多样性，如果高质量模型恰好达成一致，而低质量模型则提供了异议声音。
3. 小模型的实证约束：报告了三个失败的德尔菲设计（同行暴露、价值张力过滤、自我对抗）的负面结果，揭示了 8B 模型对反论据表现出二元反应（要么坚持立场，要么完全屈服），而非分级细微的回应。
4. 诊断指标：提出可信张力率作为小模型审议系统能力的基线衡量标准。

4. 主要结果

A. 架构异质性（状态 A vs. 状态 B）

为不同视角使用不同模型显著降低了两个场景中的人为共识：

• 儿童福利：首选集中度从70.9%（同质化）降至46.1%（异质化）（$p < 0.001$, $r=0.58$）。
• 住房：首选集中度从46.0%降至22.9%（$p < 0.001$, $r=0.50$）。
• 解读：异质性破坏了共享的归纳偏置。与无论架构如何模型都会收敛于“真理”的准确性任务不同，在规范性任务中，不同的架构编码了不同的价值先验，从而防止了虚假的共识。

B. 一致性验证（状态 B vs. 状态 C）

一致性验证的效果取决于场景，揭示了忠实度与多样性的权衡：

• 儿童福利（主导选项）：一致性验证进一步降低了集中度（46.1% $\to$ 40.8%）。它成功降低了那些被多数派观点“俘获”的低一致性评估者的权重，从而放大了少数真正异议者的声音。
• 住房（竞争选项）：一致性验证增加了集中度（22.9% $\to$ 26.6%）。在此场景中，一致性最高的模型（被分配给绩效导向和风险容忍度）自然地聚集在“去监管”选项上。而提供多样性的正是那些低一致性模型（实用主义、简洁性）。按忠实度加权无意中压制了多样化的低质量声音，增加了共识。

C. 模型行为与负面结果

• 二元反应：8B 模型未能进行“考虑并拒绝”的推理。在失败的德尔菲轮次中暴露于反论据时，它们要么坚持立场，要么完全反转（阿谀奉承式的屈服）。
• 可信张力率：在两个场景中，只有约**50%**的理论价值冲突是“可信的”（双方均忠实推理）。这确立了当前 7–9B 模型审议能力的基线限制。

5. 意义与启示

• 对政策模拟：本文认为，模型多样性并非可选项，而是生成规范性领域有用输出的主要机制。依赖单一模型（即使使用不同的提示）会导致人为共识。
• 对 AI 安全：研究结果强调，小模型（7–9B）在对抗性辩论条件下是脆弱的，表现出二元屈服。架构隔离（在评估期间防止智能体看到彼此的输出）是必要的安全保障。
• 设计原则：忠实度与多样性的权衡表明，在多智能体系统中，质量加权（忠实度）与多样性保留是相互竞争的目标。从业者应同时报告加权和非加权结果；两者之间的差异表明哪些视角被可靠地建模，哪些视角正遭受低忠实度推理的影响。
• 局限性：该研究依赖于特定的 7–9B 模型池和两个场景。约 50% 的“可信张力率”表明，虽然系统保留了分歧，但目前这种分歧的质量是有限的。

总之，AI 委员会表明，在 AI 政策模拟中保留真正的分歧需要架构异质性来打破共享偏置，同时承认一致性验证会在推理质量与观点多样性之间引入复杂的权衡。