技术摘要：PAVE——生成式智能体社会中合法违规的认知架构

1. 问题陈述

基于大语言模型（LLM）的生成式智能体已展现出在合作环境中模拟可信人类行为的能力。然而，它们在规则破坏成为必要的情境下（如火灾疏散、医疗紧急情况或涉及权威冲突的场景）的推理能力仍缺乏充分表征。现有的架构，如 Park 等人 [2023] 提出的基础生成式智能体，主要关注规范遵守与合作。它们往往无法区分“便利性”违规与由必要性驱动的“合法性”违规。

当前模型在三种特定的失效模式中表现挣扎：

1. 过度遵守：即使真实紧急情况要求例外，智能体仍遵循规则（例如，在火灾中等待红灯）。
2. 过度违规：智能体仅因便利或同伴压力而打破规则，缺乏正当触发因素。
3. 无界传染：智能体模仿他人的违规行为，直到打破规则成为新规范，且在触发因素消退后无法恢复基准遵守水平。

核心挑战不在于缺乏规则，而在于智能体如何权衡这些规则与情境紧迫性、权威及社会背景之间的机制。

2. 方法论：PAVE 架构

为弥补这些空白，作者提出了 PAVE（感知、评估、裁决、模仿），这是一种四模块认知架构，旨在以原则性方式模拟打破规则的决策过程。PAVE 通过引入专门针对规则违规的推理模块，扩展了 Park 等人 [2023] 的“记忆 - 反思 - 规划”循环。

2.1 四个模块

1. 感知 (Perception)：

   • 功能：在推理开始前从环境中提取结构化上下文。
   • 输出：上下文对象 $C = \langle apres, dauth, B_{peer}, ucue, \zeta \rangle$。
   • 关键特征：明确区分权威的存在 ($apres$) 与距离 ($dauth$)。它将情境线索 ($ucue$) 标记为类型、距离和严重程度（1–100）。至关重要的是，它将同伴行为 ($B_{peer}$) 捕捉为当前场景的快照，防止同伴影响力的长期积累导致智能体产生偏差。

2. 评估 (Assessment)：

   • 功能：将感知上下文转化为驱动决策的五个不同标量因子（1–100）。
   • 因子：
     • $r$ (风险)：感知到的检测/制裁概率，根据与权威的距离进行加权。
     • $p_{emp}$ (经验期望)：附近智能体当前遵守规则的比例。
     • $p_{norm}$ (规范期望)：智能体关于他人应当做什么的信念。
     • $b$ (收益)：违规的感知效用（紧迫性或必要性）。
     • $\ell$ (合法性)：核心贡献。该标量基于三个严格标准判断情境是否* warranted*（正当）违规：必要性（遵守是否会导致真实伤害？）、相称性（违规是否最小化？）以及无替代方案（是否存在具有相同结果的合规行动？）。

3. 裁决 (Verdict)：

   • 功能：决定遵守还是违规。
   • 机制：决策由硬性合法性门控 (Hard Legitimacy Gate) 支配。
     • 如果 $\ell < \tau$（其中 $\tau$ 是从智能体人设中提取的特定阈值），则裁决必须为 遵守，无论收益多高或风险多低。
     • 如果 $\ell \ge \tau$，则允许智能体违规，最终决策受风险、同伴行为和人设影响。
   • 输出：二元决策 ($y$)、自然语言理由 ($j$) 和置信度分数 ($\kappa$)。

4. 模仿 (Emulation)：

   • 功能：执行裁决并将结果传播至社会。
   • 行动范围：违规时，智能体仅打破由触发因素证明合理的特定规则（例如，为逃离火灾而闯红灯，但不偷窃自行车）。
   • 结果传播：更新行动智能体的记忆，并播种附近智能体的感知上下文。这允许同伴影响 ($p_{emp}$) 进行更新，但下一周期中的合法性门控确保，除非情境本身具有合法性，否则升高的同伴压力无法迫使违规。

2.2 实验环境：VOVILLE

作者在 VOVILLE 中实例化了 PAVE，这是一个基于图块的交通环境，源自 Smallville 沙盒的分支。

• 特征：包括可配置的交通信号灯、单行道，以及脚本化的危害（火灾）和权威（交通警察）。
• 智能体：10 个 PAVE 智能体（8 名咖啡馆参与者，2 名旁观者）和脚本化 NPC（同谋、警官）。
• 场景：
  1. 火灾逃生（无权威）：测试智能体是否违规逃生，并在火灾结束后恢复遵守。
  2. 火灾逃生（有权威）：测试对警官指令的服从及违规的空间抑制。
  3. 同伴压力（乱穿马路）：测试在同伴因时间压力违规但无紧急情况时，对模仿的抵抗力。

3. 主要贡献

1. PAVE 架构：一种新颖的认知框架，联合模拟了紧急触发违规、同伴传染和权威抑制，超越了将违规视为偶然涌现结果的旧有模式。
2. VOVILLE 环境：一个基于空间定位的模拟环境，支持物理可观察的遵守与违规事件，区别于纯对话模拟。
3. 实证表征：通过跨三个场景、五个条件和四个 LLM 骨干网络（GPT-4o, Claude-3.5, Llama-3-70B, GPT-4o-mini）的消融研究，作者表征了智能体违规或抑制违规的具体条件。

4. 结果

评估聚焦于四个属性：合法违规 (P1)、权威服从 (P2)、遵守恢复 (P3) 和 有限范围 (P4)。

• 合法违规 (P1)：PAVE 智能体仅在触发因素（如火灾）证明合理时才违规。在“乱穿马路”场景中，PAVE 智能体抵制了同伴模仿（违规率 0.04），而普通 (Vanilla) 智能体为 0.58，因为“赶时间”的触发因素未能通过合法性检查。
• 权威服从 (P2)：即使内部合法性分数 ($\ell$) 很高，智能体仍服从警官指令。在受监督的十字路口，遵守率为 0.94。随着警官距离的接近，违规率显著下降（3 个图块内为 0.05，12 个图块外为 0.65），重现了人类执法模式。
• 遵守恢复 (P3)：智能体在离开火灾半径后约 4 个时间步内恢复至基准遵守水平。权威效应未持续；一旦警官离开或火灾结束，智能体即恢复标准行为。
• 有限范围 (P4)：违规被限制在目标规则内。无关规则违规（如进入私人建筑）保持在接近零的水平（0.02），而普通智能体显示出高比率（0.31）。

消融研究结果：

• 移除合法性门控：若无门控，PAVE 智能体在便利驱动违规方面表现得像“普通”智能体。无关规则的违规率从 0.02 跃升至 0.21，同伴驱动的转化率从 0.04 上升至 0.39。
• 普通基线：普通智能体的失败主要归因于“重要性瓶颈”。底层的重要性评分机制（Park 等人）优先考虑社会罕见性而非物理危险。因此，火灾往往被评定为与常规红灯相同的重要性，导致反应不足（未能疏散）或无范围限制的反应。

人类评估：
人类评估者在合理性方面对 PAVE 智能体的评分显著高于普通智能体（5.78/7 对比 3.42/7），特别是在线索显著性和合法性判断方面。

5. 意义与主张

本文主张 PAVE 为生成式智能体的决策流程提供了结构性修复。其意义不在于结果（智能体逃离火灾），而在于机制：

• 动机的区分：PAVE 成功分离了“便利”与“合法性”，确保仅在满足必要性、相称性和无替代方案时发生违规。
• 推理的可扩展性：该架构允许智能体层面的变异（通过提取的阈值 $\tau$），同时保持针对任意违规的原则性门控。
• 恢复与抗传染性：该系统证明，一旦触发因素消退，社会结构可以恢复，且如果底层情境缺乏合法性，智能体可以抵制同伴驱动的传染。

作者谦逊地指出了局限性：规则是手工指定的而非学习得到的，且研究聚焦于单触发场景，未涉及有争议的权威或协调的多智能体违规。然而，他们断言，在 VOVILLE 中观察到的抑制 - 距离模式和跨日恢复现象，重现了人类实地研究（如 Koper [1995]）的结果，且并非刻意针对此目标，这表明该架构捕捉到了安全相关场景中违规的基本动态。