📈 economics

Scaling, Lock-In, and Proxy Compliance: A Political Economy of Responsible AI

本文提出了一个政治经济学模型，论证了转换成本和验证约束如何导致人工智能厂商通过仅满足可观测的审计阈值来达成“代理合规”，从而在实质性风险缓解不足的情况下进行操作，并提出了诸如独立审计、可移植性和结果挂钩的责任制等制度机制，以使激励机制与真正的安全性保持一致。

原作者： Florian A. D. Burnat, Brittany I. Davidson

发布于 2026-07-31

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Florian A. D. Burnat, Brittany I. Davidson

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，人工智能的世界就像一个巨大且繁忙的市场，各公司都在出售功能极其强大、却又隐形的机器人。这些机器人可以写故事、诊断疾病或驾驶汽车，但由于它们过于复杂，除了制造它们的公司的内部人员外，没有人能轻易看透其内部运作机制。这就是“算法审计”和“人工智能治理”的领域。长期以来，人们一直寄希望于只要公司承诺表现良好并展示出一些清单，这些机器人就会是安全的。但一群科学家和经济学家意识到，仅仅靠承诺是不够的；你需要证据。他们提出的重大问题是：为什么在机器人仍然会犯错的情况下，各公司仍不断展示出完美的清单？答案在于一种复杂的组合：更换不同机器人的难度、窥视机器人大脑的难度，以及卖出机器人的公司实际上对被抓包的恐惧程度。

这篇题为《规模化、锁定效应与代理合规》（Scaling, Lock-In, and Proxy Compliance）的论文深入探讨了这个谜题，并使用一个数学故事（模型）来解释为什么“看起来”负责往往比“实际”负责更容易。作者 Florian A. D. Burnat 和 Brittany I. Davidson 认为，我们正陷入一个被称为“代理合规”（proxy compliance）的陷阱。这种情况发生于：一家公司只做了足以通过基础检查（例如展示一份模型卡或安全清单）的工作，却并未真正解决导致伤害的深层、隐藏的问题。他们发现，这是因为一旦一家企业购买了一台机器人并围绕它构建了整个办公体系，日后要切换到另一台机器人的成本就会变得极其高昂且困难。这种“锁定效应”意味着买家无法在机器人表现不佳时以“离开”作为威胁。因为买家被困住了，他们便不再密切监视机器人。而因为买家不进行监视，机器人制造商便觉得只需完成最低限度的文书工作即可通过检查，即便机器人仍然具有危险性。

该论文使用了一个类似游戏的模拟过程，展示了这一过程是如何运作的。机器人制造商（供应商）选择隐藏或揭示多少关于其机器人的信息，以及投入多少精力使其安全。买家（部署者）则决定对机器人进行多少程度的监视。作者发现，如果买家被“锁定”（困在现有机器人上），他们就会减少监视。当监视减少时，机器人制造商就没有理由去真正修复机器人，因此他们只会在满足官方文书要求的基础上进行修复。其结果是，机器人虽然在纸面上看起来完美无瑕，但在现实生活中仍然存在风险。

然而，这篇论文也提供了一条出路。它建议，如果监管机构赋予独立专家无需经过公司许可即可窥视机器人“大脑”的权力，或者如果能让买家更容易地切换到其他机器人，权力的天平就会发生倾斜。如果买家知道自己可以离开，他们就会更密切地监视机器人，从而迫使制造商真正解决问题。作者还发现，如果公司应对机器人行为产生的“结果”承担法律责任（而非仅仅是是否填写了正确的表格），即使无人监视，他们也会被迫变得更加安全。

简而言之，这篇论文指出，“看起来很好”与“实际很好”之间的差距并非偶然；当规则允许公司钻空子时，这是公司的理性选择。解决方案不仅仅是更多的清单，而是改变规则，让公司无法躲在文书工作背后，并让买家不再被困在糟糕的机器人上。作者表明，通过结合适当的独立检查和更换供应商的自由，我们可以从“代理合规”转向真正的安全。

技术摘要：规模化、锁定效应与代理合规

问题陈述
本文探讨了负责任人工智能（Responsible AI）领域中的一个核心谜题：即可见的合规性（如模型卡、标准化评估、文档记录）与不足的实质性伤害缓解之间长期并存的现象。尽管欧盟《人工智能法案》（EU AI Act）等框架施加了广泛的文档义务，但反复出现的伤害和问责差距表明，组织可能会理性地选择“代理合规”（proxy compliance）——即产生可观察到的责任信号，却在实际风险降低方面的投入不足。作者认为，这不仅仅是伦理框架的失败，而是一个结构性的结果，具体表现为：供应商控制的证据生成、部署者切换成本（锁定效应）以及依赖可验证证据的执法机制之间的相互作用。

方法论
作者开发了一个涉及三个主体（AI 供应商、部署者和监管者）的序列政治经济博弈模型。该模型是静态且单供应商的，将规模和市场集中度视为制度背景而非内生变量。

时间线：
1. 供应商选择可审计性 ( $t$ ) 和实质性缓解措施 ( $e$ )。
2. 部署者观察这些选择，决定是否采用；若采用，则决定监控水平 ( $m$ )。采用过程会产生切换成本 ( $s$ )，代表锁定效应。
3. 伤害 ( $h$ ) 实现。证据生成的概率为 $p(t, m)$ ，取决于可审计性和监控水平。
4. 若发现可操作证据，则触发执法。
核心机制：
- 可审计性 ( $t$ )： 有助于满足采购底线，但也增加了被检测到的概率。
- 缓解措施 ( $e$ )： 直接降低伤害发生的概率。
- 锁定效应 ( $s$ )： 降低了部署者的有效追索权 ( $\delta_{eff}$ )，从而削弱了其监控的动机。
- 执法： 依赖于可验证的证据。供应商面临的处罚与检测概率 ( $p + \Delta$ ) 成正比，其中 $\Delta$ 代表独立的审计能力。
均衡概念： 作者求解了子博弈精炼均衡，其中供应商会预判部署者的监控反应。部署者仅在预期追索收益（降低伤害暴露）大于监控成本时才会进行监控，而这一计算过程深受切换成本的影响。

主要贡献

形式化定义“代理合规”： 本文将“代理合规”定义为一种均衡状态：即供应商达到了最低的可观察采购底线 ( $t^* = \bar{t}$ )，但选择的缓解措施 ( $e^*$ ) 严格低于社会帕累托最优 ( $e_{FB}$ )。这种情况发生在较高的切换成本抑制了部署者的监控行为，进而降低了供应商的预期执法风险，从而减少了其进行实质性缓解的动机。
内生监控： 不同于监控作为外生变量的模型，本框架允许供应商预判其缓解措施的选择如何影响部署者的监控强度。更高的缓解水平会降低残余伤害，这可能反过来降低部署者进行监控的动机，从而产生一种反馈循环。
政策杠杆分析： 作者推导了四种不同制度杠杆的比较静态分析：独立审计权、可移植性（降低切换成本）、事件报告以及基于结果的责任制。

结果
分析得出了唯一的内点均衡，并刻画了实现完全缓解（消除伤害的角点解）的条件。

命题 4.4（代理合规的存在性）： 在缺乏强力的独立检测 ( $\Delta = 0$ ) 且切换成本 ( $s$ ) 足够高的情况下，均衡会收敛于代理合规。当 $s \to \infty$ 时， $m^* \to 0$ ，且 $e^*$ 会降至仅由基准可审计性底线决定的水平，通常远低于社会最优水平。
命题 4.5（问责制）： 增加独立检测 ( $\Delta$ ) 或降低切换成本 ( $s$ ) 会提高均衡缓解水平。然而， $\Delta$ 的效果会被监控反应所削弱（随着缓解程度上升，监控程度下降），尽管它从未逆转这种正向影响。
定理 5.1（审计权）： 足够强大的独立审计权 ( $\Delta$ ) 可以消除代理合规并实现完全缓解 ( $e^* = e_{FB}$ )，无论锁定效应 ( $s$ ) 的水平如何。这是模型中最强大的单一杠杆。
命题 5.2（可移植性）： 降低切换成本通过恢复部署者的杠杆作用和监控动机，从而提高缓解水平。
命题 5.3（事件报告）： 强制报告创建了一个独立的证据渠道 ( $\mu\rho$ )，可以替代受供应商控制的访问权限，即使在可审计性较低的情况下也能提高缓解水平。
命题 5.4（基于结果的责任制）： 与实现伤害直接挂钩的责任制 ( $\lambda_{OFO}$ ) 能够独立于检测概率 $p(t, m)$ 来提高缓解水平，在验证机制薄弱时提供了一种稳健的激励。

意义与主张
本文声称提供了一个易于处理的制度解释，说明了为什么“可见的合规与有限的缓解可能作为理性选择而并存”。文章认为，可见责任信号与伤害减少之间的差距并非仅仅是执行层面的失败，而是由以下因素驱动的均衡结果：

供应商对证据的控制： 当供应商控制着生成可验证证据的基础设施（如 API 访问、日志）时，他们可以限制可审计性。
锁定效应： 高昂的切换成本削弱了部署者发挥约束机制的能力。
依赖证据的执法： 当处罚取决于检测到的证据而非实际结果时，如果可审计性的边际成本超过了预期处罚的边际增量，供应商就有动力最小化透明度。

作者强调，其模型是一个基准模型，而非声称任何单一治理工具都是充分的。他们提醒，审计独立性、报告覆盖范围和可靠制裁是这些机制发挥作用的前提条件。文章总结道，问责制既需要可验证性（获取证据的独立访问权），也需要行动力（部署者可靠的追索权）；若缺乏这些结构性支撑，仅靠程序性合规（文档记录）很可能导致持续的代理合规现象。

类似论文