From Democracies to Autocracies: How AI Systems Enable Authoritarianism by Design

想象一下你有一个工具箱。里面装有电钻和锯子之类的动力工具。通常，我们认为这些工具是中性的；电钻可以用来盖房子，也可以用来破门而入，这取决于谁拿着它以及如何使用它。

这篇论文指出，随着**人工智能（AI）**的发展，这个“电钻”本身正在被赋予一种特定的设计，使得无论谁拿着它，它都变得更容易破门，且更难被阻止。作者是来自哈佛大学和牛津大学的研究人员，他们研究了在包括美国、英国、中国和俄罗斯在内的不同国家使用的六种不同的 AI 系统。他们想看看这些工具是否仅仅在“坏”国家（独裁政权）才具有危险性，还是也能让“好”国家（民主国家）也变成一个被监视和控制的地方。

以下是利用简单类比对他们研究结果的解读：

1. 核心发现：不仅仅是“坏人”的问题

论文中最令人惊讶的发现是，威权主义（通过恐惧和监视来控制民众的行为）并不只是“邪恶”独裁政权的特征。

这就像是一辆超速行驶的汽车。你可能会认为只有危险社区里的鲁莽司机才会超速。但本文表明，即使是安全、富裕郊区里的谨慎驾驶者，如果汽车的定速巡航设置得太高、刹车太弱且无视限速标志，最终也会超速。汽车的“设计”（AI 系统）与“驾驶员”（政府）同样重要。

作者发现，同样的“危险特征”出现在民主国家（如美国和英国）和独裁国家（如中国和俄罗斯）中。

2. 六大“危险区”（AI 如何实现控制）

研究人员确定了这些 AI 系统作为“控制工具包”运作的六种方式。以下是它们的运作原理及类比：

• 强制能力（大棒）：
  • 定义： 轻松使用武力或武力威胁的能力。
  • 类比： 想象一名保安，只需按下一个按钮就能召唤特警队。在 Lavender 系统（用于以色列军方）的案例中，AI 帮助识别空袭目标。由于该系统与武器集成且误差率较高，它降低了使用致命武力的“门槛”。它让触发暴力变得更加容易。
• 问责制侵蚀（隐形之手）：
  • 定义： 让人们难以在出错时确定谁该负责。
  • 类比： 想象一场“烫手山芋”的游戏，而这个山芋就是错误。如果英国的一名警察使用实时人脸识别车并错误地拦截了某人，警察可以说：“是电脑让我这么做的”，而公司可以说：“我们只是卖了这款软件。”没有人承担责任。该系统的设计使得责任在混乱中消失了。
• 象征性保障（假安全带）：
  • 定义： 拥有纸面上看起来很好，但实际上不起作用的规则。
  • 类比： 就像一辆车配备了安全带，但扣环是坏的。Lavender 系统有一条规则，要求人类在攻击前必须检查目标。但报告显示，人类仅进行 20 秒的检查，仅仅足够去勾选一个选项。这种“保障”虽然存在，但只是个幌子。
• 信息控制（单向镜）：
  • 定义： 政府了解关于你的所有信息，而你对他们一无所知。
  • 类比： 想象一个巨大的图书馆，管理员可以阅读你查阅过的每一本书、写的每一条笔记，甚至是你每次去洗手间的记录，但你却看不见管理员在他们的日志里写了什么。中国的 IJOP 系统通过结合警务数据、医疗记录、水电费账单甚至二手车交易数据，构建了一个人的完整生活图景。
• 预判性镇压（水晶球）：
  • 定义： 在人们还没做任何错事之前，仅仅因为 AI 认为他们“可能”会做，就对其进行惩罚。
  • 类比： 想象一个夜店保镖，因为你看起来“可疑”或者最近更换了电话号码就把你赶出去，尽管你还没有违反任何规则。俄罗斯的 Sfera 系统利用人脸识别，基于人们“可能”举行抗议的设想，在抗议发生前就进行逮捕。
• 边界控制（“我们 vs 他们”的墙）：
  • 定义： 创建数字分类，将某些群体视为不够人性化或不够安全的群体。
  • 类比： 想象一个照片 App 上的滤镜，它会自动模糊掉带有特定口音或肤色的人，并将他们标记为“风险”。IJOP 系统专门针对维吾尔族穆斯林，而荷兰的 SlimmeCheck 系统被发现比对待当地公民更频繁地将非荷兰籍公民标记为福利欺诈。AI 学会了将某些群体视为“敌人”。

3. 系统崩溃的两种方式：中心化 vs 分散化

论文提出了一个非常重要的观点，即这些系统是如何组织的。

• 中心化系统（大老板）：
  • 例子： 中国的 IJOP 或俄罗斯的 Sfera。
  • 运作方式： 一个庞大的权威控制一切。
  • 风险： 这就像一座巨大的水坝。如果水坝决堤，整个山谷都会被淹没。因为一个群体掌握了所有的权力，所以能说“停下”的人寥寥无几。
• 分散化系统（蜂群）：
  • 例子： 美国境内的 FlockSafety。
  • 运作方式： 这是一个由数千个不同社区、企业和警察部门拥有的车牌摄像头网络。
  • 风险： 这就像一群蜜蜂。你无法通过杀死一只蜜蜂来阻止整个蜂群。因为系统是分散的，没有一个人在掌控全局。如果一个社区协会滥用了摄像头，由于没有一个可以被解雇的中央“老板”来监管，很难对其进行规制。论文认为，这种“蜂群”模式实际上比“大老板”模式更难控制，因为责任被极度稀释了。

4. “生命周期”问题

作者表示，我们通常看 AI 时会问：“数学够聪明吗？”（模型）。他们认为我们应该问：“这个工具是如何被制造、销售和使用的？”（生命周期）。

他们对比了跨越 10 个阶段的系统，从最初的想法到现状。他们发现，危险不仅在于最终产品，更在于过程中的选择：

• 谁购买了它？（通常是与政府合作的私营公司）。
• 它是如何测试的？（通常测试不足或根本没有测试）。
• 谁在监督监督者？（通常没有人）。

5. 总结

论文得出结论：由 AI 驱动的威权主义是一种设计选择，而非技术的必然结果。

并不是说 AI 本质上是“邪恶”的。而是开发者、政府和使用者做出了如下选择：

1. 将 AI 与过多的数据相连。
2. 忽视那些本应保护人们的规则。
3. 构建一旦启动就难以停止的系统。

作者警告说，这不仅仅是“坏”国家的问题。民主国家也面临风险，尤其是当它们为了“效率”或“安全”而使用这些工具，却没意识到自己正在慢慢建造一个笼子。他们敦促开发者在系统中内置“刹车”，并敦促政府在让汽车行驶之前，确保“安全带”确实有效。