The Foreign Policy AI Evaluation Gap
本文认为，外交政策权术中固有的独特结构复杂性和灾难性风险，使得迫切需要建立一个基于文献的研究议程，以开发一种需求侧评估框架，将高后果工作流分解为可评估的子任务，从而解决当前该领域在技术性人工智能治理方面的关键空白。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
大局观：在迷雾重重的战场上驾驶坦克
想象一下，你正在教一辆自动驾驶汽车如何开车。在普通的城市里，你可以在赛道上测试它，测量它的刹车速度，看看它是否撞到了锥桶。如果失败了，你只需重置车辆并再次尝试。
现在，想象这辆同样的自动驾驶汽车正被用来驾驶一辆坦克穿行于迷雾重重的战场。这里的规则每分钟都在变化，敌人正试图通过各种手段欺骗传感器的感知，而且一个微小的错误就可能引发核战争或导致饥荒。
这篇论文指出，我们目前正试图为这种“战场上的坦克”（作者称之为外交政策或国务管理）构建 AI，但我们使用的却是那些用于普通自动驾驶汽车的简单“城市驾驶”测试。作者认为这是危险的，因为这些测试与现实并不匹配，而且没有人进行密切观察来在错误发生前将其拦截。
为什么这如此困难？（三大难题）
论文解释了为什么外交政策在测试方面具有独特的难度，主要有三个原因：
地图缺失（无界动作空间）：
- 类比： 在像《外交》（Diplomacy）这样的策略游戏中，有既定的规则和棋盘。但在现实世界的外交政策中，没有棋盘。玩家本身就可以打破或改写“规则”。AI 必须在游戏规则本身都在发生变化的情况下，弄清楚该做什么。
- 问题： 你无法为 AI 写一份简单的清单，因为选项是无穷无尽的，且规则是流动的。
真相被掩盖（对抗性事实真相）：
- 类比： 想象你在玩扑克，其他玩家都在对你的牌撒谎，而且你看不见他们的脸。在外交政策中，国家经常隐藏其真实意图或对自己的目标进行伪装。
- 问题： AI 需要“真相”来学习。但在外交领域，“真相”往往是秘密或谎言。如果 AI 向谎言学习，它就会做出错误的决策。
没有统一的计分板（多维目标）：
- 类比： 在赛跑中，目标很简单：第一个冲过终点线。但在外交政策中，一个国家可能既想赢得贸易协议，又想维持盟友关系，同时还要避免战争，并确保国内选民不感到愤怒。这些目标往往是相互冲突的。
- 问题： 你如何给 AI 打分？它是赢得了贸易协议却输掉了战争吗？它是实现了和平却激怒了选民吗？不存在一个单一的“A+”分数来衡量成功。
研究中的“盲点”
作者研究了数千篇关于 AI 安全与治理的研究论文。他们发现了一个巨大的差距：
- 我们拥有的： 大量关于如何进行通用 AI 测试的研究（例如检查它是否能写诗或解决数学题）。
- 我们缺乏的： 几乎没有任何专门针对外交政策如何测试 AI 的研究。
他们发现，99.98% 的相关论文都集中在评估（仅仅测试模型的技能）上，而忽略了另外 50% 所需的内容：接入（获取用于测试的数据）、验证（证明其有效性）、安全性（防止黑客攻击）、操作化（人类实际如何使用它）以及生态系统监测（随时间观察整个系统）。
这就像是一个技师非常擅长检查机油（评估），但拒绝查看引擎盖下方、检查刹车，或者询问驾驶员在路上的实际感受一样。
提议的解决方案：“任务卡”而非“排行榜”
论文建议我们不要再试图创建一个巨大的“排行榜”来排名哪个 AI 是最好的“外交官”。相反，我们应该将外交政策分解为细小的、可管理的任务，就像厨师将一道复杂的菜肴分解为切菜、煎炒和摆盘一样。
他们提出了需求侧评估：
- 不要问： “这个 AI 擅长外交吗？”
- 要问： “这个 AI 能否帮助人类分析师找到特定条约条款中的正确证据？”或者“这个 AI 能否识别出冲突即将升级的信号？”
运作方式：
- 拆解： 将一个大型的外交政策工作流切割成一个个微小的、有边界的任务。
- 人类在环： AI 完成这项小任务（如起草一段话或寻找一个事实），但人类专家始终是做出最终决定并承担责任的人。
- 测试特定工作： 我们测试 AI 是否完成了那个特定的、微小的任务，而不是试图评判它的整体人格。
“影响声明”（为什么这很重要）
作者明确表示：他们不是在构建这些 AI 系统。他们是在为这些系统编写安全手册。
他们警告说，如果我们不修复如何测试这些系统的方法，我们可能会在无意中给政府提供一种非常擅长撒谎、操纵或引发冲突的工具，因为我们只在简单的虚假场景中测试过它。
核心观点：
我们正在把强大的、危险的工具（AI）交给管理着世界上最危险问题（战争与和平）的人，但我们还没有建立好安全护栏。这篇论文说：“不要试图一次性测试整个护栏。让我们为工作的每个部分构建小型、安全的挂钩，并确保人类始终握着绳索。”
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。