AI, Trust, and Teaming: The Humans-as-Handlers Approach for Autonomous and Opaque AI Systems
本文认为，对于高风险、自主且不透明的人工智能系统，人类应被重新构想为“训兽师”而非仅仅是“使用者”——这一类比借鉴自人与动物的关系，它明确了责任界限并培养了信任，最终引导人机团队走向真正的协作。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
核心理念：停止做“使用者”，开始做“训导员”
想象你正在驾驶一辆汽车。你是使用者。你转动钥匙，踩下油门，汽车就会完全按照你的指令行动。如果车坏了，你知道那是机械故障。
现在，想象你正在公园里遛狗。你是训导员。这只狗很聪明，受过训练，通常会听从你的命令。但它也是一个独立的生命体。它可能会闻到有趣的味道，可能会受惊，或者即使你叫它“坐下”，它也会决定去追逐一只松鼠。你不能仅仅把狗当作一种“工具”来“使用”；你必须与它协作。你必须了解它的性格、怪癖，以及它何时可能会脱离控制。
作者的核心论点：
随着人工智能（AI）变得越来越聪明、越来越快、也越来越神秘（不透明），我们不能再把它当作简单的汽车或计算器来对待。在医疗和战争等失误可能导致生命的生命攸关领域，我们需要停止将人类视为 AI 的“使用者”，而要开始将他们视为 AI 的**“训导员”**，就像我们训导狗一样。
为什么旧的方法行不通
目前，我们试图通过要求透明度来信任 AI。我们希望看到“代码”或获得关于 AI 如何做出决策的解释。作者认为，这就像试图通过阅读大脑扫描图来理解一只狗一样。这行不通。
- “黑箱”问题： 先进的 AI 通常是一个“黑箱”。我们知道输入了什么（数据），也知道输出了什么（决策），但我们看不见中间混乱的过程。
- 狗的比喻： 你不需要了解你家狗的大脑确切的化学反应，就能知道如果它看到猫，它可能会跳起来。你知道这一点是因为你拥有熟悉感。你曾和它一起走过成百上千次。你有一种“直觉”，能感觉到它什么时候会表现失常。
论文声称，对于危险的 AI，熟悉感比透明度更重要。你需要如此深入地了解 AI 的“个性”和极限，以至于在错误真正发生之前，你就能察觉到异样。
“狗”的比喻：好与坏
作者建议我们模仿士兵如何与作战犬合作，来建立我们与 AI 的关系。
比喻适用之处（好的部分）：
- 共同训练： 正如士兵通过数月的训练与狗建立纽带，人类也应该参与到 AI 的训练过程中，而不仅仅是拿到成品。
- 了解极限： 训导员知道狗可能会被巨大的响声吓到。人类训导员需要知道，AI 可能会被特定类型的天气或奇怪的数据模式搞糊涂。
- 责任归属： 如果一只作战犬咬错了人，责任在于训导员，而不是狗。同样，如果 AI 犯了错，人类“训导员”承担责任。这理清了关于谁该负责的困惑（即“责任鸿沟”问题）。
比喻失效之处（坏的部分）：
- 没有情感： 狗有感情；它们会害怕或兴奋。AI 没有。它没有“心”。
- 不要过度依恋： 士兵接受的教育是作战犬是可替换的资产。如果一只狗在战斗中牺牲了，虽然令人悲痛，但任务必须继续。如果人类对他们的 AI 产生了过度的情感依恋（像对待宠物一样），他们可能会在必要时犹豫是否要关闭或牺牲它。论文警告我们，不要把 AI 当作心爱的宠物，而要将其视为高度专业、独立的合作伙伴。
解决方案：一个协作团队
论文提出了一种思考人类-AI 团队的新方式：
- 停止使用“使用”这个词： 我们不是在“使用”一把锤子。我们是在与一个伙伴进行“协作”。
- “训导员”心态： 人类必须对 AI 有着深刻的熟悉感。他们需要知道 AI 在何时可能失效的“直觉”。
- 信任建立在经验而非解释之上： 你信任一只狗不是因为你理解它的生物学，而是因为你曾与它共事。我们需要通过共同的经验和训练，而不是仅仅通过阅读技术手册，来建立这种同类的信任。
总结
在战争或手术等危险工作中，我们不能在采取行动之前等待 AI 解释其决策。我们需要的是拥有深刻、直觉性“感觉”的人类。通过将 AI 视为我们训导的狗，而非我们使用的工具，我们可以确保：
- 人类对结果承担全部责任。
- 人类能准确判断何时介入并阻止 AI 犯错。
- 我们建立了一个人类与机器共同朝着目标努力的团队，而不仅仅是人类在按按钮。
作者总结道，在我们完成从“使用者”到“训导员”的心态转变之前，我们是在对那些我们并不真正理解的系统进行一场危险的豪赌。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。