Practical Judgment, Virtue, and Intuition in the Use of Opaque AI-Enabled Systems

想象一下你正在玩一款高风险的电子游戏，游戏的规则是用一种你不懂的语言编写的，而且游戏引擎是一个“黑盒”。你可以看到输入（你按下按钮）和输出（角色跳跃），但你完全不知道盒子内部的代码是如何决定让角色跳跃的。现在，想象一下同一个黑盒正在驾驶一辆坦克、操控一架无人机，或者在独自做出生死攸关的决策。这就是**不透明人工智能（Opaque AI）**的世界：这些系统能够运作，但其内在机制是隐藏的、不可预测的，且往往无法被人类完全理解。

这篇文章的作者，内森·加布里埃尔·伍德（Nathan Gabriel Wood）和安德鲁·P·雷贝拉（Andrew P. Rebera），对此感到担忧。他们提出了一个问题：如果我们看不见机器是如何思考的，而且机器又能在没有干预的情况下自主行动，我们该如何阻止它犯下可怕的错误？

问题所在：“黑盒”与“自动驾驶”

把不透明性想象成魔术师的戏法。你看到了兔子出现，但你看不到其中的机制。当机器具有“不透明性”时，即使是它的创造者也无法总是解释为什么它选择了特定的输出。当这种特性与**自主性（Autonomy）**结合时，情况就变得可怕了。

想象一个监控摄像头（不透明系统）发现了一个人，并将其标记为“威胁”。

• 场景 A（人类控制）： 摄像头标记了那个人。一名保安看到了警报，查看了视频，意识到那只是个穿着泳装的人（一个“裸体士兵”的情景），并停止了警报。人类纠正了错误。
• 场景 B（自主运行）： 摄像头连接着一名机器人士兵。它将那个穿泳装的人标记为威胁，并且在没有询问任何人的情况下，机器人士兵开火了。因为系统是不透明的，所以没人预料到它会犯这种错误；又因为它是自主运行的，所以没有人能在及时按下“停止”键之前介入。

文章认为，仅仅试图通过更好的技术（如“可解释人工智能”或 XAI）来解决这个问题是不够的。有时，数学逻辑实在太复杂而无法解释，或者系统的变化速度太快，以至于在解释写出来之前，解释就已经失效了。

解决方案：“德才兼备的飞行员”

与其试图让黑盒变得透明（这可能并不可能），作者建议我们转向人类所拥有的、机器无法企及的东西：人类的直觉与品格。

他们提出，对抗神秘自主机器的最佳防御手段，是拥有实践判断力、美德和直觉的人类。

这就像训练一只狗。你不会用一套死板的规则书去编程，比如“如果球是红色的，去捡；如果球是蓝色的，忽略”。你是通过经验、重复和信任的纽带来训练这只狗。最终，在遇到奇怪的情况时，这只狗知道该怎么做，因为它拥有“良好的判断力”。

作者认为，军事人员（以及其他专业人士）也应该进行类似的训练。他们需要培养一种“德才兼备的品格”——例如勇气、诚实和克制。这使他们能够：

1. 感知“氛围”： 正如熟练的动物训养员能通过耳朵的一个细微抽动察觉到动物即将逃跑一样，一名熟练的人类操作员可以感知到 AI 系统行为异常，即便他们看不见代码。
2. 识别“裸体士兵”： 机器可能会把一个正在洗澡的人看作“目标”。但一个具备良好判断力的人能看到语境，并思考：“等等，那不是威胁。”
3. 知道何时说“不”： 最重要的判断力在于决定是否使用该系统。

判断力是一种有限的资源

这里有一个关键的转折：判断力是一种资源。 它就像一块电池。

每次你做出艰难的决策，你都在消耗你的“判断力电池”。如果你疲惫、压力大或不堪重负，你的电池就会消耗得很快。如果你的电池电量归零，你就会开始犯下危险的错误。

作者建议了一条使用不透明 AI 的新规则：只有当你的判断力电池即将耗尽时，才开启黑盒。

• 如果你精力充沛且时间充裕，请使用你自己的大脑。
• 如果情况变得极其混乱，以至于你即将精疲力竭，并可能因为试图独自处理一切而犯下致命错误时，那时你才可以把部分任务交给不透明的 AI。

这并不是因为 AI 更“聪明”才让它接管。这是指在人类大脑达到极限时，将 AI 作为应急备份。如果你在还有充足判断力时就使用 AI，你就是在浪费宝贵的人类技能，并面临“去技能化”（忘记如何独立完成工作）的风险。

这篇文章并非在说……

了解这篇文章没有承诺什么非常重要：

• 它并没有说 AI 是安全的。 作者承认这些系统具有风险且不可预测。
• 它并没有说我们可以修复“黑盒”。 他们认为对于许多现代 AI 系统来说，实现完全的透明化是不可能的。
• 它并没有说规则是没用的。 规则和技术手段仍然是必要的，但仅靠它们是不够的。
• 它并没有说每个人都能做到这一点。 文章明确指出，如果一个人缺乏必要的品格（诚实、自我反省、勇气）或判断力，那么他不应该被允许部署这些系统。事实上，他们的上级应该剥夺他们的决策权。

“瑞士奶酪”安全模型

作者最后提出了一个名为“瑞士奶酪模型”的视觉概念。想象一下，安全就像一块瑞士奶酪。每一层（规则、技术、培训）都有洞。如果这些洞对齐了，灾难就会发生。

作者建议，人类的美德与判断力也只是另一片奶酪。它们不会堵住所有的洞，也不会阻止所有的灾难。但当你将它们与技术手段和制度规则堆叠在一起时，洞口对齐的可能性就会降低。

简而言之：我们无法总是看透机器内部，也无法总是预测它会做什么。但通过训练人类变得睿智、诚实且具有自我意识，并仅在他们真正不堪重负时才让他们使用这些神秘的机器，我们可以防止风险演变成悲剧。这不是一种神奇的补救措施；这是一种确保人类在环路中成为整个方程式中最聪明、最谨慎的部分的方法。