Waiting, judgment, and responsibility: lessons from divination for human oversight of irreversible decisions
本文借鉴古代中国占卜文献《易经》，提出了一个针对不可逆人工智能决策进行人类监督的框架，该框架在收集额外证据的价值与获得心理慰藉的益处之间取得了平衡，证明了通过提供相关数据、解释性指导以及独立的补偿机制，可以在优化决策结果的同时，减轻焦虑感并缓解对责备的恐惧。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在人工智能的高风险世界中，一个日益增长的担忧是：人类如何才能有效地监督那些做出不可逆转决策的机器。当软件代理提议转账、删除关键文件或发布新代码时，处于“人在回路”中的人类面临着一项艰巨的任务：他们必须决定是否信任机器的建议，而此时往往面临着快速响应的压力。这种情况造成了“责任鸿沟”，即如果出了问题，很难明确谁该承担责任。人们常常会对等待更多信息感到焦虑，或者担心因错误的结果而被追责，这导致他们要么行动过于仓促，要么过早放弃。研究人员早已知道，等待更好的证据可以改善决策，而且决策框架的方式可以改变人们对风险的感觉。问题在于，如何设计监督系统，既能帮助人们做出更好的选择，又不会让他们陷入恐惧或过度自信的循环之中。
由来自包括加州大学伯克利分校和杜克大学在内的机构的 Junzhe Shi 及其同事开展的一项新研究，通过观察一种古老的实践——咨询《易经》来探索这些动态。几个世纪以来，人们一直利用这部典籍来指导重大人生决策，例如是否发动战争或搬迁新居。研究人员注意到，传统的《易经》咨询过程提供了现代 AI 审批提示所缺乏的三项具体特征：在给出答案前必须进行的停顿、需要进行解释而非简单的“是”或“否”的答案，以及一种认为判词具有独立于人类自身偏见之外的权威感的意识。该团队构建了一个计算机模拟实验，以测试这些特征如何帮助现代用户在处理 AI 代理时做出更好的决策。
研究人员创建了一个包含四种不同类型人群的模型，他们在面对一个结果可能好也可能坏但真相隐藏的情况时进行决策。第一类是“校准型”的人，他们能完美地权衡证据。第二类是“过度自信型”的人，他们将最初获得的线索看得比实际情况要重要得多。第三类是“焦虑型”的人，他们觉得等待更多信息的过程在生理和心理上都极其耗竭。第四类是“恐惧型”的人，他们害怕如果采取行动却导致失败会被追责。在模拟中，这些人必须决定是采取行动（可能成功也可能失败），还是完全放弃。研究人员发现，过度自信的人往往会根据错误的信息行动得太快，而焦虑型和恐惧型的人则因为停止检查过早或因害怕行动而错失了许多良机。
研究还测试了当系统强制要求这些人等待两份额外的证据后再做决定时会发生什么。对于过度自信的人来说，这种强制性的停顿是救命稻招。它阻止了他们基于“幻象模式”（即看似规律实则只是偶然现象的运气好转）而采取行动。在模拟中，要求进行这些额外的检查将过度自信者在糟糕情况下的错误决策率从 4.5% 降低到了 2.1%。然而，对于那些已经在正确权衡证据的人来说，这种额外的等待是一种浪费时间，并使他们损失了一小部分潜在收益。这表明，强制性检查对于那些倾向于匆忙行事的人最为有用，但对于那些已经足够谨慎的人来说却是一种负担。
随后，研究人员测试了“宽慰”的效果。在古代实践中，神谕可能会承诺“无咎”（不被责备），或者随机的判词会说“行”或“待”。在模拟中，研究人员模拟了一个向焦虑者说“待”、向恐惧者说“行”的系统，从而有效地减轻了他们对等待成本或失败成本的恐惧。这种简单的宽慰帮助了焦虑的人坚持更长时间的过程，并帮助恐惧的人在证据充足时采取行动。对于恐惧的人来说，当被告知“行”时，错失机会的比例从 13.8% 下降到了 2.7%。然而，研究提出了一个至关重要的警告：如果人们将这种宽慰视为关于世界的新证据，而非仅仅是一种缓解情绪的方式，那么它实际上会让决策变得更糟。只有当宽慰能够减轻情感压力而不改变其对事实的认知时，其益处才会显现。
当研究人员将这两种方法结合起来——强制停顿以获取证据，并提供宽慰以缓解焦虑——他们发现了一种强大的提升作用。在一个混合人群中，这种结合的方法显著减少了错误决策和错失机会的情况，提高了整个群体的成功率。研究表明，向所有人提供这种保护，而不是只随机挑选对象，其效果与随机选择相当，但更加一致。关键在于，系统提供了一条清晰的收集事实的路径，同时保护决策者免受因担心被追责而产生的瘫痪性恐惧。
作者将这些发现应用于现代 AI 监督问题。他们设想了一个 AI 代理建议向新房东转账的场景。如果系统只是询问“是”或“否”，而不展示代理是如何得出该结论的，用户很可能会要么盲目信任，要么因恐惧而拒绝。研究表明，更好的系统应该要求用户查看代理收集的证据，并且在允许执行操作之前，或许可以进行几次独立的额外检查。它还建议，使用 AI 的组织应当有一套明确的政策：如果用户遵循了规则并检查了证据，但行动最终失败了，组织应当补偿损失，而不是责备用户。这种将决策过程与结果分离的做法，可以让人们更有信心。
论文总结道，有效的监督不仅仅是让人按下按钮。它需要一种结构，既能强制进行证据停顿，又能提供解释计划的方式，并为遵循规则的人提供安全网。通过学习《易经》中关于等待、判断与宽慰的古老平衡，我们可以设计出能够帮助人类在面对不可逆转后果的世界时，做出更明智、更负责任选择的 AI 系统。模拟显示，当我们赋予人们管理焦虑和过度自信的正确工具时，他们能够以更高的成功率应对复杂决策。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。