Auditable Decision Models with Learned Abstention and Real-Time Steering
本文介绍了 EvaluatorDPT，这是一种有界决策控制模型，它学习主动放弃（待补充）而非强行做出预测，从而通过明确的不确定性路由和在大规模测试集上的强实证表现，实现可审计、受策略治理的 AI 决策。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你是一家繁忙工厂的经理。每天，工人们（即人工智能）都会递给你一叠请求，需要你来批准或驳回。过去，你强迫每位工人对每一份请求都盖上大大的绿色“通过”或红色“停止”印章，即使他们感到困惑、文件缺失或指令模糊。这导致了错误：有时工人猜了“通过”，结果你批准了一台危险的机器；有时工人猜了“停止”，结果你否决了一个完全可行的好主意。
本文介绍了一种新型工人和一套新的工厂规则手册。
新型工人：“三印章”人工智能
不再强迫对一切事项都盖“通过”或“停止”章，这种新的人工智能被训练使用三种印章：
- 是（通过）：“我有足够的证据批准此项。”
- 否（停止）：“我有足够的证据驳回此项。”
- 待定（留待审查）：“我不确定。证据薄弱、相互矛盾或缺失。我需要人类来审查此项。”
这里的核心创新在于，人工智能学会了何时说“待定”。它并非先猜测“是”或“否”，然后指望计算机事后说“等等，那个猜测不太靠谱”。相反，人工智能从一开始就被教导：“我不知道”是一个有效且重要的答案。它将不确定性视为一个特定类别，就像“是”或“否”一样。
工厂车间：它是如何运作的
将人工智能想象成繁忙十字路口的一位高度训练有素的交通指挥官。
- 输入：车辆（数据）带着目的地标志抵达。
- 决策：指挥官查看标志。
- 如果标志清晰且道路畅通，他们挥手放行（是）。
- 如果标志清晰但道路受阻，他们挥手让其退回（否）。
- 如果标志模糊、道路有雾或司机犹豫不决，指挥官不会猜测。他们会举起旗帜说：“停在那里，让主管来检查”（待定）。
本文表明，这种“待定”印章是在人工智能训练过程中习得的，而非事后作为安全网添加的。这意味着人工智能能更自然地识别出那些“有雾”的情况。
“方向盘”与“仪表盘”
本文还解释了人类如何在无需重写其“大脑”的情况下控制这种人工智能。
- 仪表盘（可审计性）：人工智能不仅给出答案，还提供一份完整的报告单。它展示了自身的置信度、过去在何处感到困惑，以及具体的测试方式。这就像为人工智能配备了一个黑匣子飞行记录仪，因此一旦发生问题，你可以确切地看到发生了什么。
- 方向盘（实时控制）：想象你是工厂经理。如果是雨天（高风险），你可以转动旋钮使人工智能更加谨慎。你可以指示它：“如果你哪怕有 10% 的不确定，就将其送入‘待定’堆。”如果是晴天（低风险），你可以转动旋钮使其更加激进。你可以即时更改这些规则，而无需重新训练人工智能。人工智能提供选项；你制定政策。
结果：它有多好？
研究人员在大量练习题（约 44,600 个示例）上测试了该系统。
- 得分：人工智能整体正确率约为 82.6%。
- 细分：
- 在应说“否”时表现非常出色（准确率 84.9%）。
- 在说“是”方面表现良好（准确率 83.1%）。
- 在说“我需要帮助”方面表现尚可（准确率 79.6%）。
- 对比：如果强迫人工智能仅说“是”或“否”（移除“待定”选项），其性能将暴跌至 49.5%。这证明拥有“我不知道”这一选项对于做出明智决策至关重要。
本文未声称的内容
重要的是要坚守本文实际所述的内容：
- 它不声称这种人工智能能解决世界上的每一个问题，或完全取代人类判断。
- 它不声称人工智能在理解情感方面完美无缺（本次测试中，系统的“情感”部分已关闭）。
- 它不声称无需额外测试即可立即适用于每个特定行业（如医院或银行）。
- 它不承诺人工智能永远不会犯错。
核心结论
本文提出了一种工具，旨在使人工智能的决策更加安全和透明。与其强迫人工智能在不确定时进行猜测，不如赋予人工智能说“我需要人类来检查此项”的权限。同时，它还为人类提供了一个清晰的仪表盘，以观察人工智能的思考过程，并提供一个方向盘来调整人工智能应有多谨慎，同时保留每项决策的详细记录以供审查。这标志着从“盲目猜测”向“受控的、可审计的决策”的转变。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。