Human-Centered AI in Crisis Counseling: A Three-Tier Governance Framework
本文提出了一种将以人为本的人工智能整合进危机辅导工作流的三层治理框架，该框架将人工智能定位为在严格的人类监督下的咨询支持工具，同时保留临床医生对所有关键自杀风险评估和临床决策的权威。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在危机干预这一高风险领域，专业人员面临着一种独特且令人精疲力竭的挑战。他们必须倾听处于极度绝望中的人们，且通常是通过电话或文字进行，并在短短几分钟内做出关乎生死的决定。这些辅导员接受过专门训练，能够识别细微的危险信号，提供即时的情感支持，并引导复杂的安全计划，同时还要应对繁重的文书工作和后续跟进任务。压力是巨大的；漏掉一个警告信号可能导致悲剧，而错误的应对方式则可能导致脆弱的人群完全脱离求助渠道。多年来，研究人员一直在探索人工智能是否可以通过语言模式来预测谁有自杀风险。然而，一种新的思考方式表明，仅仅让计算机预测风险是不够的。真正的问题不在于机器能否猜出危险，而在于如何安全地使用机器来支持人类辅导员，且绝不让机器“接管方向盘”。
Ambika Thangaraju 最近发表的一篇论文提出了一种回答该问题的方法。作者并没有构想一个由计算机做出艰难决定的未来，而是概述了一个三层架构系统，旨在通过让技术处理繁重的行政工作，同时确保人类判断始终处于主导地位。该框架将人工智能视为一个在严格监督下工作的、高度组织化的助手，而非医生或决策者。其核心思想是让计算机管理信息流、起草笔记并整理资源，而人类辅导员则是评估风险、决定行动方案以及判定是否需要紧急响应的唯一权威。这种方法试图解决如何在这样一个单次错误即可导致致命后果的领域中整合强大新工具的问题。
该拟议系统建立在三个不同的责任层之上。第一层侧重于通话前、通话中及通话后的任务，但严格排除任何临床决策。在此角色中，人工智能充当支持工具。它可以通过快速检索安全计划模板、起草对话摘要以供日后审查，或标记辅导员受训需关注的特定短语来协助辅导员。至关重要的是，该系统被设计为绝不会自行分配呼叫者的风险等级、诊断病情或启动紧急干预。如果计算机建议采取某种行动，人类必须在将其纳入记录之前进行审查和批准。这一层还包括对呼叫者的保护措施，例如确保他们知道正在与一个正在监听的系统交谈，并给予他们立即退出任何针对其声音或言语进行自动化分析的选择权。
第二层是实际开展人类工作的领域。这是辅导员的领地，他们保留着对自杀风险评估以及如何帮助呼叫者的最终决定权。该框架规划了一套清晰的互动步骤序列，从建立安全感和情绪稳定性开始，经过对呼叫者想法和计划的有结构化评估，最后以定制化的干预结束。在整个过程中，来自第一层的人工智能可以随时提供协助，例如提醒辅导员注意特定的清单或建议某种资源，但它绝不会凌驾于辅导员的判断之上。如果情况变得不明朗，或者辅导员觉得信息不足以做出安全的决定，系统设有专门的处理路径应对这种不确定性。系统不会进行猜测，而是提示辅导员向督导寻求帮助。同样，如果呼叫者似乎失去了对现实的感知，系统会将此识别为需要立即进行高级别人类关注的特殊情况，绕过标准程序以确保安全。
第三层涉及管理和运营危机热线的组织及其人员。这一层确保了辅导员本身得到支持，并确保系统运行正常。它包括了何时必须由督导审查通话的规则，特别是在高风险情况或辅导员感到犹豫不决时。它还关注员工的身心健康，意识到倾听创伤是非常消耗情感的。在一次特别艰难的通话之后，系统被设计为允许一段减压时间并由督导进行查访，而不是立即将辅导员推向下一个通话。此外，这一层还包括定期审计，以确保人工智能的行为符合预期，且没有自动化错误溜进流程。如果系统需要进行重大变更，或者宣布了紧急状态，人工智能可以被完全锁定，确保只有人类的声音在引导危机应对。
论文强调，该框架是一个提议，而非已经在实地测试过的成品。这是一个概念性的设计，通过结合成熟的危机干预方法与关于技术应如何治理的新思路构建而成。作者承认，虽然用于构建该框架的模型在面对面场景中表现良好，但在匿名电话和文字通话中的应用尚未经测试。此外还存在实际障碍，例如技术的成本、人员培训的需求，以及确保系统在不同语言和文化背景下都能公平运作的挑战。作者建议，最好的前进方式是从小规模开始，例如仅将技术用于起草笔记或整理资源，并在扩大其作用范围之前，仔细研究其对辅导员工作量和压力水平的影响。
最终，这项工作为危机护理的未来提供了一个谨慎且结构化的愿景。它认为，人工智能在该领域的价值不在于其取代人类直觉的能力，而在于其减轻行政负担、从而让辅导员能更专注于服务对象的能力。通过在计算机能做的事与只有人类能决定的事之间划定清晰的界限，该框架旨在保护呼叫者和辅导员。它表明，技术最有效的用途是作为一个稳定、可靠的伙伴来处理细节，让专业的医疗人员能够全身心地投入到复杂、富有同理心且至关重要的救人任务中。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。