Scoping review of governance, privacy, and design in AI- supported conversational agents for perinatal mental health
这项针对35项研究范围综述的研究表明，尽管用于围产期心理健康的AI支持型对话代理正迅速向高级架构演进，但它们正面临着一个以治理不足、隐私保护匮乏和包容性缺失为特征的关键“AI围产期悖论”，这促使人们提出了八项最低标准，以优先保障其开发过程中的安全性与公平性。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
围产期心理健康挑战在怀孕及产后第一年非常普遍，影响着全球很大一部分父母，然而许多人却难以获得及时的帮助。近年来，技术通过对话式智能体（conversational agents）提供了一个潜在的解决方案：这些程序旨在通过文本或语音与用户聊天，提供信息、情感支持和指导。这些数字工具承诺可以全天候提供服务，为父母讨论有关自身心理状态或婴儿福祉的敏感恐惧提供一个私密的空间。然而，由于这些对话可能涉及极其个人且有时具有危险性的话题，例如自残或暴力念头，因此这些系统的安全性和隐私性至关重要。问题不再仅仅是这些聊天机器人能否交谈，而是它们是否在构建和治理方面足够完善，以至于能够被信任去承载父母生命中最脆弱的时刻。
澳大利亚詹姆斯库克大学的一组研究人员致力于调查专门针对围产期心理健康的这些人工智能工具的现状。他们对 2015 年至 2025 年间发表的科学研究进行了广泛的综述，通过检索数千条记录，寻找关于这些聊天机器人的设计方式、如何处理用户数据以及如何进行测试的报告。该团队分析了 35 项描述了 14 个不同国家中 30 个独特聊天机器人系统的研究。他们的目标是绘制出这些工具的图景，不仅关注它们是否有效，还要了解它们服务于谁、如何受到保护，以及当用户处于危机中时会发生什么。
研究人员发现，这些聊天机器人背后的技术正在迅速变化。在很长一段时间里，大多数系统依赖于简单的基于规则的指令，即计算机遵循一套固定的“如果……那么……”命令来生成响应。然而，在过去几年中，较新的系统开始使用大语言模型，这是一种在海量文本上训练过的先进计算机程序，能够生成更自然、更灵活的对话。虽然这些新工具听起来更像人类，并且能更好地适应用户的特定情况，但综述揭示了一个令人担忧的脱节。使用最先进技术的系统往往拥有最薄弱的安全和隐私保护。
当研究人员观察这些系统如何处理私人信息时，情况十分严峻。没有任何一项研究报告使用了先进的方法来确保数据安全，例如直接在用户的手机上处理信息而不发送到中央服务器，或使用数学技术在允许计算机学习的同时隐藏个人细节。相反，近一半的系统依赖于由外部公司提供的商业服务来处理对话。这意味着关于父母心理状态的敏感细节经常通过互联网被发送到第三方服务器，而对于这些数据去了哪里、谁能看到它、或者保存多久，几乎缺乏透明度。此外，大多数研究并未清楚解释他们如何获得用户使用其数据的许可，也很少有研究描述他们在系统发布后将如何更新系统的行为。
该综述还强调了这些工具在设计受众方面的显著差距。绝大多数聊天机器人是专门为母亲设计的，往往忽略了父亲、同性伴侣或非生育方父母。只有极少数系统尝试纳入父亲，甚至更少考虑了伴侣之间复杂的关系。此外，大多数工具仅以英语运行，并需要稳定的互联网连接，这使得偏远地区的父母或技术获取能力有限的父母被排除在外。这种狭隘的关注点意味着这些数字工具的益处并未触及那些最需要它们的多元化家庭。
或许最关键的发现涉及这些系统如何处理紧急情况。当一位父母表达出自杀或伤害婴儿的想法时，聊天机器人的反应关乎生命与安全。研究人员发现，虽然有些系统可以自动检测到这些危机信号，但几乎没有系统拥有一套可靠的计划来将用户连接到人类助手。在许多情况下，系统可能会标记出危机，但随后却无所作为，或者只是提供一份通用的电话号码列表，而没有确保用户真正联系到了真人。只有一个研究描述了一个能够保证在检测到危机后，在特定时间框架内确保人类会对用户进行跟进的系统。其他系统则是在没有这种安全网的情况下运行的，导致用户处于危险之中，且没有明确的寻求专业帮助的路径。
研究人员将这种情况描述为一种悖止：随着技术变得更加复杂且能够进行复杂的对话，使其变得安全的保障措施却变得越来越不一致。较旧、较简单的系统通常拥有更清晰的隐私和人工监督规则，而较新、更灵活的系统在构建时往往对这些关键保护措施的关注较少。综述结论认为，技术的快速发展已经超越了负责任标准的建立。作者提出了一个针对未来的最低安全规则集，建议开发者、医生和政策制定者必须从设计的最初阶段就将安全性、隐私性和包容性放在首位。他们认为，要使这些工具真正发挥作用，必须在它们被广泛信任之前，证明其对于现实生活中的真实人类及真实的危机是安全且有效的，从而确保数字支持的承诺不会以牺牲父母的安全为代价。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。