AnchorSIPS: A Synthetic Dataset and Evaluation Resource for Evidence-Supported Psychosis-Risk Symptom Measurement
本文介绍了 AnchorSIPS，这是一个包含 10,000 份具有基于转录文本的测量目标的结构化精神病风险访谈合成数据集，旨在克服数据获取瓶颈，并评估人工智能模型进行证据支持的症状评估与诊断的能力。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
侦探的困境：为什么 AI 需要线索，而不只是猜测
想象你是一名正在试图破解谜团的侦探，但你的目标不是犯罪现场，而是观察一个人的内心世界。在心理健康领域，有一种特定的谜团被称为“精神病风险”（psychosis-risk）。这是指一个人开始产生一些对他们而言感觉非常真实、但不符合大众共同现实的想法或感知——比如在没有人说话时听到耳语，或者相信电视里传来了秘密信息。医生通过专门的访谈来判断这些经历仅仅是早期预警信号，还是更严重的问题。
问题在于，这些访谈就像是顶级机密文件。因为它们包含了极其私人且隐秘的故事，医生和研究人员无法直接将它们分享给计算机进行学习。这就像是试图在从未让侦探看到真实案件卷宗的情况下，去教一名侦探如何破案。为了解决这个问题，科学家们开始制作“合成”数据——这些是虚构但真实的对话，看起来和听起来都像真实的访谈，但并不属于任何真实的人。然而，大多数这类虚构故事只是简单的总结或简短的聊天。它们并没有教会计算机如何像侦探一样思考；它们只是要求计算机去猜一个最终答案。这篇论文介绍了一个名为 AnchorSIPS 的新工具，其设计初衷不仅是教 AI 答案，还要教它准确地指出答案究竟源自故事中的哪个部分。
新的侦探训练手册：AnchorSIPS
遇见 AnchorSIPS。把它想象成一本长达 10,000 页的 AI 侦探训练手册，只不过它使用的不是真实的罪案，而是关于可能正在发展精神病症状的人物的精心设计的虚构访谈。其目标不仅仅是看 AI 能否猜出最终诊断（例如“是，他们有风险”或“否，他们没有”）。真正的目标是看 AI 是否能用手指指向对话中证明其猜测的确切句子。
在现实世界中，当医生访谈某人时，他们不会直接跳到结论。他们会提出一系列 24 个特定问题。如果对方对某个问题回答“是”，医生会进行追问：“这种情况发生的频率如何？”“这让你感到困扰吗？”“这是否影响了你的学校生活？”最后，医生会根据这些回答做出连串的决策，从而得出最终结论。这篇论文创建了一个数据集，其中每一个步骤都被映射了出来。这就像拥有一个剧本，其中患者生活的“隐藏真相”被预先写好，然后围绕这个真相构建对话，从而确保即使患者表达含糊或羞怯，线索也始终存在。
研究人员使用一种巧妙的“先计划后实现”（Plan-then-Realize）的方法构建了这个数据集。想象一位剧作家，他首先写下一个严格的情节大纲（“计划”），决定角色会承认什么以及会隐瞒什么。然后，聘请一位天才演员（AI）根据大纲进行即兴表演。演员可以选择如何说出台词——也许他们会结巴，也许他们听起来很害怕，也许他们试图隐瞒真相——但他们不能改变情节。这确保了“线索”（医学标签）始终是正确的，并且锚定在患者所说的特定词句上，防止 AI 凭空捏造事实或产生混乱。
大惊喜：AI 擅长猜测，却不擅长证明
研究人员在这一新数据集上测试了七种不同的超智能 AI 模型，以观察它们表现得有多像一名医生。他们要求 AI 做两件事：猜出最终诊断，以及更重要的——引用出对话中支持其猜测的确切部分。
转折点就在这里：AI 在处理简单任务时表现得惊人地好。它们可以高精度地猜出最终诊断，经常能猜对。这就像它们可以看着一个凌乱的房间并猜出：“有人曾在这里停留过”，而不需要看到脚印。但是，当研究人员要求它们指向脚印（即转录文本中的特定句子）时，AI 却跌了跤。
结果显示出了巨大的差距。虽然模型可以做出“粗略”的决策（例如“是的，这是一个风险”），但在执行“落地”的工作时却表现糟糕。它们难以提取具体的细节，比如症状发生的频率或造成了多少痛苦程度。更糟的是，当它们尝试引用证据时，经常出错。一个模型可能猜对了最终答案，却引用了错误的句子作为证据，或者它可能会编造一个文本中根本不存在的原因。
论文指出，这是一个重大问题。如果一个 AI 能猜对答案却无法展示其推导过程，那么我们在真实的医院里就无法信任它。这就像一个学生在数学考试中得到了正确答案，却写下了错误的公式；他们可能偶尔会撞大运，但他们并不真正理解数学。研究发现，目前的 AI 模型在最终猜测上表现得“过度自信”，但在寻找并利用证据来支持其结论的能力上却显得“资历不足”。
为什么这很重要
这不仅仅是为了制造更好的聊天机器人；这关乎安全。在心理健康领域，尤其是涉及精神病这样严肃的问题时，你不能依赖一台仅仅是“感觉”自己是对的机器。你需要一台能够说出“我认为这个人有风险，并且以下是他们说的三句话证明了这一点”的机器。
本文作者明确表示：AnchorSIPS 是一个研究工具，而非医疗设备。它是一个合成数据集，这意味着其中的患者和故事都是由计算机生成的，而非真实的人。它的设计目的是压力测试 AI 系统，观察它们在哪里崩溃，并教它们如何对自己的已知与未知保持诚实。这项研究表明，尽管 AI 在交流方面正变得越来越好，但在能够被信任去倾听、分析并在高风险的心理健康领域证明其结论之前，仍有很长的路要走。在 AI 能够像优秀的侦探那样将其答案锚定在证据之上之前，它仍然只是一个猜测者，而非治愈者。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。