Condence, Calibration, and Abstention in Small Open-Weight Language Models on Psychiatric Knowledge Questions: A Cross-Domain Replication
这项初步研究表明，应用于精神医学知识问题的轻量级开源权重语言模型表现出较差的置信度校准能力、具有领域依赖性的准确率排名，并且在经过严格的配对统计评估时，提示其放弃回答往往会降低而非提高性能。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代医学的寂静角落，一种新型工具正在兴起：小型、自给自足的计算机程序，它们能够阅读并回答有关人类健康的问题。与那些需要强大网络连接并引发隐私担忧的大型云端系统不同，这些较小的模型可以在单台本地计算机上运行，使敏感的患者数据远离互联网。这种能力激发了人们对其在精神病学领域应用的希望，因为在该领域，医生通常依赖主观报告而非血液检查或影像扫描来进行决策。然而，对于任何提供医疗建议的工具来说，一个关键问题仍然存在：它知道自己何时出错吗？如果一个计算机程序表现得很有信心但实际上是错误的，其后果可能是严重的。研究人员长期以来一直在研究这些系统是否能够准确衡量自身的确定性，但大部分工作都集中在庞大的、专有的系统或通用的医学知识上。当面对精神病学中细微且主观的问题时，这些小型本地运行模型的具体表现一直是一个谜。
最近的一项试点研究旨在填补这一空白，通过针对一组包含150个精神病学知识的多选题对四种不同的语言小模型进行测试。研究人员想要观察这些模型是否不仅能正确回答问题，还能识别出何时应该说“我不知道”。他们将这些模型在精神病学问题上的表现与其在通用医学问题上的表现进行了对比，以观察哪种模型是“最佳”模型的排名是否保持不变。该研究还调查了一个常见的安全理念：即给予模型在感到不确定时放弃回答的选择，是否会自动使其变得更安全、更准确。团队完全在本地工作站上运行了这些测试，确保没有数据离开机器，并使用严谨的统计方法来比较模型在允许跳过问题前后的结果。
结果显示，这些小型模型的格局远比一个简单的“最好”与“最差”表现列表要复杂得多。当这些模型接受通用医学知识测试时，其中一个特定的模型在四个模型中排名第三。然而，当同一个模型面对精神病学问题时，其表现显著下降，跌至末位。这表明，一个模型的技能并不是一种可以轻易从一个医学专业转移到另一个专业的固定特质；在普通医学领域表现良好的模型，在精神病学领域未必同样出色。此外，研究发现这些模型始终表现出过度自信。平均而言，尽管它们的实际准确率仅在57%到75%之间，但它们声称对答案的把握度却在90%到95%之间。这种陈述的信心与实际正确率之间的差距，比在大型商业系统中观察到的情况要大得多。
或许最令人惊讶的发现是关于让模型跳过其不确定问题的想法。仅从模型选择回答的问题来看，似乎跳过问题可以提高它们的得分。然而，当研究人员在两种条件下——被迫回答与允许跳过——观察完全相同的问题时，他们发现了不同的情况。对于四个模型中的三个，跳过的能力并没有带来准确率的实质性提升。事实上，对于表现最好的那个模型，跳过的决定实际上导致它错过了一些如果被强制尝试就会回答正确的问题。那个具备最好自我排序信心能力的模型，仍然未能利用这种能力在何时停止做出明智的选择。
唯一一个在允许跳过问题时表现出明显变化的只有那个最小的模型，而且这种变化是负面的。当这个微型模型被给予说“我不知道”的选择权时，其整体准确率显著下降。这一结果并非偶然；它在另一项针对通用医学问题的独立测试中也发现了类似的下降，表明该特定的小型模型在处理不确定性方面存在特定的弱点。研究结论指出，仅仅添加一个“我不知道”的选项并不是一个神奇的安全开关。对于这些小型本地模型而言，放弃回答的指令并不能可靠地过滤掉错误，有时甚至会使表现变差。研究人员强调，这些发现是针对这一特定的小型模型组和这类考试题目的，是作为未来更大规模研究的一个假设，而非临床使用的最终规则。核心启示在于，在小型本地人工智能领域，信心往往是一种幻觉，而知晓何时停止的能力并不能得到保证。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。