When Debate Hurts: Model-Scale-Dependent Effects of Multi-Agent Deliberation in Psychiatric Diagnosis

在精神健康护理领域，诊断患者很少是一个简单的将症状与清单进行匹配的过程。即使对于训练有素的人类精神科医生来说，这一过程也充满了不确定性。研究表明，当不同的医生观察同一个患者的描述时，他们往往会对最终诊断产生分歧。有时，这种困惑如此之深，以至于即使是世界顶尖专家组成的团队也无法就一个人的病情达成一致。正因如此，研究人员转向了人工智能，希望计算机模型能够提供一种更一致的方法来识别精神健康状况。一个流行的想法是让多个人工智能代理（AI agents）扮演类似专家小组的角色，在得出结论之前对病例进行辩论。其理论依据是，这种来回讨论的过程可以捕捉到错误并得出更好的答案，就像人类团队共同解决复杂问题一样。

来自印度理工学院卡拉格普尔分校的研究人员通过一种非常务实的方式测试了这个想法，他们使用了较小的开源计算机模型，这些模型可以在标准的个人电脑上运行，而不需要庞大且昂贵的服务器。他们建立了一个系统，其中三个不同的 AI“专家”——一个专注于症状，一个专注于比较不同的可能诊断，另一个负责评估患者的危险程度——会对二十四个合成的患者故事进行讨论。这些故事被编写得看起来像是真实的医疗病历，涵盖了一系列精神疾病。研究人员想要观察这种辩论过程究竟是帮助 AI 得到了正确答案，还是让情况变得更糟。他们将这个辩论团队与一个仅仅是立即给出答案而不与任何人交谈的单一 AI 代理进行了对比。

结果令人惊讶，且违背了“讨论越多越好”这一普遍假设。当研究人员在两种不同规模的计算机模型（一个拥有 10 亿参数，另一个拥有 30 亿参数）上测试该系统时，他们发现辩论团队的表现始终逊于仅仅给出快速回答的单一代理。这并非单次测试的偶然现象；研究人员为每种设置分别进行了五次独立的实验，以确保结果真实可靠。在每种情况下，进行自我辩论的 AI 出错的频率都比不进行辩论的 AI 更高。差距是显著的：在较小的模型规模下，辩论团队在多次试验中的平均正确率约为 57%，而简单的非辩论代理的正确率约为 73%。在较大的模型规模下，辩论团队的准确率提升到了约 69%，但简单的代理表现依然更好，达到了近 88% 的准确率。

研究还仔细分析了发生这种情况的原因，通过拆解过程来观察系统的哪个部分出了问题。研究人员曾假设，最后一步——即由一个“法官”代理总结辩论并做出最终裁决的过程——是导致表现不佳的主要原因。然而，调查显示情况更为复杂。即便在引入“法官”之前，辩论行为本身就已经降低了准确率，使其低于简单的处理方式。此外，“法官”的影响取决于模型的规模。在较小的模型上，法官并没有让情况变得多糟，但在较大的模型上，法官仅部分恢复了损失的准确率，且其对整体准确率的影响在不同规模之间表现得并不一致。这表明，问题不仅仅在于某个损坏的环节，而是模型规模的大小与如何处理小组讨论之间复杂的相互作用。

或许最关键的发现关乎安全性。在精神健康领域，漏掉一个患者可能伤害自身的信号是灾难性的失败。研究人员发现，辩论对识别危险的影响取决于模型的大小。在较小的模型上，辩论过程实际上帮助 AI 注意到了一个简单代理所忽略的高自残风险。但在较大的模型上，情况却恰恰相反：简单的代理正确识别了危险，而辩论团队——特别是总结讨论的“法官”——却在讨论中把自己说服了，从而未能标记出该风险。这意味着，一个旨在通过代理相互争论来提高安全性的系统，完全取决于所使用的特定计算机模型，可能会变得不再安全。

研究人员谨慎地指出，他们的结果并不意味着人工智能已经超越了人类医生。他们将数据与已发表的精神科医生研究进行了对比，发现其 AI 表现处于人类在类似任务上的水平范围内，有时甚至更高，但他们强调这些测试并非完美匹配。人类研究使用的是不同的患者故事和不同的确定正确答案的方法。作者认为，最重要的启示不在于 AI 比人类更好或更差，而在于“更多辩论等于更好”这一流行观点并非普遍规律。在这些本地计算机模型用于精神科诊断的具体语境下，让代理进行争论的额外步骤引入了简单直接方法所能避免的错误。这项研究提醒我们，在像医学这样复杂的领域，增加讨论层级并不一定能保证更好的结果，有时，最直接的路径才是最可靠的。