PanVasc Research for AI assisted evidence analysis in panvascular intervention

在广阔的医学研究世界中，医生和科学家依赖于一个庞大且有组织的临床试验图书馆，以了解新疗法是如何发挥作用的。这些试验被注册在公共数据库中，其中每一项研究都明确列出了其计划测量的内容、运行时间以及希望发现的具体结果。这些信息是循证医学的基石，使得研究人员能够比较不同的方法来治疗心脏、动脉和静脉。然而，随着数据量的增长，寻找并解读这些特定细节的任务对人类而言变得难以承受。这引发了人们对人工智能的浓厚兴趣，希望计算机系统能够阅读这些复杂的记录，提取出正确的数值，并帮助研究人员更快、更准确地理解证据。核心问题不仅在于计算机是否能读懂文字，还在于它能否在不捏造事实或不丢失信息来源的情况下，理解数据的严格规则。

一个研究小组着手测试一款专门针对这一问题的软件，重点关注治疗全身血管的干预措施。他们构建了一个名为 PanVasc Research 的系统，它充当分析这些医疗记录的数字助手。为了测试这个助手是否真正可靠，他们并没有简单地让它总结几个故事。相反，他们设计了一项严谨的测试，向计算机输入了 50 条真实的临床试验记录，并要求它提取特定的细节，例如正在测量的主要结局指标和研究的时间范围。为了增加测试难度，他们在要求计算机回答之前，特意从记录中删除了部分信息，以检查该系统是会诚实地承认自己不知道，还是会进行猜测并编造答案。他们还针对另外 100 条关于医学试验的陈述对系统进行了测试，以观察它能否正确判断某项证据是否支持特定的说法。

实验结果揭示了当前技术的一个清晰且重要的局限性。当计算机被要求从记录中复制精确细节时，使用标准方法时的成功率仅为四分之一左右。当研究人员给计算机提供了一套更细致的指令，告诉它在回答前要反复检查自己的工作时，成功率提高到了略低于百分之四十。虽然这种改进表明细致的指令有所帮助，但该系统在超过一半的情况下仍然无法给出正确答案。在信息缺失的测试中，计算机表现得非常吃力，经常无法识别数据已经丢失。当研究人员测试系统的医学陈述理解能力时，它的表现并不比简单的多数派基准更好，正确率仅在二分之一左右。这与一个人仅仅通过猜测最常见的答案而非随机猜测所得到的成功率是一致的。

至关重要的是，研究人员发现，计算机遵循规则的能力并不能保证它理解其含义。系统可以被编程为检查它是否拥有正确的源文档以及是否正在查看正确的文本部分，但这种“安全检查”并不能阻止它在实际数据的逻辑意义上犯错。事实上，安全检查有时会将错误的答案保留在最终结果中，因为计算机完美地遵循了格式规则，尽管其结论是错误的。该研究明确排除了这样一种观点，即这个小型计算机模型已经在理解医学科学方面取得了突破，或者它可以取代人类专家来解释复杂的试验数据。该系统无法作为一个自主的科学家去发现新的真理，也无法可靠地解释不同疾病之间的细微差别。

研究人员得出结论，虽然他们的框架成功地将“寻找正确源文档的任务”与“理解其含义的任务”分离开来，但当前的技术尚不足以胜任后者。事实证明，该系统可以作为追踪信息来源的工具，但如果不经过人工监督，则无法信任其对信息的解读。研究表明，人工智能若要成为血管研究的真正伙伴，未来的系统将需要的不仅仅是更好的指令；它们需要一种比单纯将单词与数据库进行匹配要深奥得多的、专门化的医学概念理解能力。在此之前，这些数字助手的角色仍限于帮助组织数据，而非做出决定患者如何接受治疗的最终医学判断。