Evaluating LLMs for HIV Epidemiological Surveillance in Spanish: Clinical Summarization, Risk Factor Extraction, and Inference Stability across Models

在医院急诊室这种繁忙且高压的环境中，医生们一直在与时间赛跑。他们必须从碎片化的笔记、零散的测试结果和匆忙的观察记录中，拼凑出患者的故事，从而做出挽救生命的决策。对于感染了艾滋病毒（一种会削弱人体免疫系统的病毒）的患者来说，这一过程尤为关键。及早识别风险因素——例如无保护性行为、共用针头或特定症状——可以引导进行检测和治疗，从而阻止病毒的传播。然而，当一名医生每天要应对数十名患者时，至关重要的细节很容易被遗漏。医疗记录中海量的非结构化文本使得人工提取每一个相关线索变得异常困难，从而形成了一个瓶颈：信息的遗漏可能会延迟诊断，并导致疾病持续进行隐匿性的传播。

为了解决这个问题，研究人员正在探索使用被称为“大语言模型”的高级计算机程序。这些是经过海量文本训练的人工智能系统，能够阅读、理解并总结人类语言。其构想是，这些工具可以充当“第二双眼睛”，快速扫描数千份医疗记录，以突出关键细节并总结患者病史。但要在真实的医院中投入使用，这项技术必须极其可靠。它不能捏造事实，不能遗漏关键信息，也不能表现得不可预测。此外，由于这些工具通常在西班牙语国家进行测试，它们必须理解西班牙语临床笔记中的特定医学术语和文化细微差别，而不仅仅是英语。

西班牙的一个研究小组最近对这个想法进行了测试。他们想看看这些人工智能程序是否能够准确地总结西班牙语的急诊记录，并在无需预先针对新数据进行重新训练的情况下，提取出特定的艾滋病毒风险因素。他们收集了来自一家大学医院的100份匿名患者记录，其中包括后来被证实感染了艾滋病毒的人员以及未感染的人员。这些记录在长度和复杂程度上差异很大，反映了日常急诊护理中混乱的现实情况。随后，研究人员将这些记录输入到十一个不同的AI模型中，涵盖了从强大的云端系统到可以在医院自有安全服务器上运行的开源程序。他们要求这些模型完成两件事：写一段简短、清晰的就诊总结，并识别特定的风险因素是存在、不存在还是在文中未提及。

结果显示，在总结任务中有一个明显的胜出者。其中一个来自谷歌的云端系统生成的总结在准确性和完整性方面都显著优于另一种开源替代方案。当医生审查这些总结时，他们发现云端模型的错误率要低得多。它极少捏造不存在的事实，也极少遗漏重要的细节。开源模型虽然也有能力，但经常遗漏关键信息，例如待定的测试结果或既往病史，如果医生仅依赖该总结，这可能会非常危险。研究人员还测试了AI能否像人类医生一样判断总结的质量。他们发现，AI评判员在识别捏造事实和明显错误方面表现出色，但在对于“缺失细节”的定义上，很难与人类医生达成一致。这表明，虽然AI可以帮助过滤掉糟糕的总结，但人类的监督对于捕捉微妙的遗漏仍然至关重要。

在提取特定风险因素方面，模型的表现高度取决于衡量结果的严格程度。研究人员对每个模型在相同的记录上运行了五次，以观察其是否每次都能给出相同的答案。他们发现，模型在识别社会风险因素（如药物使用或性史）方面表现较好，因为这些因素通常由患者直接陈述。然而，在识别临床风险因素（如特定症状或既往感染）时，模型的表现不够稳定，因为这需要从长篇医疗笔记的不同部分中拼凑零散的线索。即使将模型设置为尽可能保持一致，它们在重复运行时有时也会给出不同的答案。这种不稳定性意味着，一个在单次测试中表现卓越的模型，在实际的连续工作流中可能会表现得有所不同。

研究结论认为，尽管这些AI工具在帮助西班牙语急诊室管理工作量方面展现出了巨大的潜力，但它们尚未达到完美。最好的模型可以显著减少医生编写总结的时间，并有助于发现那些可能被忽视的风险因素。然而，研究人员强调，使用这项技术必须保持谨慎。最常见的错误不是捏造事实，而是遗漏重要信息。对于一个旨在捕捉漏诊情况的系统来说，遗漏细节与捏造事实同样危险。研究结果表明，最有效的方法是采用一种混合模式：利用AI处理阅读和总结等繁重工作，同时让医生参与进来进行核实，以确保没有关键的信息碎片被遗失。这种平衡可以帮助急诊科更早地发现艾滋病毒病例，从而在病毒仍是持续挑战的社区中，潜在地挽救生命并减缓病毒的传播。