ChatGPT versus veterinary students for clinical data extraction: a mixed-methods study

在兽医学领域，照顾动物的日常工作产生了海量的信息。每当一只狗接受检查时，兽医都会记录下关于它的症状、血液测试结果以及超声波扫描的发现。这些记录被存储在数字系统中，但其中的信息通常是以自由流动的文本形式呈现的，就像故事或日记一样。虽然这种叙事风格符合医生的写作习惯，但对于计算机来说却难以阅读，对于研究人员来说也难以分析。要将这些故事转化为用于科学研究（例如追踪疾病模式或了解治疗效果）的有用的数据，必须先有人阅读每一份笔记，并提取出特定的事实（如体温读数或诊断结果），然后将其放入整齐有序的表格中。这个被称为“数据提取”的过程对于现代科学至关重要，但如果依靠人工完成，过程既缓慢、乏味，又容易产生人为错误。

人工智能已成为解决这一瓶颈问题的潜在方案。具体而言，大型语言模型是经过海量文本训练的计算机程序，能够理解并生成人类语言。这些工具有望阅读医疗记录并在数秒内提取出必要的事实，从而可能将专家从繁琐工作中解放出来，专注于更复杂的任务。然而，一个关键问题仍然存在：这些数字工具是否真的能像受过训练的人类那样胜任工作，还是会犯下可能毁掉研究的错误？此外，那些最终将使用这些工具的人（如未来的兽医）对将这项工作交给机器有何看法？为了回答这些问题，德克萨斯 A&M 大学（Texas A&M University）的研究人员在人类学生与人工智能系统之间进行了一项直接对比，不仅测量了工作的速度和准确性，还衡量了参与学生的想法和感受。

该研究的对象是十名正在修读人工智能课程的二年级兽医学生。研究人员要求这些学生从三只疑似患有胰腺炎（一种引起胰腺疼痛性炎症的疾病）的狗的医疗记录中提取信息。学生们进行了两次任务。首先，他们手动阅读记录并填写了一份包含 63 个不同数据点的电子表格，范围涵盖动物的年龄、体重到具体的实验室数值和超声描述。在经过一个月的休息以确保他们不会仅仅是凭借记忆回答问题后，同样的 학생들이再次执行了完全相同的任务，但这一次他们使用了一个聊天机器人（一种人工智能类型）来协助他们。他们被指示将医疗记录粘贴到聊天机器人中，并要求它提取数据，同时记录每种方法所需的时间。

结果显示出速度上的巨大差异。在独自工作时，学生完成单个病例提取任务平均需要八分半钟。而使用聊天机器人时，每个病例仅需十五秒。这意味着人工智能的速度比人类学生快了 34 倍。尽管存在如此巨大的速度差距，两者的工作准确率却都保持得非常高。学生们的准确率超过了 90%，而人工智能也达到了同样的表现，准确率同样超过了 90%。这一发现表明，机器的速度并未以牺牲质量为代价；该工具处理信息的能力与受过训练的学生一样可靠。

然而，人类与机器犯错的性质却大不相同。学生倾向于犯与疲劳和重复相关的错误，例如输入错误的数字或将数据行放错位置。他们也会在处理医疗记录中模糊的描述时遇到困难，有时会推断并非明确说明的信息。例如，如果记录中提到“少量液体”但没有明确说“异常”，学生可能会猜测严重程度，而人工智能则倾向于更加保守，严格遵循书面内容。有趣的是，人工智能犯了另一种错误：它有时无法遵循严格的格式指令，在要求返回简单代码时却返回了一个完整的句子。虽然该工具理解医学内容，但偶尔会忽略任务的具体规则，这是一种人类学生不会犯的错误。

除了数字之外，研究人员还想了解学生对使用这项技术的感受。通过调查和访谈，学生们表达了对人工智能的明显偏好。他们描述手动处理过程既耗费精力又枯燥重复，并指出该工具帮助他们减轻了梳理冗长、杂乱叙述的认知负担。学生们认为人工智能可以处理工作中无聊、重复的部分，使他们能够专注于更复杂的临床推理方面。然而，这种信任并非盲目的。学生们强调，他们仍然需要检查机器完成的工作。他们意识到，虽然该工具效率很高，但对于数据以及基于数据的医疗决策的最终责任仍在于人类兽医。

研究结论认为，人工智能是提取兽医记录数据的强大且高效的伙伴，其工作速度人类无法企及，同时能保持高水平的准确性。这项技术擅长减少重复性工作的枯燥感，但它并不能取代对人类监督的需求。研究中的学生看到了将这些工具整合进未来职业生涯的价值，前提是将其作为辅助而非取代人类判断的工具。随着兽医学的发展，人类的专业知识与人工智能的速度相结合，为处理日益增长的医疗数据提供了一条充满希望的路径，确保记录中的“故事”能够转化为有助于全球动物健康的知识。