💬 NLP
Evaluating ChatGPT on Medical Information Extraction Tasks: Performance, Explainability and Beyond
本文通过在6个基准数据集上的4项医学信息抽取（MedIE）任务，系统评估了ChatGPT的性能、可解释性、置信度、忠实度及不确定性，结果表明其性能虽不及微调后的基准模型，但具备高质量的解释能力，且存在过度自信及生成不确定性可能阻碍其医学应用的问题。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
🏥 背景：这个“实习生”在做什么？
在医院里，医生写的病历通常是一大段乱糟糟的文字。我们需要把这些文字变成整齐的表格，比如：
- 病人得了什么病？（疾病识别）
- 用了什么药？（药物识别）
- 身体哪里不舒服？（症状识别）
- 医生给出的诊断代码是什么？（编码工作）
这就是论文里说的 “医疗信息抽取（MedIE）”。
🩺 体检报告：ChatGPT 的表现如何？
研究人员从五个维度对 ChatGPT 进行了“体检”，结果非常有意思：
1. 专业技能测试（Performance）：“理论满分，实操不及格”
- 比喻： 就像一个读过万卷书的文科生，虽然知道很多词汇，但面对复杂的医学手术记录时，还是抓不住重点。
- 结论： 在处理复杂的医学关系（比如 A 药导致了 B 症状）时，ChatGPT 的表现远不如那些专门在医学数据上“苦练多年”的专业模型（Fine-tuned models）。它能应付简单的任务，但遇到硬骨头就“掉链子”了。
2. 逻辑解释能力（Explainability）：“能说会道，但有点‘死鸭子嘴硬’”
- 比喻： 当你问它“为什么觉得这是个病？”它能滔滔不绝地给你讲出一套逻辑，听起来非常有道理。
- 结论： 它的解释质量很高，但有一个坏习惯——“过度自信”。就算它猜错了，它也会用一种极其笃定的语气告诉你：“我绝对没猜错，因为……”这种“死不认错”的态度在医学领域是很危险的。
3. 诚实度测试（Faithfulness）：“基本守规矩，不乱编”
- 比喻： 就像一个实习生，虽然水平有限，但至少还算听话，不会自己瞎编一个不存在的病名出来，也不会脱离病历内容乱说话。
- 结论： 它在“听从指令”和“忠于原文”方面表现不错，没有出现严重的“幻觉”乱编现象。
4. 自信程度测试（Confidence）：“盲目自信的‘愣头青’”
- 比喻： 就像一个考试的学生，不管是做对了还是做错了，他都觉得自己拿了 100 分。
- 结论： ChatGPT 无法区分自己“猜对了”和“猜错了”的区别。它给出的信心分数非常高，但这种信心并不代表准确率。这就像一个医生，哪怕没把握，也表现得像个专家，这会让使用者产生误判。
5. 稳定性测试（Uncertainty）：“情绪波动大，结果不稳定”
- 比喻： 就像一个考试时心情不稳的学生，同一个问题，第一遍答对了，第二遍可能就答错了。
- 结论： 因为生成机制的随机性，ChatGPT 每次给出的答案可能都不一样。这种“不确定性”在要求极其严谨的医疗行业里，是一个巨大的隐患。
💡 总结：我们该如何看待它？
如果把 ChatGPT 比作一名医疗助理：
- 优点： 它很聪明，懂规矩，能把复杂的逻辑讲得清清楚楚，是个很好的“初级整理员”。
- 缺点： 它不够专业，遇到复杂问题会出错，而且最可怕的是它出错时还表现得非常自信，且每次给出的答案还不稳定。
最终结论： 目前的 ChatGPT 还不能直接在医院里独立工作，它更像是一个**“需要资深医生全程盯着”**的辅助工具。我们不能因为它“说话好听、逻辑通顺”就盲目相信它的医学判断。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。