Comparison of ChatGPT and Gemini in Providing Postoperative Information After Tonsillectomy: An Expert-Based Assessment
一项针对 ChatGPT 与 Gemini 在土耳其语术后扁桃体切除术教育方面的专家评估发现，两者在整体质量或安全性方面均无统计学上的显著差异，这强调了在使用人工智能生成的患者信息前进行临床医生审核的必要性。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
每年都有数百万人接受扁桃体切除术，这是一种常见的移除咽喉后部扁桃体的手术。虽然该手术属于常规操作，但恢复过程通常很艰难。患者醒来时会感到明显的疼痛、吞咽困难，并时刻担心出血或脱水的问题。由于大部分恢复过程都在家中进行，家庭需要清晰的指示来了解哪些情况是正常的，以及何时需要寻求医生的帮助。近年来，许多人开始转向人工智能工具来即时获取这些答案。这些被称为大型语言模型的计算机程序可以进行对话，并生成听起来非常像人类的文本。它们承诺能够全天候提供服务，用以解释医学术语或提供建议。然而，由于这些程序是基于数据中的模式而非对医学的深度理解来生成答案，因此存在给出令人困惑、过时甚至危险建议的风险。医生和患者面临的问题很简单：我们能否信任这些机器来引导一个家庭度过艰难的恢复期，还是需要人类专家来检查它们的工作？
为了回答这个问题，土耳其的一个研究小组进行了一项精心设计的测试，涉及两种最先进的人工智能系统：ChatGPT 和 Gemini。他们并没有向计算机提问随机问题。相反，他们从真实的人出发。研究人员收集了四十名近期接受过扁桃体切除术的患者的问题。这些患者写下了关于恢复过程中想知道的所有内容，涵盖了疼痛管理、饮食以及何时寻求紧急帮助等主题。随后，由十名专家组成的专家小组将这些问题精炼成十五个清晰的土耳其语问题。在同一天，研究人员要求 ChatGPT 和 Gemini 回答这相同的十五个问题。计算机生成了它们的回答，研究人员将它们原封不动地保存了下来，没有更改任何一个字。
接下来，研究人员请来了十六位不同的耳鼻喉科专家担任评委。这些医生并不知道哪个计算机程序写了哪个答案。他们看到的只是两组被标记为“回答 A”和“回答 B”的响应。每位医生阅读了所有十五个问题的答案，并从四个特定方面进行了评分：信息的科学准确性、建议对真实患者是否合适、易于理解程度，以及最重要的——答案是否安全，或者是否包含任何可能误导患者导致伤害的内容。医生为每个类别给出了从一到五的评分，五分为最高分。总计，团队收集了近两千个单独的评分，以便对这两个系统进行横向对比。
结果显示，两款人工智能程序整体表现都相当出色。它们提供的资料通常是准确且符合临床要求的，在确保医学事实正确方面获得了高分。当研究人员查看总分时，ChatGPT 的平均评分略高于 Gemini，但这种差异非常小，完全可能是由偶然因素造成的。事实上，当专家观察具体类别时，这两个程序在提供正确医学事实的能力方面几乎是完全一样的。没有任何一个系统被证明明显优于另一个系统，以至于数据可以确定地证实这一点。研究发现，没有证据表明其中一个模型在执行这项特定任务时优于另一个。
然而，更深入的观察揭示了一个更重要的故事，那就是关于安全性。两款程序在“患者安全性”这一类别中得分最低。这意味着，尽管答案通常在事实层面是正确的，但专家们仍然发现了潜在的风险，例如遗漏了关于出血的警告，或是在药物使用建议上过于模糊。尽管 ChatGPT 在安全性方面得分略高于 Gemini，但这种差异并不足以宣布它是更安全的抉选项。专家们还注意到，医生在对安全性进行评分时并不总是达成一致，这表明即使是专业人士，识别一段文字中隐藏的危险也是困难的。这种缺乏完美一致性的现象凸显了安全性是一个复杂的判断过程，而不仅仅是简单的查证事实。
研究结论认为，虽然这些人工智能工具令人印象深刻且能生成有用的信息，但它们尚未准备好取代医生的建议。两款系统在安全性得分均较低的事实表明，在将信息提供给患者之前，必须由人类专家进行审核。研究并未显示其中一个程序是明确的赢家，也没有证明它们可以独立安全使用。相反，研究表明这些工具最适合作为提供信息草案的辅助工具，随后由医疗专业人员进行检查和修正。在技术改进到能够持续识别并避免所有潜在风险而无需人类帮助之前，对患者而言，最安全的路径仍然是与自己的医生进行沟通。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。