Comparative Reliability of Gemini and NotebookLM on AAPD Guideline-Based Pediatric Dentistry Multiple-Choice Questions: Accuracy, Consistency, and Error-Pattern Analysis

在现代牙医学领域，尤其是在治疗儿童时，医生依赖于详细的规则手册来做出正确的选择。这些被称为临床指南的规则手册，就像是应对复杂情况（如乳牙深龋或感染）时的导航地图。它们明确告知从业者哪些治疗方法效果最好、持续时间多久以及需要注意什么。然而，在忙碌的工作日或课堂教学中，将这些书面规则转化为快速、可靠的答案并不总是那么简单。最近，一种被称为大语言模型的全新计算机程序脱颖而出，它成为了能够阅读这些文本并即时回答问题的工具。这些程序就像是能够与你对话的庞大图书馆，但它们有时会犯错，或者如果你两次询问同一个问题，它们可能会改变主意。为了让它们更值得信赖，开发人员创造了一种方法，强制计算机在回答之前先查看特定的文档，从而确保它紧扣事实而非凭空猜测。研究人员面临的问题是：这种检查文档的额外步骤究竟是让计算机变得更可靠了，还是仅仅让它看起来更自信，却掩盖了新类型的错误？

来自中国湘雅口腔医院的一个研究小组通过使用一套基于 2024 年美国儿童牙科协会关于乳牙治疗指南的特定问题，对这一想法进行了测试。他们并没有要求计算机治疗真实的患者；相反，他们创建了一个模拟场景，要求计算机回答九十道多项选择题，类似于医学考试中的题目。每道题都呈现了一个关于儿童牙齿的情景，并提供四个选项，其中只有一个是符合官方指南的正解。研究人员想要观察两种使用计算机的方式表现如何。第一种方法是标准聊天模式，即计算机根据其从互联网和训练数据中学到的所有知识进行回答。第二种方法使用了名为 NotebookLM 的工具，该工具在回答之前被给予了实际的指南文档进行阅读，从而迫使其将回答建立在特定文本的基础上。为了确保结果不仅仅是运气好，研究人员让三个不同的计算机账号回答了每一个问题，生成了数百个响应以寻找规律。

结果显示，两种方法在获取正确答案方面都表现得相当出色，但它们的行为方式却截然不同。标准聊天版本在约百分之九十二的时间里能得到正确答案。然而，它并不一致。当三个不同的账号回答同一个问题时，它们经常产生分歧。大约每六分之一的情况下，这些账号会给出不同的答案，这表明计算机处于不确定状态或在不同选项之间摇摆。相比之下，先阅读文档的版本几乎在百分之九十九的时间里都能得到正确答案。更重要的是，它是完全一致的。每当三个账号回答同一个问题时，它们都会给出完全相同的响应。这表明，给计算机提供文档进行阅读，使其变得更加稳定且不易改变主意，尽管这并不一定意味着它变得完美无缺。

然而，研究人员发现这种稳定性背后隐藏着一个代价。虽然标准聊天模式产生的错误在不同尝试之间会有所变化，但阅读文档的版本所犯的错误在每一次都是相同的。对于一个关于化学机械去腐与旋转钻去腐对比的具体问题，三个账号的阅读文档工具都给出了相同的错误答案。这是一个显著的风险差异。当计算机给出不同的错误答案时，用户可能会注意到混乱并意识到出了问题。但当计算机每次都给出相同的错误答案，并且在给出答案时还引用了文档，它看起来会非常有权威性和可靠性。这种错误是连贯且自信的，使得人们很难发现信息是不正确的。研究发现，这类错误往往发生在需要比较数字（如成功率或不同工具的有效性）的问题上，而非简单的客观事实。

研究结论认为，仅仅要求计算机阅读文档并不能保证它能完美理解信息。相反，这种方法的主要益处在于它阻止了计算机的不可预测性。它创建了一个稳定且可重复的系统，这在教育和培训中具有价值。然而，这种稳定性也意味着，如果系统出错，该错误将会被一致地重复，从而可能误导过度信任计算机的用户。研究人员建议，我们不应只关注计算机正确回答问题的频率，还应观察它出错时的表现。未来，用于医疗决策的工具不仅要评估其准确性，还要评估其错误是显而易见的还是隐蔽的，以及它们在被再次询问时是否能保持一致。这种方法有助于确保我们在将这些强大的工具引入教室和诊所时，既了解它们的力量，也了解它们可能失败的具体方式。