Prompting language influences diagnostic reasoning and accuracy of large language models
本研究证明，提示语言显著影响大多数大型语言模型在临床环境中的诊断推理与准确性，其中英语在五个被评估模型中的四个上普遍优于法语，凸显了阻碍全球公平部署的关键障碍。
原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一个由五名才华横溢的医学生组成的团队。他们极其聪明，阅读过数百万本医学书籍，并且能够解决复杂的谜题。然而，有一个陷阱：他们都在不同的国家上学，而他们思考的“母语”是英语。
这篇论文就像一份成绩单，测试这些学生在用英语与法语回答医学案例时的表现。研究人员想要看看，提问所使用的语言是否会改变答案的质量。
以下是他们发现的详细情况，使用了简单的类比：
1. 设置：“医学谜题”测试
研究人员创建了180 个医学谜题（称为病例摘要）。这些不仅仅是多项选择题；它们是关于带有症状的患者的简短故事，类似于医生在真实诊所中看到的场景。
- 测试：他们将这些谜题交给了五个不同的 AI 模型（即“学生”）：o3、DeepSeek-R1、GPT-4-Turbo、Llama-3.1 和 BioMistral。
- 转折：他们让每个学生两次回答相同的谜题：一次用英语，一次用法语。
- 评分者：两名真正的医生充当了老师。他们不仅检查最终答案是否正确；他们还在 0 到 18 分的量表上对整个思维过程（推理）进行评分。他们关注的内容包括：
- 学生是否注意到了所有线索？
- 逻辑是否严密？
- 他们是否考虑了其他可能性？
- 最终诊断是否正确？
2. 结果：“英语优势”
对于五名学生中的四名，结果非常明确：他们在说英语时表现明显更好。
- 差距：尽管这些模型能够流利地说法语，但它们的“大脑”在英语中运作得更好。这就像一位音乐家可以用法语演奏一首曲子，但当用英语演奏时，他们的手指移动得更快，节奏也更完美。
- 分数：平均而言，英语答案的得分明显更高（在 18 分制中高出 0.37 到 0.91 分）。
- 差距发生之处：差异不仅仅在于最终答案。当被迫用法语思考时，学生们犯了更多的逻辑错误，遗漏了更多的线索，并且推理能力较弱。
- 类比：想象一名侦探在破解谜案。用英语时，他们完美地跟随线索。用法语时，他们可能会分心，错过线索，或者得出一个与证据不太吻合的结论，即使他们最终猜对了名字。
3. 例外：“超级学生”
其中一个模型，o3，是唯一一个在英语和法语之间没有表现出差异的模型。
- 为什么？ 论文指出，该模型拥有一种称为“高级推理能力”的“超能力”。似乎随着 AI 在逐步思考问题（就像在脑海中进行复杂的数学运算）方面变得越来越擅长，语言障碍开始消失。这就像一名学生已经如此精通谜题的逻辑，以至于指令是用什么语言写成的都无关紧要。
4. 为什么这很重要（根据论文）
论文认为，语言不仅仅是 AI 的外壳；它是 AI 思考方式的一部分。
- “训练饮食”问题：大多数这些 AI 都是在海量的英语数据上训练的（就像一个只读过英语教科书的学生）。即使它们能够翻译法语，它们在医学推理方面的“肌肉记忆”也是建立在英语模式之上的。
- 风险：如果法语医院的医生使用这些工具，AI 给出的诊断可能不如对英语医生那样准确，或者解释可能更混乱。
- 结论：论文得出结论，为了让 AI 真正公平并在各地都有用，我们不能仅仅依赖英语。我们需要确保这些模型在法语（和其他语言）中像在英语中一样敏锐。
总结
将这些 AI 模型想象成多语言厨师。如果你用英语给他们食谱，他们能烹饪出美味的菜肴（诊断）。如果你用法语给他们同样的食谱，五名厨师中的四名仍然会做出一顿好饭，但调味可能稍差，或者摆盘可能有点不对劲。只有一名厨师（o3）无论食谱是用什么语言写的，都能烹饪出完全相同的完美菜肴。
论文警告我们，在解决这种“语言偏见”之前，在非英语环境中依赖这些工具可能意味着获得质量稍低的结果。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。