Capabilities of Claude Fable 5 on Biomedical Challenge Problems
本文揭示了尽管 Anthropic 的 Claude Fable 5 在参与回答时能在生物医学基准测试中达到顶尖的准确度，但其在实际应用中的效用受到了一种独特且普遍存在的倾向的严重限制，即该模型会拒绝回答很大一部分问题——而这种模式在其前代产品以及 GPT-5 中均不存在。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你拥有一个超级聪明的机器人图书管理员——Fable 5。它是 Anthropic 最新的、功能最强大的造物，旨在阅读医学教科书、观察 X 光片并解决棘手的生物学难题。但转折在于：当你问它问题时，它有时只是用双手捂住耳朵说：“我无法回答这个问题”，而不是给出一个错误的答案。
这篇论文就像一个侦探故事，研究人员试图弄清楚：这个机器人是真的变笨了，还是仅仅对谈论什么话题变得极其挑剔？
伟大的“我不能”之谜
研究人员将 Fable 5 与其他三个机器人（它的两个旧版本以及一个竞争对手 GPT-5）进行了对比，测试了八项不同的医学挑战。这些挑战范围广泛，从关于 USMLE 考试的选择题到观察肿瘤图像并诊断罕见疾病。
大惊喜：
乍看之下，Fable 5 看起来像是输家。在许多测试中，它的原始得分比其他机器人都要低。但研究人员意识到发生了一些奇怪的事情。他们发现 Fable 5 拒绝回答了大量的题目。
- 在一个名为 RareBench（关于罕见疾病）的测试中，Fable 5 拒绝了 99.4% 的问题。它基本上对几乎所有问题都说了“不”。
- 在其他测试中，它的拒绝率在 8.0% 到 42% 之间波动。
其他机器人呢？它们几乎不拒绝任何问题（不到 0.4%）。它们只是试图回答所有问题，哪怕是错误的。
“计分式”计分板
这是研究人员使用的神奇技巧。他们决定不再将“我不能”的回答计为“错误”的回答。相反，他们只关注 Fable 5 真正尝试回答的问题。
当他们这样做时，故事发生了反转：
- MedQA（医学考试）： Fable 5 的“真实”准确率跃升至 96.6%，击败了所有人。
- PubMedQA： 它达到了 81.3%，再次领先于其他机器人。
- RareBench： 这是最疯狂的部分。因为 F-able 5 拒绝了 99.4% 的问题，它实际上只回答了 6 个问题。但在这些问题上，它的正确率仅为 0.36%。等等，这听起来很糟，对吧？但研究人员指出，这个微小的数字并不是衡量其大脑能力的指标；它仅仅是衡量它有多少次没有闭嘴。当他们尝试用一种不太像“医生”的方式来提问时，F-able 5 回答得更多了，而在这些新回答中，它的正确率达到了 39.4%——比其他机器人在原始问题上的表现还要好！
主要发现： 论文得出结论，Fable 5 并非真的能力下降。事实上，只要它决定开口说话，它通常就是房间里最聪明的机器人。 问题不在于它的脑力，而在于它的参与意愿。这就像一个天才学生，除非问题的表述方式非常符合其特定的要求，否则他拒绝参加考试。
两种“不回答”模式
研究人员深入挖掘，试图找出 Fable 5 为什么说“不”。他们发现了两种截然不同的模式，就像两种不同的过滤器：
- “基础科学”过滤器： 在标准医学考试（MedQA 和 MedXpertQA MM）中，Fable 5 主要拒绝关于基础科学和机制的问题（例如药物如何起作用或心脏如何跳动）。它乐于回答有关诊断患者的问题，但如果问题涉及底层生物学，它往往会陷入沉默。
- “罕见病”过滤器： 在 RareBench 测试中，拒绝并非源于科学类型。而是关于疾病。
- 它几乎拒绝了所有关于先天性代谢疾病（婴儿出生时携带的罕见状况，如 PKU）的问题。
- 它对于回答有关成年期自身免疫性疾病（如红斑狼疮）的问题则更为乐意。
- 研究人员尝试改变提示词，使其听起来不像是一个“临床决策支持系统”，而更像是一个中立的列表，但这并没有产生太大帮助。即使使用中立的提示词，90.7% 的罕见病问题仍然被拒绝了。
他们排除了哪些可能（“排除清单”）
论文非常谨慎地说明了导致这些拒绝行为的不是什么：
- 不是因为问题太难。 研究人员检查后发现，Fable 5 拒绝了其他机器人能够正确回答的问题。
- 不是因为问题是开放式的。 它拒绝选择题的频率与拒绝开放式问题的频率一样高。
- 不是因为提示词听起来太具“权威性”。 将提示词从“你是一名医生”改为“这里有一位患者”，仅微弱地改善了拒绝率（从 99.4% 降至 90.7%）。
- 不是为了“退回到”旧模型。 有时公司会通过秘密切换到更安全、更旧的模型来掩盖拒绝行为。研究人员检查了日志，确认当它说“不”时，它确实仍是 Fable 5。
结论
论文并未声称知道 Fable 5 为什么有这些特定的过滤器。作者承认他们无法窥视机器人的大脑，无法得知这究竟是一种过度设计的安全特性还是一个故障。
然而，他们非常确定一点：只要你能让 Fable 5 回答，它就极其准确。 它的原始得分与其真实能力之间的差距，完全是因为它拒绝参与游戏，而不是因为它缺乏技能。
因此，如果你是一名使用该工具的医生或研究人员，论文建议：不要仅仅因为它说“我不能”就认为它变笨了。 它可能只是表现得过于谨慎。挑战不在于教它更多的医学知识，而在于研究如何以一种能让它开口说话的方式来提问。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。