Inference-Time Agentic Decision Rules Beat Longer Evolving Search for Multi-Image Medical Reasoning

想象一下，你正在试图破解一个谜团，但你手里拿到的不是单一的线索，而是一叠按特定顺序讲述故事的照片。也许是一组显示骨骼愈合过程的 X 光片，或者是追踪风暴发展的卫星图像序列。在人工智能的世界里，这被称为“多图推理”（multi-image reasoning）。它不仅仅是识别单张图片中的内容，更是要理解故事在每一帧之间是如何变化的。

长期以来，科学家们认为让计算机解决这些难题的最佳方法是给它一套非常长且详细的指令（即“提示词”），然后让它尝试数百万种不同的指令变体，看看哪一种效果最好。他们使用了一种叫做“进化搜索”（evolutionary search）的方法，这就像是数字版的自然选择：你创造许多版本的程序，让表现最好的版本存活下来，并将它们混合以创造出更优越的版本。当时的一个大问题是：成功的秘诀仅仅是拥有一台更强大、能尝试更多变体的计算机吗？还是说，秘诀实际上在于计算机最初决定如何观察线索的方式？这篇论文正是针对这个问题展开探讨的，它测试了拥有更聪明的策略是否比单纯进行更长的搜索更为重要。

---

AI 大侦探大赛

在这项研究中，研究人员为 AI 智能体（聪明的计算机程序）设置了一场高规格的竞赛，让他们利用一个名为 MedFrameQA 的数据集来破解医学谜题。你可以把这个数据集看作是一个巨大的医学案例库，每个问题都附带一组由 2 到 5 张图像组成的序列。AI 必须观察整个序列，并从给出的选项列表中选出正确答案。

研究人员并没有只是向 AI 投喂随机的指令。相反，他们使用了一个强大的引擎——ShinkaEvolve 来“进化”这些指令。他们给了每位参赛者完全相同的时间和计算能力（50 代进化过程）来改进其策略。目标是观察哪种类型的“决策规则”效果最好。

以下是他们测试的五位参赛者：

1. 固定基准（The Fixed Baseline）： AI 看一眼所有的图像和问题，然后立即做出判断。这是一种“一锤子买卖”的方法。
2. 推理支架（The Reasoning Scaffold）： AI 被要求“一步步思考”，并在给出答案前解释其逻辑。这就像要求一名学生展示其解题步骤。
3. 顺序投票（Order-Vote）： 这是最聪明的一个。AI 会观察图像，但它会打乱答案选项（A, B, C, D）的顺序，并多次询问同一个问题。如果无论如何打乱列表，AI 始终选择“B”，那么这就是一个强有力的投票。它随后统计所有投票，以做出最终决定。
4. 顺序重排序（Order-Rerank）： 这是重量级选手。它采用了投票机制，但如果票数非常接近，它会回到第二阶段，对排名前两位的选项进行极其详细的对比分析。这就像是一名法官主持第二次审判。
5. 顺序投票+（Order-Vote+）： 这是一个混合版本，只有在第一次投票结果不确定时，才会进行第二轮检查。

令人惊讶的赢家：简约胜出

在为了确保结果并非偶然而进行了五次实验后，研究人员发现了一个明确的赢家。获胜的并不是那个尝试最努力或使用了最复杂逻辑的 AI。

顺序投票（Order-Vote） 策略摘得了金牌，实现了 57.89 ± 0.65% 的最终准确率。

• 它击败了简单的“固定”基准，后者的准确率仅为 52.73 ± 0.42%。
• 它也击败了更为复杂且运行成本更高的“顺序重排序”（Order-Rerank）策略，后者的得分为 55.79 ± 0.43%。

为什么简单的投票法会获胜？研究人员认为，医学图像非常棘手。有时，你列出答案（A, B, C, D）的顺序可能会在无意中误导 AI 去选择错误的选项。顺序投票 策略就像一位睿智的侦探，他不相信自己的第一直觉。相反，他会从不同的角度反复询问同一个问题，以观察答案是否保持一致。通过在这些不同的视角下进行“投票”，AI 变得更加稳健，不容易仅仅因为选项被重新排列就犯下低级错误。

相比之下，顺序重排序 策略的表现反而不如预期。它试图进行深度的第二阶段分析，但结果却适得其反。这就像是一名侦探，由于花了太多时间重新审查证据，反而导致了混乱或犯了新的错误。研究发现，这种复杂的方法具有“脆弱性”——它在某些情况下表现良好，但在整体上失败的频率更高，并且需要显著更多的计算能力（最终测试时约为 417.2 秒，而获胜者的测试时间仅为 331.5 秒）。

“越多越好”的迷思破灭了

这是故事中最令人惊讶的部分。研究人员问道：“如果我们让 AI 进化得更久呢？比如 100 代而不是 50 代？”

他们原以为更多的时间会带来更聪明的 AI。然而，事实恰恰相反。当他们让 顺序投票 策略进化 100 代 时，它在最终测试中的表现反而从 57.89% 下降到了 56.02%。

这表明，给予 AI 更多的时间进行搜索并不会让它变得更聪明，反而会让它更擅长死记硬背练习题（即“留存集”），却忘记了如何处理真实的、未见过的测试题目。这就像一名学生为了应对特定的模拟考试而过度复习，以至于他们记住了答案，但在面对真正的考试时却无法理解核心概念。研究人员得出结论：定义正确的决策规则远比单纯延长搜索时间更为重要。

这对未来意味着什么

这篇论文并不声称已经解决了所有的医学难题，也不认为这些 AI 智能体已经准备好取代真正的医生。事实上，作者非常谨慎地指出，这是一项“基准测试”研究，而非临床研究。然而，研究结果为任何构建智能 AI 系统的人提供了至关重要的教训。

如果你想让 AI 对图像序列进行推理，不要仅仅向它投入更多的计算能力，或者通过更长的指令要求它“更努力地思考”。相反，你应该设计一个对混乱具有鲁棒性的系统。顺序投票 法证明了，通过打乱选项来检查自身工作的简单、聪明的策略，比一个试图过度分析每一个细节的复杂且昂贵的系统要有效得多。

最后，论文表明，在 AI 的世界里，策略的质量胜过搜索的数量。一个无论线索如何呈现都能保持稳定的聪明且简单的规则，才是破解复杂医学谜题的关键。