Wrong but Useful: Trajectory Value Beyond Answer Correctness in Multi-Agent Messages
本文通过引入多样化假设审议（Diverse Hypothesis Deliberation, DHD）协议，旨在证明多智能体推理系统中的错误消息往往通过辅助下游求解器而具有显著的“轨迹价值”，从而证明仅凭答案正确性不足以作为过滤智能体通信的衡量标准。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一支正在试图破解谜团的侦探团队。在人工智能的世界里，这些侦探就是“智能体”（agents）——即通过互相聊天来解决难题的计算机程序。通常，当团队集会时，领导者（“整合者”）必须决定该信任哪位侦探的故事。旧有的规则很简单：“如果一名侦探给出了错误的最终答案，就将其整个故事丢进垃圾桶。”这看起来很合逻辑；既然某人算错了数字，为什么要听他的？但这篇论文提出了一个引人入胜的问题：如果这位侦探只是在最后关头犯了一个数学错误，但在整个过程中一直在解释一种拆解问题的绝妙且有用的方法呢？也许他们的答案是个红鲱鱼（误导信息），但他们的推理过程却是团队所需的金钥匙。这项研究深入探讨了人工智能协作中混乱的中间环节，旨在观察我们是否仅仅因为最终数字不对，就丢弃了那些最好的创意。
这项研究的作者们使用像 gpt-oss-120b 和 gemma-4-31B-it 这样的模型，设计了一个被称为“多样化假设审议”（Diverse Hypothesis Deliberation, DHD）的巧妙实验。把它想象成一场团队会议的“时空回放”。他们召集了五个不同的 AI 智能体，每个智能体都有特定的角色（比如化学家、物理学家或工程师）来解决一个问题。每个智能体都写了一条包含其推理过程和最终答案的消息。然后，研究人员玩了一场“如果……会怎样”的游戏。他们收集了同样的一组消息，并让“整合者”（团队领导）反复运行多次。在一次运行中，他们让领导者看到全部五条消息；在另一次运行中，他们隐藏了其中一条特定的消息，并要求领导者仅根据剩余的四条消息再次解决问题。
巨大的惊喜在于？他们发现，“错误”并不总是意味着“无用”。事实上，在五种不同的高难度基准测试（范围从数学竞赛到科学考试）中，他们发现，在十次中超过四次的情况下，当一条带有错误答案的消息改变了团队的最终结果时，这种改变实际上是有帮助的。这就像一名侦探说：“是管家干的！”（这是错的），但随后解释道：“管家是唯一拥有书房钥匙的人。”（这是一个极其聪明的线索）。尽管结论错了，但这个线索帮助团队破案了。相反，他们也发现，有时一位给出正确最终答案的侦探反而会让团队感到困惑，从而导致错误的解决方案。
论文指出，“错误但有用”的魔力主要来自于消息中的推理部分，而非答案本身。当他们通过仅隐藏推理过程或仅隐藏答案来进行测试时，他们观察到，保留推理过程——即使附带一个错误的答案——比仅保留答案更能挽救局面。这意味着，为了让 AI 团队变得更聪明，它们不应该仅仅根据最终数字是否正确来过滤消息。相反，它们需要一种能够倾听“过程”的方式，即便“产物”是有缺陷的。这项研究并不声称已经构建出了完美的 AI 系统，但它证明了“只信任正确答案”这一旧规则正在错失大量的宝贵信息。在未来，AI 系统可能会学会保留那些“错误但有用”的消息，意识到一个错误的答案仍然可以成为推理过程的一个非常好的伙伴。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。