Hallucination as a Feature, not a Defect: Evaluating a multi-agent architecture to transform speculative language-model outputs into testable scientific hypotheses
本文提出了一种基于 Rust 的多智能体架构，该架构通过编排高熵投机性生成与低熵经验性实证之间的张力，将大语言模型的幻觉重构为一种创造性特征，并证明了此类系统在必须满足严格物理或制度约束的情况下，在产生可行科学假设方面表现卓越。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在人工智能领域，存在着两个竞争目标之间持久的紧张关系：一是确保事实准确，二是进行创造性思考。现代旨在理解和生成人类语言的计算机程序被训练得非常可靠。它们被教导要避免凭空捏造，这种行为被研究人员称为“幻觉”，因为在新闻、医学或法律领域，一个编造的事实可能是危险的。因此，这些系统通常被调整为严格遵循其已学到的知识，将安全性与准确性置于狂野想象之上。然而，这种严谨性也带来了代价。通过抑制进行大胆猜测的倾向，这些系统可能会失去以新颖方式连接遥远想法的能力，而这正是科学发现与发明的引擎。研究人员面临的问题是，这种“幻觉”纯粹是一个需要修复的漏洞，还是一个如果管理得当，可以帮助产生新科学构想的功能。
一位来自西班牙的年轻研究人员通过构建一个将“大胆猜测”视为起点而非错误的数字系统，探索了这个问题。该研究人员并没有要求单个计算机程序直接解决问题，而是创建了一个由专门的数字代理组成的团队，它们按照特定的顺序协同工作。这一过程始于一个扮演“梦想家”角色的代理，它在不担心真实性或可能性时生成大量的想法。这个代理被鼓励保持松散和创造力，产生许多不同的可能性。这些原始想法随后被传递给第二个代理——“评论家”，其职责是根据现实世界的实事对它们进行检查，通常是通过搜索互联网获取当前数据。第三个代理充当“过滤器”，负责剔除重复的想法并精炼语言，而最后一个“评估者”则决定哪些想法值得保留。其目标是在梦想家的狂野想象与评论家的严格现实检查之间创造一种“生产性摩擦”，迫使系统产生既具原创性又基于事实的假设。
研究人员将这个多代理团队与更简单的方法进行了对比测试，例如要求计算机直接给出答案或仅对其工作进行一次自查。实验重点关注了两个截然不同的问题：寻找一种从海水中脱盐的新方法，以及解决议会中的政治僵局。在第一个案例中，简单的计算机建议使用强大的磁场来移动水，这个想法听起来令人印象深刻，但实际上无法实现脱盐。然而，“梦想家-评论家”团队提出了一个利用类冰结构捕捉盐的方法，这是一个在物理上可行且可以测试的概念。在政治场景中，简单的计算机建议了一种复杂的投票系统，该系统依赖于一个非选举产生的计算机来判断优劣，这是一个在法律上脆弱的提议。相比之下，团队协作的方法开发了一套让政治家可以对自身未来的影响力进行博弈的机制，这一机制在解决核心问题的同时，也尊重了民主规则。
结果表明，全套代理团队不仅仅是产生了比单个计算机更好的答案，而是产生了一种不同类型的答案。当系统被允许自由梦想并随后接受严格检查时，它生成的想法更加多样化，且更有可能具有真正的原创性，同时仍具可行性。然而，研究也发现，这个复杂的系统并不总是最好的工具。对于那些更多涉及逻辑或社会辩论的问题，一种让计算机仅仅审查自身工作的简单方法往往同样有效且速度更快。全套代理团队在想法必须经受严格物理或法律限制（如热力学定律或宪法规则）时，展现出了最大的价值。在这些高风险情况下，外部评论家带来的额外压力有助于剔除那些华而不实但无法实现的方案，并保留下真正能够运作的方案。
这项工作并不证明“编造事实”本身是好事。研究人员明确指出，不受控制的幻觉仍然是一个需要避免的问题。相反，研究表明，只有当狂野的推测被置于一种强制其接受测试的结构之中时，其价值才会显现。通过将“梦想”的行为与“评判”的行为分离，并通过使用不同的工具来核实事实和过滤噪音，将计算机想象力的混乱能量转化为有结构的、可测试的科学假设是可能的。研究结果表明，创造性人工智能的未来可能不在于让机器变得更加谨慎，而在于构建能够识别何时该放手让其狂野、何时该将其拉回现实的系统。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。