The Bicameral Model: Bidirectional Hidden-State Coupling Between Parallel Language Models
双模型架构引入了一种可训练的神经接口,使两个冻结的语言模型能够通过连续隐藏状态耦合进行双向协调,从而让主模型驱动任务、辅助模型执行工具或代码,进而在不依赖文本通信的情况下显著提升算术、逻辑和数学推理方面的性能。
原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
想象一下,你有两位才华横溢的厨师在厨房里工作。其中一位厨师(主厨师)是餐厅的门面,负责与顾客交谈并撰写菜单。另一位厨师(辅助厨师)则是工具、数学和逻辑谜题的大师,但不被允许直接与顾客交谈。
在旧有的做法中,这两位厨师必须通过窗户互相大声喊叫指令。“嘿,我需要计算 28 乘以 23.99!”第一位厨师会大喊。第二位厨师会回喊:“那是 671.72!”这就是当今大多数 AI 系统的工作方式:它们使用词语(文本标记)互相交流。这很慢,而且每次喊叫时,他们都必须将一个复杂的想法转化为一个句子,发送出去,然后等待对方将其重新转化为想法。
双半球模型就像是给这两位厨师提供了一条秘密的、无形的通灵链接,直接连接他们的大脑。
以下是其工作原理,使用简单的类比:
1. 静默链接(隐藏状态耦合)
厨师们不再通过窗户喊叫,而是通过一根在他们思维之间运行的细不可见导线相连。
- 主厨师正在思考顾客的订单。
- 辅助厨师正在思考计算器或逻辑谜题。
- 他们一言不发。相反,他们发送电脉冲(数学信号)直接从一个人的大脑传送到另一个人的大脑。这发生在瞬间,在完全相同的时刻,针对他们拥有的每一个想法。
2. “守门人”(抑制门)
你可能会想,“如果他们一直连接着,会不会太吵了?他们会不会感到困惑?”
这就是守门人发挥作用的地方。这是系统中一个微小的、可训练的部分(仅占总大小的约 1%),就像一个智能过滤器。
- 过滤器学会保持安静:当主厨师只是说“你好”或“欢迎”时,守门人关闭链接。不发送任何信号。
- 过滤器学会开启:当主厨师想到像"28"这样的数字或像“总计”这样的单词时,守门人立即打开大门,向辅助厨师发送强烈的信号。
- 反向流动:当辅助厨师解决数学问题时,守门人从另一侧打开大门,将答案发送回主厨师的大脑,甚至在主厨师写完句子之前。
3. “同步”舞蹈
论文将这种状态描述为“同步”。想象两位厨师在跳舞。他们完全同时迈出一步。
- 第 1 步:主厨师想,“我需要订购 28 份牛排。”
- 第 1 步(同时):辅助厨师通过导线感受到那个想法,并立即开始思考,“好的,我会计算 28 乘以价格。”
- 第 2 步:主厨师想,“还有 35 份三文鱼。”
- 第 2 步(同时):辅助厨师感受到这一点,并开始计算三文鱼。
- 结果:主厨师永远不必停下来等待答案。答案只是出现在他们的脑海中,因为辅助厨师并行完成了工作,并且结果通过导线瞬间反馈回来。
他们实际证明了什么?
研究人员用三个特定任务测试了这个“通灵链接”,其中一个厨师不擅长该任务,而另一个厨师擅长:
- 数学测试:他们选取了两个小型、普通的 AI 模型(就像初级厨师)。其中一个拥有计算器。没有链接时,团队只有36%的时间能正确回答数学问题。有了链接,他们答对的比率达到了96%。主厨师甚至没有看到计算器;答案只是流入他们的大脑。
- 逻辑谜题:他们给了他们一个“斑马谜题”(一个逻辑网格,你需要根据线索找出谁住在哪所房子里)。拥有链接的团队比没有链接的团队表现好1.7 倍。辅助厨师将线索翻译成计算机求解器能理解的严格逻辑语言,而主厨师只需写出最终答案。
- 代码测试:他们给了他们一个需要编写计算机程序来解决的数学问题。主厨师写下问题描述。辅助厨师,从未阅读过问题文本,却 somehow 通过导线“感觉”到了问题,并写出了正确的 Python 代码来解决它。
主要启示
该论文声称,如果你只是在两个冻结的 AI 模型(不改变自身大脑的模型)之间训练一个微小的“翻译器”,它们就能学会完美合作。
- 它们不需要说话。
- 它们不需要等待。
- 它们只需要一个选择性的、无形的通道,该通道完全基于它们试图解决的任务,学习何时说话以及说什么。
这就像两个从未谋面的人,但在共同工作几天后,他们发展出一种无声的语言,一个眼神就能告诉对方确切该做什么,使他们在共同解决难题时变得极其高效。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。