HELIX: Model-Harness Co-evolution for Recursive Self-Improvement

想象一下，你正在试图教一名才华横溢但缺乏经验的学徒如何修理一只坏掉的时钟。在人工智能的世界里，“学徒”就是 AI 模型——一个拥有海量知识、却不知道如何在现实世界中行动的大脑。长期以来，科学家们认为让学徒变得更优秀的唯一方法是让大脑更聪明。他们喂给它更多的书籍、更多的数据和更复杂的课程。

但问题在于：学徒并不是在真空中工作的。他们在工作坊里工作。这个工作坊就是“护栏”（harness）。它是规则、工具和指令的集合，告诉学徒何时拿起螺丝刀，如何寻求帮助，如果掉落了一个齿轮该怎么办，以及何时停止工作。如果工作坊很混乱，学徒就会感到困惑；如果工具很钝，即使学徒是个天才，也会失败。你即将阅读的这篇论文表明，要真正提升学徒，我们不能只升级他们的大脑，我们必须将大脑与工作坊结合起来进行升级，让两者在一个循环中互相促进，共同成长。

---

螺旋（HELIX）：大脑与工作坊之间的舞蹈

认识一下 HELIX，这是一个由香港大学研究人员创建的新系统。可以将 HELIX 想象成一位大师级匠人，他意识到制造完美机器人的秘诀不仅仅是让机器人的大脑更聪明，而是要意识到机器人的“大脑”（AI 模型）和它的“工作坊”（护座/护栏）是最好的朋友，需要共同成长。

通常，当我们试图让 AI 变得更好时，我们会将大脑和工作坊视为两个独立的事物。我们先造出一个大脑，然后在它周围建造一个工作坊，并希望它们能相处融洽。但 HELIX 认为，这就像是在只改变游泳者的肌肉力量，却保持水温和泳池规则完全不变的情况下，试图教一个游泳者游泳。游泳者可能会变得更强壮，但如果水太冷或者规则太混乱，他们仍然可能会溺水。

核心理念：协同进化
HELIX 引入了一个概念，叫做“模型-护栏协同进化”（Model-Harness Co-evolution）。想象你在玩一款电子游戏，你正在操控一个角色。这个角色就是模型，而游戏控制（按钮、物理规则、地图）就是护栏。

• 旧方式： 你花费数小时苦练来增强你的角色，但你始终在同一个枯燥、破损的关卡中玩耍。
• HELIX 方式： 你玩一个关卡。如果你赢了，你会学习自己是如何赢的；如果你输了，你会学习自己为什么输。然后，你会根据发生的情况，微调游戏控制（护栏）使下一关略有不同，同时根据发生的情况微调你的角色训练（模型）。你不断重复这个过程。角色变得更擅长游戏，而游戏也变得更擅长教导角色。

HELIX 如何运作：构建-更新-重建循环

论文描述了一个被称为 构建-更新-重建（Build-Update-Rebuild） 的三步舞步。在 HELIX 系统中，它是这样进行的：

1. 构建（Build）： 系统采用一个固定的 AI 大脑，并为其构建许多不同的“工作坊”。这就像是建造了 65 个不同版本的工作坊，每个版本都有略微不同的工具、规则或安全检查。
2. 更新（Update）： AI 大脑尝试在所有 65 个工作坊中解决一个问题（例如修复一段代码）。有些工作坊帮助它成功，有些则让它以有趣的方式失败。HELIX 不仅仅是丢弃这些失败案例。它会保存它们！它创建了一个“兄弟记录”：“这是大脑在工作坊 A 中解决问题的方式，而这是它在工作坊 B 中失败的方式。”这些记录成为了大脑的一本特殊的训练手册。
3. 重建（Rebuild）： 大脑通过训练手册变得稍微聪明了一些。但现在，旧的工作坊可能不再适合这个新的、更聪明的大脑。因此，HELIX 会重建工作坊，设计出能匹配大脑新超能力的全新工具和规则。

他们的发现：不仅仅是一个更好的大脑

研究人员使用一组 100 个编程任务（如修复计算机程序中的漏洞）测试了这个想法。他们从一个名为“Pi”的标准设置开始，并让 HELIX 演化出了 64 个新的工作坊变体。

结果：

• 最佳单一工作坊： 通过混合搭配不同工作坊的部分内容，HELEX 找到了一个特定的设置，解决了 100 个任务中的 52 个。原始设置仅解决了 50 个。虽然增幅不算巨大，但它证明了改变工作坊 确实 有助于大脑表现得更好。
• 组合的力量： 这是最酷的部分。如果你观察 所有 65 个工作坊作为一个整体，它们解决了 100 个任务中的 79 个。这意味着，虽然没有任何一个单一的工作坊是完美的，但这组工作坊覆盖了更广的领域。这就像拥有一支由 65 名不同机械师组成的团队；即使没有哪位机械师能修理所有的车，整个团队也能修理几乎所有的车。
• 数据金矿： 最重要的发现不仅是解决的任务数量，而是数据本身。通过让 AI 运行在这些不同的工作坊中，HELIX 生成了 438 条经过验证的训练记录。这些记录不仅仅是“赢”或“输”的分数。它们是详细的故事：“这个解决方案有效但很凌乱”、“这个解决方案失败是因为违反了安全规则”，以及“这个解决方案非常完美”。这种丰富的数据正是 AI 下次学习如何思考得更好的所需资料。

为什么这很重要

这篇论文表明，我们看待 AI 进步的角度一直存在偏差。我们曾认为：“只要把大脑做大，它就能解决一切。” HELIX 展示了大脑只是故事的一半。它所处的环境——规则、工具、安全检查——同样重要。

通过将大脑和工作坊视为一个共同进化的团队，HELIX 创建了一个自我改进的循环。工作坊帮助大脑学习，而更聪明的大脑有助于设计更好的工作坊。这是一个不断收紧且更高效的循环。

研究人员谨慎地指出，这并不是解决一切的魔杖。他们发现并非每个新工作坊都更好，有些甚至更差。他们还注意到，他们还没有利用这些数据去真正 训练 一个新的大脑——他们只是收集了数据。但他们已经证明了这种方法是有效的：你只需通过演化 AI 与世界交互的方式，就可以构建出一个能够生成高质量、经过验证的学习材料的系统。

简而言之，HELIX 是一个蓝图，预示着一个未来：在那里，AI 不仅仅是靠自身变得更聪明，而是因为它拥有了一个更好的游乐场，然后我们又为更聪明的版本构建了一个更好的游乐场，以此类推。这就像是教一个孩子在浴缸里游泳，与教他在一个能随着技能增长而改变形状的泳池里游泳之间的区别。