The Time Value of Evolution

数字进化的长线游戏

想象一下，你正试图教一台计算机解开一个谜题，但你不是直接告诉它答案，而是让它尝试进化出属于自己的解决方案。这就是**进化搜索（evolutionary search）**的世界——一种受自然启发的方法，通过计算机创造许多“后代”（程序的新版本），检查它们的表现，并保留表现最好的部分来产生下一代。通常情况下，计算机是非常缺乏耐心的：如果一个新的“孩子”比它的“父母”表现更差，计算机会立即将其丢弃，心想：“这次变异是个坏主意。”

但如果那个“糟糕”的孩子实际上是一个必要的垫脚石呢？在自然界中，有时动物需要先长出一个奇怪、笨拙的特征，随后才能进化成某种了不起的存在。在计算机科学中，这就是**延迟效用（delayed utility）**的概念：一个现在看起来像是错误的变化，可能会在几步之后开启一个辉碌的解决方案。研究人员提出的核心问题是：我们如何教会计算机保持足够的耐心，去留住这些“弱小”的祖先，直到它们展现出潜力？本文正是在解决这个难题，提出了一种不仅看重即时结果，更看重搜索“未来”价值的方法。

---

进化的时间价值：为何耐心终有回报

认识一下进化的时间价值（Time Value of Evolution）。把它想象成一款视频游戏，你拥有有限的生命（或“搜索预算”）。如果你在玩关卡时做了一个动作，导致你的角色看起来很笨拙并丢了一些分数，普通的玩家可能会惊慌失措并立即撤销这个动作。但一位大师级玩家知道，有时候你必须先退后一步，才能实现之后的飞跃。

在本文中，作者 Matthew Siper、Ahmed Khalifa 和 Julian Togelius 指出，大多数计算机进化算法在执行这种“大师级玩家”策略方面表现得很糟糕。它们太关注眼前的得分了。如果一次变异（对代码的修改）让程序在当下变得稍差，算法就会将其抹杀。作者称之为“即时回报控制（immediate-return control）”，并认为这种方式忽视了一个事实：一个弱小的后代可以成为宝贵的祖先。

为了解决这个问题，他们发明了一种名为**谱系价值策略梯度（Lineage-Value Policy Gradients, LVPG）**的新方法。想象一位教练，他不仅观察玩家当前的动作，还会观察该动作可能创造出的整个可能性之树。LVPG 使用了一个特殊的“评论家”（评判者）来进行前瞻性观察。它会询问：“如果我们保留这个稍差的版本，它的曾孙辈能否成为最优秀的？”如果答案是肯定的，教练就会保留这个“糟糕”的孩子，因为他知道这是一项对未来的投资。

交易博弈

为了测试这一理论，作者设置了一个高风险游戏：自动化交易。他们要求 AI 编写能够买卖股票（具体为标普 500 指数期货、白银和国债）的计算机程序。这是一个极其复杂的游戏，因为市场不断变化，一个今天看起来表现优异的程序，明天可能会崩溃。

他们给了 AI 一个 8 步的“预算”。在每一步中，AI 可以选择：

1. 精炼（Refine）： 进行微小且谨慎的调整。
2. 插值（Interpolate）： 将不同的想法混合在一起。
3. 探索（Explore）： 进行大幅度且大胆的改变。

标准方法（他们称之为 PPO-Immediate）只关注紧接着下一步的结果。如果新程序赚的钱变少了，它就会受到惩罚。而新方法（PPO-Path）则观察整个 8 步的路径。如果一条谱系在经历了一段暂时的下滑后最终找到了赚取更多利润的方法，该方法就会奖励这一动作。

结果：耐心胜出

结果非常明确。“有耐心的”AI（PPO-Path）不仅找到了稍好的解决方案，还找到了好得多的解决方案。

• 更高的得分： 当他们在未见数据上测试最终程序时，有耐心的 AI 将“夏普比率”（衡量交易策略优劣的指标）从 0.862 提升到了 1.321。这在金融领域是一个巨大的飞跃。
• 更少的错误： 缺乏耐心的 AI 经常陷入“暂时性倒退（temporary regressions）”——即在做出一个坏动作后无法恢复的时刻。有耐心的 AI 犯这类错误的次数较少，而且即使犯了错，它的恢复成功率也达到了 48.0%，而缺乏耐心的版本仅为 39.9%。
• “时间价值”的证明： 作者展示了变异的价值不仅在于它现在做了什么，还在于它未来可能做什么。他们发现，向前看一步是可以接受的，但向前看八步（完整的预算）才是最佳平衡点，这显著提高了搜索效率。

底层运作机制

其核心秘诀是一个由两部分组成的“大脑”：

1. 冻结的大脑（ELM）： 一个预训练的语言模型，它懂得如何编写代码。它就像一位被冻结在时间里的代码大师；它在游戏中不进行学习，只负责生成变异。
2. 教练（执行器与评论家）： 附着在冻结大脑上的两个可训练部分。
   • 执行器（Actor） 根据剩余时间和程序的表现，决定进行哪种类型的变异（精炼、插值或探索）。
   • 评论家（Critic） 是那位“时间旅行者”。它观察一个包含 5 步深度的可能未来的“树”（想象一条分支路径），以此来预测当前动作在长远来看有多大价值。它的训练目标是预测该谱系所能达到的“历史最佳”得分，而非仅仅是下一步。

这意味着什么

本文证明了，在一个资源和时间有限的世界里，即时适应度（immediate fitness）是一个骗子。一个今天看起来像失败的变异，可能是明天巨大成功的关键。通过教会 AI 去重视“谱系”（代码的家族树）而非仅仅是“后代”（即时结果），研究人员找到了更好的交易策略。

作者也谨慎地指出，这是一种基于历史数据的模拟，并不保证在现实股市中能获得利润。然而，其原理是稳固的：不要通过第一页就断定一本书的好坏。 在计算机进化的世界里，有时你必须允许故事变得有些混乱，它才能变成一部杰作。通过赋予 AI 等待回报的“时间价值”，他们解锁了一种更聪明、更具韧性的解决方案搜索方式。