技术摘要：ELMER —— 用于探索与精炼的进化语言模型

1. 问题陈述

程序进化传统上面临一个关键的脱节问题：虽然它可以衡量一次变异是否提升了适应度，但它缺乏对变异在**行为空间（behavior space）**中移动幅度的控制。目前的各种方法依赖于语法代理（例如，Token、树或子树编辑）作为变异规模。这些代理是不可靠的，因为微小的语法变化可能会剧烈改变策略的执行轨迹，而大规模的重写可能却保留了相同的行为。本文指出，需要一种变异规模，其请求的幅度能直接预测实现的行为位移。

2. 方法论

作者提出了 ELMER，该系统将用于变异的表示与用于评估的表示解耦。其核心创新是一个进化语言模型，它在自然语言（NL）策略描述上进行搜索，并将其编译为类型化的可执行程序。

系统架构

• 表示： 策略以标准化的自然语言描述形式进行变异。
• 执行： 一个学习到的编译器将 NL 描述映射到**遗传编程交易语言（GPTL）**代码，用于确定性执行和回测。
• 行为位移： 定义为在共享的历史轨迹上，父代与子代动作序列之间的原始信号不一致性。
• 模型： 一个经过完全微调的 Qwen3-8B 模型学习了三种任务条件操作：
  1. 条件语义变异： 给定父代描述、回测反馈以及请求的强度（$s \in \{low, medium, high\}$），生成子代 NL 描述。
  2. NL-to-GPTL 编译： 将 NL 翻译为可执行代码。
  3. GPTL-to-NL 翻译： 将代码转换回标准化的 NL 格式。

训练流水线

训练过程涉及两个截然不同的阶段，以学习基于行为的控制：

1. 基于行为的监督微调（SFT）：
   • 从高适应度 GPTL 程序开始构建“退化链”进行监督。
   • 应用语法有效的 AST 编辑以降低适应度，从而创建具有已知行为距离的父代-子代转换。
   • 这些转换被反转并渲染为 NL 对，从而教会模型将语义编辑与特定的行为位移联系起来。
2. 共同父代偏移直接偏好优化（oDPO）：
   • 为了强化控制力，模型使用一种偏好框架进行优化。
   • 对于给定的父代和请求的强度，模型倾向于选择其实现的位移最接近目标区间（$\mu_s$）而非偏离目标的子代。
   • 不同于标准的 DPO 仅优化二元质量，oDPO 结合了基于位移偏差的成对依赖边际（pair-dependent margins），使模型能够学习变异空间中可控的序数几何结构。

实验设置

• 领域： 使用 2008–2025 年每小时数据的金融交易（E-mini S&P 500、白银、美国国债）。
• 协议： 在严格的时间留出测试下进行固定预算的进化搜索。实验设计包含 216 次搜索（分布在学习算子矩阵中：六个算子、三种算法、三种资产和四个种子）以及一个单独的 36 次搜索 AST 矩阵（用于原生基准测试），总计 252 次搜索。
• 基准模型：
  • 未经训练的基础模型。
  • 不带强度标签的 SFT。
  • 仅提示词条件的模型（带有强度词但缺乏行为落地）。
  • 基于行为的 SFT（不含 oDPO）。
  • 原生 AST 变异（手工设计的算子）。
  • 匹配的代码输出 oDPO（使用相同的训练数据/目标，但输出 GPTL 代码而非 NL）。

3. 核心贡献

1. 执行落地的变异定义： 基于实现的动作序列不一致性的变异位移定义，并结合了有序行为区间的条件变异算子。
2. 多任务行为落地模型： 一个用于语义变异、编译和翻译的单一 LLM，利用可执行转换，使模型能够学习“变异多远”。
3. 受控消融实验： 系统地隔离了领域微调、基于行为的条件化、oDPO 以及自然语言表示的作用。
4. 机制分析： 对校准、语义编辑组合以及语法-行为局部性进行了分析。

4. 结果

研究报告了在 252 次固定预算搜索（216 次学习算子运行和 36 次原生 AST 基准运行）中的结果。

• 校准（强度控制）：
  • oDPO 在请求强度与实现位移之间实现了 0.824 的平均 Spearman 相关系数。
  • 仅基于行为的 SFT 实现的关联度为 0.310，而仅提示词条件的关联度仅为 0.018。
  • oDPO 成功地将偏序关系转化为一致的区间控制。
• 搜索效率：
  • 在最佳至今（best-so-far）验证适应度的曲线下面积（AUC）方面，NL oDPO 显著优于基于行为的 SFT、原生 AST 变异以及匹配的代码输出 oDPO 模型。
  • 匹配的代码输出控制（隔离了表示变量）表明，相比于直接的代码变异，NL 在有限预算搜索中具有效率优势。
• 留出性能（Held-Out Performance）：
  • NL oDPO 发现了观测到的最高留出策略（夏普比率达 2.3445）。
  • 虽然基于行为的 SFT 在描述性聚合指标中显示出最高的平均值和前四分位数测试适应度，但 NL oDPO 在上尾部性能（upper-tail performance）方面表现更优。
• 机制洞察：
  • 语义组合： 请求的强度系统性地改变了编辑类型。低强度以参数变化为主（86.4%），而高强度则转向结构性重写、指标替换和逻辑翻转。
  • 语法-行为局部性： 与原生 AST 变异（$\rho=0.44$）相比，NL 变异在语法距离与行为位移之间表现出更强的相关性（$\rho=0.88$）。
  • 适应度保持： 在匹配的小到中等程度的行为位移时，NL 变异比原生 AST 变异更能保持父代适应度，且灾难性失败率更低（9% vs 14%）。

5. 意义与主张

本文声称，语言可以作为可执行程序空间上的可控、执行落地的搜索表示。通过将语义变异与确定性执行分离，ELMER 解决了程序进化历史上无法控制行为变化幅度的难题。

作者强调，该系统使程序进化超越了“盲目的语法扰动”，迈向了“蓄意的、基于执行落地的移动”。其核心发现是，模型不仅学习了“改变什么”，还学习了在行为空间中“移动多远”。尽管结果显示在校准和搜索效率方面有显著提升，但作者对上尾部性能的泛化性保持谨慎，指出外层循环模式（如 MAP-Elites 与 $(\mu, \lambda)$-ES）是异质的，且实验并未完全隔离存档记忆在保持结构化探索中的作用。

这项工作证明，通过 oDPO 将行为位移引入语言模型进行条件化，可以创建一个可靠的序数控制机制，从而实现比传统语法算子或无条件语言模型更高效的程序空间探索。