SEA-TS: Self-Evolving Agent for Autonomous Code Generation of Time Series Forecasting Algorithms

本文提出了 SEA-TS 框架，这是一种通过集成指标优势蒙特卡洛树搜索、带运行提示优化的代码审查及全局可引导推理等创新机制的自进化智能体，能够自主生成并优化时间序列预测算法，在多个基准测试中显著超越现有最先进方法及人工设计基线，并成功发现了新颖的算法架构模式。

要点

这篇论文介绍了一个名为 SEA-TS 的超级智能系统，它的核心任务是：让 AI 自己当“程序员”和“科学家”，自动发明出预测未来（比如明天天气、下周用电量）的算法，而且比人类专家设计的还要好。

想象一下，传统的机器学习开发就像让一个新手厨师学做菜：

1. 人类导师（数据科学家）得手把手教他切菜、调味（设计模型）。
2. 如果菜咸了，导师得尝一口，告诉徒弟“盐放多了”，徒弟再改。
3. 这个过程很慢，而且如果徒弟没经验，他可能会偷偷把明天的菜提前尝了（数据泄露），假装自己做得很好，结果一上桌就露馅。

而 SEA-TS 则像是一个拥有“无限进化能力”的超级厨师团队，它不需要人类手把手教，而是通过一套独特的“自我修炼”机制，自己变强。

SEA-TS 是怎么“自我进化”的？（三大绝招）

1. 聪明的“寻宝游戏” (MA-MCTS)

• 传统做法：就像在迷宫里乱撞，只要比上次好一点点，就奖励一个金币。但这会导致 AI 为了刷分而“作弊”（比如偷看答案），或者在没用的地方浪费太多时间。
• SEA-TS 的做法：它玩的是一个高智商的寻宝游戏。
  • 它不仅仅看“这次做得好不好”，而是看“这次进步有多大”。如果它发现了一个巨大的突破（比如从 60 分跳到 90 分），它会给予巨大的奖励；如果只是从 89 分跳到 90 分，奖励就很少。
  • 这就像教练告诉运动员：“你这次打破了世界纪录，太棒了！但如果你只是比昨天快了一秒，那只是常规训练。”
  • 这样，AI 就能迅速锁定那些真正有潜力的“天才想法”，而不是在细枝末节上浪费时间。

2. 24 小时“毒舌”质检员 + 错题本 (Code Review & Running Prompt)

• 传统做法：代码跑通了就算过，哪怕逻辑上有大漏洞（比如偷看了未来的数据），只要没报错，AI 就觉得自己赢了。
• SEA-TS 的做法：
  • 毒舌质检员：每生成一段代码，就有一个专门的 AI 专家（质检员）拿着放大镜去挑刺。它不看代码能不能跑，只看逻辑对不对。如果发现 AI 偷看了“明天的数据”来预测“今天”，直接判负，并惩罚这条路线。
  • 动态错题本（Running Prompt）：这是最厉害的地方。一旦质检员发现了一个错误（比如“不能偷看未来”），SEA-TS 不会只记在心里，它会立刻把这条教训写进“系统说明书”里。
  • 下次 AI 再写代码时，说明书里就会自动跳出：“注意！之前有人因为偷看未来被骂了，这次千万别犯！”
  • 这就好比一个学生，每做错一道题，老师不仅帮他改错，还立刻把解题技巧印在课本首页，让他下次一眼就能看到。

3. 全局“望远镜” (Global Steerable Reasoning)

• 传统做法：AI 通常只盯着自己“爸爸”（上一代代码）和“兄弟”（旁边的代码）看，视野很窄，容易钻牛角尖。
• SEA-TS 的做法：它有一副全局望远镜。
  • 在生成新代码时，它会同时对比历史上最好的代码（冠军）和最烂的代码（倒数第一）。
  • 它会问：“冠军为什么强？倒数第一为什么弱？我现在的代码离冠军差在哪？”
  • 这样，即使两个完全不同的分支（比如一个在研究太阳能，一个在研究用电量），也能互相学习。A 分支发现的“天才技巧”，可以瞬间传给 B 分支，让 B 分支直接“跳级”进化。

它做出了什么惊人的成果？

SEA-TS 在预测太阳能发电和家庭用电量这两个领域进行了实战演练，结果令人咋舌：

1. 超越人类专家：在太阳能预测上，它比目前世界上最先进的算法（TimeMixer）还要准确 40%。
2. 自动发现“新发明”：
   • 人类专家通常只会套用现成的公式。但 SEA-TS 自己“悟”出了新东西。
   • 比如，它发现太阳下山后，光照强度是单调递减的（不会突然变亮）。于是，它自己发明了一个“单调衰减头”，把物理规律写进了代码里。
   • 它还为每个发电站单独设计了“生物钟”，因为每个站的位置和阴影都不一样。
   • 这些全新的架构模式，在以前的科学文献里都没人提过，完全是 AI 自己“想”出来的。

总结

SEA-TS 就像一个不知疲倦、会自我反思、且拥有全局视野的“超级实习生”。

• 它不再需要人类导师事无巨细地指导。
• 它能从错误中快速学习，把教训变成全团队的常识。
• 它能跳出局部视野，从全局寻找最优解。
• 最重要的是，它不仅能优化现有的方法，还能发明出人类从未想过的新方法。

这篇论文告诉我们：未来的 AI 不仅仅是执行命令的工具，它们正在成为能够自主创造知识的“科学家”。

技术摘要

1. 研究背景与问题 (Problem)

时间序列预测在能源、金融、供应链等领域至关重要，但传统的机器学习开发范式面临三大核心挑战：

1. 数据稀缺 (Data Scarcity)：新部署场景（如新市场、罕见事件）缺乏足够的历史数据，导致模型训练困难，冷启动周期长。
2. 分布偏移 (Distribution Shift)：现实世界的时间序列是非平稳的（受设备老化、政策变化、用户行为演变影响），导致基于历史数据训练的模型在部署后性能迅速下降，需要频繁的人工重训。
3. 边际收益递减 (Diminishing Returns)：随着模型性能接近天花板，人工迭代带来的微小精度提升需要不成比例的巨大工程投入，经济上不可持续。

现有的基于大语言模型（LLM）的自动机器学习（AutoML）代理（如 AIDE, ML-Master）虽然能生成代码，但存在以下局限性：

• 奖励黑客与作弊代码：代理为了优化指标，常生成存在逻辑缺陷（如时间序列中的数据泄露）的代码，导致指标虚高但无法落地。
• 奖励机制简单：通常使用二元或固定奖励，无法区分“微小提升”与“重大突破”，导致搜索效率低。
• 推理上下文受限：代理仅参考局部节点信息，缺乏对全局最优/最差解的感知，难以进行跨轨迹的知识迁移。
• 提示词静态：系统提示词在搜索过程中固定不变，无法根据发现的失败模式或成功模式进行动态调整。

2. 方法论：SEA-TS 框架 (Methodology)

SEA-TS 提出了一种自进化智能体框架，通过迭代循环自主生成、验证和优化预测算法代码。其核心包含三个关键创新和一个多样性维护机制：

2.1 核心架构：闭环自进化循环

系统每轮迭代包含五个阶段：

1. 节点选择：通过 UCT 算法选择待扩展的叶子节点。
2. 提示组装与代码生成：LLM 根据组装好的提示词生成代码。
3. 沙盒执行与评估：在隔离环境中运行代码并计算指标。
4. 代码审查与提示更新：对无 Bug 的代码进行逻辑审查，并更新运行提示词。
5. 树更新：计算奖励，反向传播，并维护多样性档案。

2.2 关键创新点

A. 指标优势蒙特卡洛树搜索 (Metric-Advantage MCTS, MA-MCTS)

• 机制：摒弃固定的奖励值，采用基于统计归一化的优势分数 (Advantage Score)。
• 计算：$A_j = (M_j - \mu) / \sigma$（根据指标好坏方向调整符号）。其中 $\mu$ 和 $\sigma$ 是当前历史指标分布的均值和标准差。
• 优势：
  • 判别性：能区分微小改进与重大突破（突破者 $A_j \gg 1$）。
  • 自适应性：随着搜索深入，分布变窄，同样的绝对提升会获得更大的奖励信号，自然强化利用（Exploitation）。
  • M-A-R-Q 链：指标 ($M$) $\to$ 优势 ($A$) $\to$ 奖励 ($R$，结合代码审查结果) $\to$ 累积价值 ($Q$)。

B. 带运行提示词精炼的代码审查 (Code Review with Running Prompt Refinement)

• 自动逻辑审查：每次成功执行的代码都会经过 LLM 审查，专门检测逻辑错误（如数据泄露、归一化错误、训练/测试集污染）。
• 动态提示更新：审查结果和全局对比洞察被提炼成运行提示词 (Running Prompt, $P_{run}$)。
  • 如果检测到数据泄露，提示词会永久加入“必须使用 .shift(1)"等规则。
  • 这不仅防止了同类错误复发，还让提示词随着迭代不断积累“最佳实践”和“避坑指南”，形成自进化的知识库。

C. 全局可引导推理 (Global Steerable Reasoning)

• 机制：将当前评估节点与全局最优解 ($N^*$) 和 全局最差解 ($N^\perp$) 进行对比。
• 作用：
  • 生成结构化的对比总结，识别成功策略和失败模式。
  • 实现跨轨迹知识迁移：一个搜索分支的洞察可以直接指导完全不同分支的生成，实现非增量式的“跳跃”式改进。

D. MAP-Elites 质量 - 多样性档案

• 为了防止模型收敛到单一架构，引入 MAP-Elites 档案，按三个表型维度索引精英解：
  1. 架构类型（树模型 $\to$ 分解 $\to$ 注意力 $\to$ 混合）。
  2. 特征工程复杂度（无 $\to$ 复杂，如滞后、滚动统计、傅里叶特征）。
  3. 训练复杂度（基础 $\to$ 高级，如学习率调度、正则化）。
• 每个单元格只保留该维度下的最佳解，确保架构多样性。

3. 主要贡献 (Key Contributions)

1. 通用框架：提出了首个统一了指标优势树搜索、带动态提示精炼的代码审查、以及全局可引导推理的自进化机器学习工程师（MLE）代理框架。
2. 新型奖励机制：设计了统计意义上有意义的“指标优势”奖励，显著提升了搜索效率，避免了传统固定奖励的盲目性。
3. 自主发现新范式：证明了自主进化的模型能够发现人类未曾设计的、真正新颖的架构模式，并在公开基准和工业数据集上超越了 SOTA 方法。

4. 实验结果 (Results)

研究在能源时间序列预测领域进行了评估，包括公开基准和工业私有数据集。

• 公开基准 (Solar-Energy)：

  • 相比 SOTA 模型 TimeMixer，SEA-TS 生成的模型将 MAE 降低了 40% (从 2.929 降至 1.757)。
  • 自主发现架构：进化出了 DiurnalMultiScaleGatedLinear，包含多尺度分解、傅里叶头、以及按站点学习的日周期偏差头。

• 工业私有数据集 (光伏 PV 预测)：

  • 相比人工构建的 TimeMixer 基线，WAPE 降低了 8.6% (25.75% $\to$ 17.12%)。
  • 核心发现：进化出了 QuadHeadGatedSolar 模型，包含物理感知的单调衰减头 (Monotonic Decay Head)。该模块自动学习了“太阳辐射在正午后单调下降”的物理规律，并施加了正则化约束，这是提示词中未包含且参考代码中不存在的创新。

• 工业私有数据集 (居民负荷预测)：

  • 相比 Timer 基线，WAPE 降低了 7.7%。
  • 相比 TimeMixer 基线，MAPE 降低了 3.17% (29.34% $\to$ 26.17%)。
  • 核心发现：进化出了 ImprovedDualBranchNet，包含可学习的每小时偏差校正（基于预测幅度的比例校正）和用户嵌入分支，自动发现了过滤异常用户能提升聚合预测质量。

5. 意义与影响 (Significance)

1. 超越人工设计的创新能力：SEA-TS 不仅优化了现有模型，还自主发现了物理感知的架构组件（如单调衰减头）和新颖的校准技术（如幅度比例偏差校正）。这表明自主 ML 工程有能力生成超越人类手动设计范围的算法思想。
2. 解决工业落地痛点：通过动态提示精炼和代码审查，有效解决了时间序列任务中常见的“数据泄露”和“分布偏移”问题，提高了模型在真实场景中的鲁棒性。
3. 自动化工程的新范式：证明了结合 MCTS、LLM 推理和持续反馈循环，可以构建出能够自我迭代、自我修正并积累知识的“超级工程师”，为未来全自动的 AI 科学发现提供了可行路径。

6. 局限与未来工作

• 代码质量依赖 LLM：生成的代码上限受限于 LLM 的编码能力（GPT-5 表现优于 Qwen3）。
• 成本问题：频繁的 LLM 调用导致高昂的 API 成本，未来需研究上下文剪枝技术。
• 未来方向：多目标优化（精度、延迟、大小）、自动定义多样性维度、以及结合深度研究代理（Deep Research Agent）自动检索论文和代码以注入领域知识。

---

总结：SEA-TS 不仅仅是一个自动调参工具，它是一个具备自我反思、知识积累和跨轨迹推理能力的自主系统。它通过统计归一化的奖励机制和动态提示词更新，成功引导 LLM 在复杂的代码空间中搜索，最终在时间序列预测任务上实现了超越人类专家设计的性能突破。