技术摘要：GenAutoML

问题陈述

为工业环境（如电网监控、物联网）中的多元时间序列预测和异常检测设计神经网络架构，受到两个主要挑战的阻碍：**平稳性问题（Stationarity Problem）以及当前自动化机器学习（AutoML）**系统的局限性。

1. 平稳性悖论： 现实世界的数据集（如 ETTh1、ETTm1 和 Weather 基准测试）表现出非平稳特性和复杂的时序依赖关系。传统的深度学习模型（如 LSTM、Transformer）往往难以应对这些分布，而手动架构设计依赖于静态的归纳偏置，这可能并不足以应对复杂情况。
2. 现有 AutoML/NAS 的局限性： 当前的神经架构搜索（NAS）框架依赖于预定义的、静态的搜索空间。它们缺乏“语义创造力（Semantic Creativity）”，即它们无法在固定的互连模式之外发明新的结构组件（例如自定义的多尺度混合层）。此外，“设计到部署”之间的差距也非常显著；集成一个新模型通常需要对整个系统进行重启。
3. 边缘 AI 约束： 虽然像 Chronos 这样的时间序列基础模型（TSFMs）具有极高的准确度，但其庞大的参数量（100M+）和高推理延迟使其不适用于资源受限、实时性的边缘 AI 部署。

方法论：GenAutoML 框架

GenAutoML 是一个智能体框架（Agentic Framework），它将范式从“模型搜索”转向了**“智能体神经工程（Agentic Neural Engineering）”**。它利用大语言模型（LLMs）作为自主的“神经架构师”，将自然语言需求转化为可执行的 PyTorch 代码。该框架通过一个包含四个核心组件的闭环架构运行：

1. 智能体神经合成（语义接口）

核心引擎使用 LLM（具体为 Llama 3-70B）来解释自然语言约束并生成神经模块定义。

• 结构几何契约（Structural Geometric Contract）： 智能体被约束为生成的模块必须接受一个 3D 输入张量 ($B \times L \times D$) 并返回一个预测张量 ($B \times H \times D$)，以确保与下游流水线的兼容性。
• 动态注册表（Dynamic Registry）： 生成的代码直接写入一个动态注册表中，使系统能够根据用户描述“发明”复杂的结构（例如多尺度 Inception 块）。

2. 沙盒反射循环（Sandboxed Reflection Loop）

为了减轻零样本（Zero-shot）LLM 生成中常见的代码幻觉和维度不匹配问题：

• 生成的架构被隔离在一个安全的执行沙盒中。
• 智能体实例化模型并使用虚拟张量进行模拟前向传播。
• 如果输出形状与预期预测步长（Horizon）不匹配或发生错误（例如 Traceback 日志），系统会将这些错误作为额外的提示词反馈给 LLM。
• 这种多轮反馈循环允许智能体迭代调试张量重塑（Reshape）和通道置换（Channel Permutation），直到产生一个结构完备的模型。

3. 即时（JIT）架构集成

GenAutoML 采用基于反射的编排流水线（Reflection-based Orchestration pipeline），将新模型集成到活跃的优化环境中，而无需系统重启：

• 热交换（Hot-Swapping）： 使用 Python 的 importlib.reload，系统可以实时更新模块缓存。
• 签名感知调用（Signature-Aware Invocation）： 系统使用运行时内省（inspect.signature）将运行时张量与生成的模块参数进行匹配。
• 形状无关投影（Shape-Agnostic Projection）： 如果 LLM 生成了一个具有任意隐藏通道数的模型，投影层 ($\hat{Y} = W_{proj} \cdot M_{gen}(\hat{X}) + b_{proj}$) 会在数学上将潜在特征桥接到所需的靶向维度，从而防止灾难性失败。

4. 通过动态 RevIN 进行统计加固

为了应对挥发性工业数据中的非平稳性和梯度爆炸问题：

• 该框架将 LLM 生成的逻辑封装在**动态可逆实例归一化（Dynamic Reversible Instance Normalization, Dyn-RevIN）**层内。
• 该层将不可信的架构逻辑与统计平稳性约束解耦。它在模型处理数据之前将输入数据归一化为平稳分布，并在输出端将其还原回原始信号域。
• 这充当了一个“安全护栏”，即使生成的架构缩放不当，也能确保收敛。

核心贡献

1. 具备沙盒反射功能的智能体神经合成： 一种将语义需求转化为可执行 PyTorch 代码的新颖接口，通过自主调试循环进行验证，确保在部署前具备数学有效性。
2. 运行时架构注入： 一个能够在活跃的 Optuna 优化循环中实现“热交换”生成神经模块的流水线，消除了系统重启的需求，并实现了实时验证。
3. 数学加固（Dyn-RevIN）： 集成了动态可逆实例归一化框架，在输入-输出流形上强制执行平稳性，从而稳定了非平稳信号的训练。
4. 端到端对话式流水线： 一个允许用户上传数据集、通过 Pandas DataFrame 智能体进行探索性数据分析并请求自定义架构设计的流程，所有设计均在联邦沙盒中经过验证。

实验结果

该框架在三个多元基准测试上进行了评估：ETTh1、ETTm1 和 Weather。

• 预测性能： 智能体合成的模型（如 ResNet、Inception）在预测性能上达到了与 TimesNet 和 CrossFormer 等最先进（SOTA）Transformer 模型相当的水平。在 ETTm1 数据集上，合成的 ResNet（MAE = 0.532）紧随领先的线性模型。
• 异常检测： 合成的模型展现了卓越的敏感度。智能体设计的 ResNetBlock 在 ETTh1 上的判别间隙（异常 MSE / 清洁 MSE）约为 265 倍，显著优于 TimesNet（33 倍）和 DLinear（8 倍）。
• 推理延迟与效率：
  • 虽然大规模基础模型（如 Chronos-T5-Mini）具有高准确度，但其延迟较高（~988 ms/样本）。
  • 智能体生成的 WaveInterferenceNet 实现了 <0.01 ms/样本 的推理延迟，相比基础模型实现了约 100,000 倍的加速。
  • 搜索成本极低：WaveInterferenceNet 仅需约 2 分钟的 GPU 微调时间（5 次 Optuna 试验），远低于传统基准方法的耗时。
• 稳定性与可复现性：
  • 零方差收敛： 与标准基准模型（如 DLinear，其显示出极高的随机种子敏感性，MAE 波动 $\sigma = 0.760$）不同，在实施确定性种子时，智能体合成的 WaveInterferenceNet 在独立试验中保持了零方差（$\sigma = 0.000$）。
  • 消融研究： 研究证实了 Dyn-RevIN 对于挥发性数据集至关重要（在 ETTh1 上将 MAE 提升了约 94%），但在稳定数据集（Weather）中可能会掩盖周期性信号，这验证了进行智能体驱动搜索以确定最优配置的必要性。

意义与主张

论文将 GenAutoML 定位为不仅仅是一个最大化原始预测准确度的工具，而是一个确定性的、可用于边缘部署的合成框架。

• 范式转移： 它将领域从“大规模模型搜索”转向“智能体神经工程”，优先考虑超轻量级架构（参数量小于 1M），通过牺牲极小部分的准确度来换取微秒级的推理延迟和高度稳定的部署特性。
• 安全关键型适用性： 通过优先考虑高确定性、零方差收敛而非单纯的原始准确度，该框架产生的架构非常适合安全关键型、资源受限的边缘 AI 部署（如嵌入式工业传感器）。
• 语义创造力： 该框架展示了基于抽象自然语言指令合成真正新颖拓扑结构的能力（例如使用三角函数投影的 WaveInterferenceNet），超越了对 ResNet 或 LSTM 等标准基元的重复。

作者总结道，虽然该框架依赖于 LLM API 的响应时间（这是一个当前的局限性），但它成功地架起了生成式 AI 的创造潜力与工业时间序列分析严苛稳定性要求之间的桥梁。