🤖 machine learning

StateFlow: Dual-State Recurrent Modeling for Long-Horizon Time Series Forecasting

StateFlow 是一种双状态循环预测框架，它通过两阶段优化策略对主要时间动态和结构化残差误差进行联合建模，将变分感知递归神经网络（VARNN）扩展到长时程时间序列预测领域，并凭借紧凑的线性递归设计实现了具有竞争力的性能。

原作者： Haroon Gharwi, Yue Dai, Kai Shu

发布于 2026-07-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Haroon Gharwi, Yue Dai, Kai Shu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是对 StateFlow 论文的解释，通过简单的概念和日常类比进行了拆解。

核心问题：预测未来很难

想象你正在尝试预测下周的天气。你会观察过去几天的资料。

挑战： 天气并不只是平滑、可预测的直线。有时天气晴朗，然后突然暴雨袭来（即“状态转移”）。有时温度会在一个月内缓慢上升（非平稳性）。
旧方法： 如果你试图通过预测第 1 天，再用第 1 天的预测值去预测第 2 天，以此类推来预测第 7 天，那么微小的误差会不断累积。到了第 7 天，你的预测就会偏差巨大。这被称为误差累积（Error Accumulation）。
当前趋势： 许多现代 AI 模型使用“Transformer”（如聊天机器人背后的技术）来同时观察所有的历史数据。虽然功能强大，但这些模型计算量巨大且速度慢，就像为了找一个词而试图同时阅读图书馆里每一本书一样。

解决方案：StateFlow

作者提出了一种名为 StateFlow 的新模型。它不再试图成为一个超级复杂的“图书馆阅读者”，而是像一个聪明的“双轨记忆系统”，能够从自己的错误中学习。

1. “双轨”大脑（编码器）

大多数旧模型只有一个“大脑”（隐藏状态）来试图记住一切。StateFlow 将其拆分为两条轨道：

轨道 A：主线剧情（隐藏状态/Hidden State）
- 类比： 想象一个讲述电影大纲的旁白。“天气晴朗，汽车正在公路上行驶，音乐很欢快。”这条轨道捕捉大的趋势、季节性和模式。
卡 B：“哎呀”清单（残差记忆/Residual Memory）
- 类比： 想象一个随身小助手，手里拿着一个笔记本，记录着旁白每次说错的地方。“旁白说天气晴朗，但实际上小雨下了 10 分钟。”
- 运作方式： 模型会对下一个时刻做一个快速预测。它会将这个预测值与实际发生的情况进行对比。其中的差异（误差）会被保存在这个“残差记忆”中。
- 为什么重要： 这些误差并非随机噪声；它们通常遵循自己的模式（例如某种偏差或漂移）。通过为这些误差分配专门的记忆通道，模型可以学会稍后如何纠正它们。

2. “分块”解码器

一旦模型处理完历史数据，它就需要预测未来。

旧方法： 一些模型试图将整个历史记录“压扁”成一个巨大的列表，然后一次性预测未来。这就像试图一口吞下一整张披萨——这需要耗费大量的精力（参数），而且会很混乱。
StateFlow 的方式： 模型将历史数据切分成易于处理的小块（Chunks）（就像切开披萨一样）。它总结每一块的内容，然后将它们组合起来进行最终预测。
- 优势： 这种方式效率更高。它能保持模型的小巧与快速，同时仍能捕捉到细节。

3. 两步走的训练策略

作者发现了一种巧妙的方法来教导这个模型，类似于学生学习的过程：

第一步：练习赛（单步预测）
- 首先，模型仅被训练用于预测紧接着的下一个时刻（例如：“一小时后的温度是多少？”）。这迫使“哎呀”清单（残差记忆）变得非常擅长识别并记住误差。
第二步：期末考试（长周期预测）
- 一旦“大脑”训练完成，他们会将其冻结（这样它就不会忘记学到的东西）。然后，他们连接一个新的“解码器”头部，利用这个训练好的大脑来预测未来一周的情况。
- 结果： 模型不需要在尝试预测不同时间跨度时，重新学习如何识别误差。它复用了同一个聪明的脑子。

为什么这很重要（实验结果）

论文在电力消耗、交通流量和天气等标准数据集上，将 StateFlow 与那些重量级选手（Transformer、复杂的神经网络以及简单的线性模型）进行了对比测试。

性能： StateFlow 的表现与庞大的 Transformer 模型不相上下，甚至更好。
效率： 它更轻量、更快。它不需要 Transformer 那种沉重的“二次方”计算能力。
核心要点： 你不需要一个极其庞大、复杂的模型也能实现出色的未来预测。你只需要一个懂得关注自身错误并将其与主线剧情分开记忆的模型。

一句话总结

StateFlow 是一种时间序列预测模型，它通过将记忆分为两部分（一部分用于主要趋势，另一部分作为记录自身错误的专用“笔记本”）来预测未来，从而无需庞大、缓慢的计算机即可实现精准的长期预测。

技术摘要：StateFlow —— 用于长程时间序列预测的双状态循环建模

1. 问题陈述

长程多元时间序列预测（LTSF）是能源需求、交通流和金融建模等领域面临的关键挑战。其主要困难源于非平稳性（non-stationarity）、机制转移（regime shifts）以及在长预测周期内产生的误差累积。虽然最近基于 Transformer 的架构通过自注意力机制捕捉长程依赖关系取得了强劲的表现，但它们往往面临相对于输入长度的二次方计算复杂度问题，并且依赖于对于长回顾窗口而言计算成本较高的全局交互模式。

相反，循环神经网络（RNN）随序列长度线性扩展，并提供了一种自然的因果结构。然而，传统的循环模型（如 LSTM、GRU）通常将时间信息压缩到单个隐藏状态中，未能显式地建模系统性预测偏差（例如漂移或偏置），而这些偏差源于非平稳性的变化。这种局限性通常导致它们在长程预测设置下的表现落后于现代基于 Transformer 的方法。

本文旨在解决如何将最初为单步序列回归设计的**变分感知循环神经网络（VARNN）**扩展到长程预测设置的问题。核心假设是：通过将预测残差作为一种独立的循环状态进行显式建模，可以增强线性循环模型在长期外推方面的鲁棒性。

2. 方法论：StateFlow 框架

所提出的 StateFlow 框架利用 VARNN 作为双状态循环骨干网络，通过通道独立策略从回顾序列中捕捉两种互补的信号。

2.1 双状态循环编码器

编码器为每个时间步 $t$ 维护两条不同的循环轨迹：

隐藏状态轨迹 ( $h_t$ )： 代表主要的动态特征，包括趋势、季节性、水平变化和循环模式。它使用当前观测值和前一状态进行更新。
残差记忆轨迹 ( $e_t$ )： 显式追踪结构化的局部预测偏差。它由单步基础预测 ( $\hat{x}_{base}$ ) 与观测值 ( $x_{t+1}$ ) 之间的残差 ( $r_t$ ) 的非线性循环变换驱动。

与将偏差隐式编码在单一潜状态中的传统 RNN 不同，VARNN 将这些信号分离。隐藏状态调节下一步，而残差记忆状态则为系统性偏差提供专门的信号，使模型能够区分主要动态与局部漂移。

2.2 基于块的预测解码器

为了将编码器轨迹映射到未来预测周期，且不产生与展平全序列相关的参数爆炸问题，StateFlow 采用了基于块的解码器（chunk-based decoder）：

块汇总（Chunk Summarization）： 将隐藏状态和残差记忆轨迹拆分为重叠的块。每个块被展平并通过独立的汇总分支投影为固定维度的嵌入。这在减少参数增长的同时保留了局部模式。
预测头： 来自两个分支的汇总嵌入被拼接在一起，并通过线性投影生成多步预测。

2.3 两阶段优化策略

为了桥接单步残差学习与长程预测，模型采用了两阶段训练程序：

第一阶段（编码器预训练）： 使用回顾窗口内的单步预测目标来训练 VARNN 编码器。这为残差记忆状态捕捉结构化偏差提供了显式的学习信号。
第二阶段（特定预测周期的解码）： 冻结预训练好的编码器，并使用多步预测损失来训练特定周期的解码器。这种分离稳定了优化过程，并允许在不同预测周期间复用相同的编码器。

2.4 计算复杂度

StateFlow 对回顾长度 ( $L$ ) 和预测周期 ( $H$ ) 保持线性计算复杂度。循环编码器的规模为 $O(L)$ ，而基于块的解码器避免了典型自注意力机制的二次方复杂度 ( $O(L^2)$ )。

3. 核心贡献

本文概述了以下贡献：

对 LTSF 中循环机制的研究： 本文证明了当偏差动态被显式纳入状态转移时，循环机制在长程预测中仍能保持竞争力。
扩展 VARNN： 通过利用隐藏状态和残差记忆轨迹作为双状态预测表示，将 VARNN 从单步回归扩展到了长程预测。
StateFlow 框架： 引入了一个循环轨迹预测框架，该框架具有基于块的周期解码器，可在直接进行多步预测前分别汇总隐藏状态和残差记忆动态。
两阶段优化： 提出了一种训练策略，首先通过单步预测学习残差感知表示，然后训练特定周期的解码器，从而实现编码器的复用。
实证验证： 通过系统的实验和消融研究，证明了残差记忆循环是长程预测中一种具有竞争力的且参数高效的归纳偏置。

4. 实验结果

4.1 基准性能

StateFlow 在七个标准 LTSF 基准数据集（ETTh1, ETTh2, ETTm1, ETTm2, Weather, ECL, Traffic）上，与包括 Transformer 类模型（iTransformer, PatchTST, Autoformer）、卷积类模型（TimesNet）和线性模型（DLinear, RLinear）在内的十种先进基准模型进行了对比评估。

竞争力： StateFlow 表现出了极强的竞争力，在 28 个数据集-周期设置中获得了最高的胜场数（15 次 MSE 冠军和 14 次 MAE 冠军）。
对比： 其表现优于或等同于强大的线性、卷积及 Transformer 类基准模型，同时避免了二次方时间自注意力的开销。
高维数据： 在 ECL 和 Traffic 等高维数据集上，iTransformer 在某些设置下表现更强，这表明显式的跨变量依赖建模在这些特定场景中可能仍具有优势。然而，StateFlow 的重点在于通道独立的时序建模。

4.2 消融研究

编码器表示： 双状态表示 ( $h, e$ ) 的表现始终优于仅使用隐藏状态 ( $h$ )、仅使用残差记忆状态 ( $e$ ) 或原始基础预测加残差的组合。这证实了将主要动态与结构化偏差信号相结合，可以产生更丰富的预测表示。
融合策略： 对隐藏和残差轨迹进行独立的块汇总（在拼接之前）比联合块汇总效果更好，这保留了两个状态各自独特的角色。
块解码 vs 直接解码： 基于块的解码器在降低近一半模型参数的同时，达到了与直接展平相当或更好的准确度。
循环编码器选择： 在准确度-效率权衡方面，VARNN 优于标准的 RNN、GRU 和 LSTM 编码器。值得注意的是，VARNN 使用的参数显著更少（例如，比 LSTM 少约 80%），同时实现了更低的平均 MSE。
优化策略： 两阶段优化策略相比单阶段训练带来了可衡量的增益（例如，VAR-NN 提升了 1.88%），凸显了通过单步预测预训练残差记忆状态的有效性。

5. 意义与主张

本文主张 StateFlow 为长程预测提供了一种高效的替代方案，可以取代基于注意力的模型。通过在循环框架内显式建模残差记忆动态，该模型捕捉到了标准循环模型容易忽略的非平稳变化和系统性偏差。

其重要性在于证明了线性循环编码在结合了专用残差记忆状态和基于块的解码器后，可以在不产生二次方计算成本的情况下，与复杂的 Transformer 架构相媲美。作者指出，将偏差动态纳入循环机制，为 LTSF 提供了一种极具前景且参数高效的归纳偏置。这项工作并未声称解决了所有高维多元预测的挑战（承认了对跨变量建模的潜在需求），但为残差感知的循环方法建立了一个强大的基准。

未来的工作方向确定为研究跨变量依赖建模，并将该框架应用于其他时间序列分析任务。