⚡ electrical engineering

SmartMeterFM: Unifying Smart Meter Data Generative Tasks Using Flow Matching Models

本文提出了 SmartMeterFM，这是一个统一的流匹配模型，通过单一的条件训练框架高效地解决了包括合成生成、缺失值填补和超分辨率在内的多种智能电表数据挑战，从而消除了对特定任务模型的需求，同时在数据真实性和一致性方面优于现有的基准模型。

原作者： Nan Lin, Yanbo Wang, Jacco Heres, Peter Palensky, Pedro P. Vergara

发布于 2026-02-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Nan Lin, Yanbo Wang, Jacco Heres, Peter Palensky, Pedro P. Vergara

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图理解一座城市是如何使用电力的。你有一个巨大的笔记本，里面记录了来自智能电表的各种数据，展示了每栋建筑在每 15 分钟内消耗了多少电量。这些数据是规划电网、修复问题和预测未来的“生命线”。

但有一个大问题：这个笔记本经常是不完整的、混乱的，或者缺少页码。

隐私问题： 有时，由于隐私法，部分数据会被隐藏起来。
故障： 有时，电表会损坏或网络中断，导致数据出现空白。
模糊问题： 有时，数据太“模糊”（就像低分辨率的照片），需要进行锐化处理才能看清细节。

传统上，工程师必须为每个问题雇佣不同的“专家”：一个团队负责修复缺失的页面，另一个团队负责锐化模糊的照片，还有第三个团队负责发明真实但不完整的页面来填补空白。这既缓慢、昂贵又低效。

迎来“SmartMeterFM”：通用的瑞士军刀。

这篇论文介绍了一种名为 SmartMeterFM 的新型 AI 模型。不要把它仅仅看作一个专家，而要把它看作一位大厨，他可以用同一套食材和同一个厨房烹饪任何菜肴。

它是如何工作的：“流”的比喻

这个模型背后的秘密武器是被称为 流匹配（Flow Matching） 的技术。

想象一下，你有一杯清水（这是随机噪声）和一杯巧克力奶（这是真实的电力数据）。

旧的 AI 模型（如 GANs 或 VAEs）试图猜测将水变成巧克力奶的配方。它们往往难以奏效，要么让牛奶的味道变得很奇怪，要么在学习每一种巧克力的配方时陷入困境。
SmartMeterFM 学习的是将水转化为巧克力奶的“流”或“电流”。它学习的是路径。一旦它知道了路径，它就可以从路径上的任何一点出发，向目的地流动。

魔法技巧：一个模型，多种工作

真正的突破在于，SmartMeterFM 不需要为每一项新工作重新训练。它学习了一次电力数据的“形状”，然后我们只需在最后阶段给它不同的指令（这被称为推理时引导/Inference-Time Guidance）。

以下是它如何用同一个大脑处理三种不同的工作：

填补空白（插补/Imputation）：
- 问题： 你有一个图表，中间有一大块缺失，因为电表坏了。
- 旧方法： 你会用一把简单的尺子在点与点之间画一条直线。看起来还可以，但它会错过那些波动和起伏（即电力使用的“峰值”）。
- SmartMeterFM： 它观察周围的数据和它所学习到的“流”。它用一条真实的、带有波动的线条填补空白，捕捉真实的能量峰值，就像人类会进行推测一样，但具备数学上的精确度。
锐化图像（超分辨率/Super-Resolution）：
- 问题： 你只有每小时记录一次的数据，但你需要看到每 15 分钟发生的情况。
- 旧方法： 你只是把每小时的数据拉长。它看起来很平滑且枯燥，丢失了所有快速爆发的电力。
- SmartMeterFM： 它获取模糊、缓慢的数据，并“幻觉”出缺失的快速细节。它增加了微小的波动和峰值，使数据看起来真实，这些都是基于它学到的模式。
遵循规则（条件生成/Conditional Generation）：
- 问题： 你需要为一家工厂创建虚构数据，但你知道他们那个月总共使用了多少电量，以及他们的峰值时刻是多少。
- 旧方法： 你必须为那个特定的工厂训练一个全新的模型。
- SmartMeterFM： 你告诉它：“给我一个月的数据，但确保总量为 X，峰值为 Y。”它会立即调整其“流”以符合这些规则，而无需重新学习。

为什么这很重要（根据论文所述）

研究人员在来自数千名荷兰客户的真实数据上测试了这个模型。他们将它与“专家型”模型（如 GANs 和 VAEs）以及简单的数学技巧进行了对比。

更高的准确性： SmartMeterFM 在填补缺失数据和锐化模糊数据方面比竞争对手更准确。它不仅仅是使其平滑，而是保留了对电网安全至关重要的“峰值”和“谷值”。
真实性： 当他们检查这些虚构数据是否看起来像真实数据时，SmartMeterFM 通过了测试。其他模型产生的数据往往看起来“不对劲”或过于完美。
高效性： 与其为五个不同的问题训练五个不同的模型，不如只训练一个模型并将其用于所有用途。

简而言之： SmartMeterFM 是一个单一的、聪明的 AI，它学习了电力的“节奏”。无论你是需要修复一张损坏的唱片、锐化一张模糊的照片，还是创作一首遵循特定规则的新歌，这个 AI 都能胜任，而无需重返校园。

技术摘要：SmartMeterFM

问题陈述

智能电表数据对于配电网的规划与运行至关重要。然而，由于以下三个主要挑战，该数据的效用经常受到限制：

数据不可用性： 隐私法规和商业敏感性往往阻碍了原始数据的共享，同时传感器部署有限导致观测度不完整。
数据损坏： 传感器故障、传输错误和通信中断会导致数值缺失。
分辨率不足： 许多下游应用（例如需求响应、负荷聚合）需要高频时间序列数据，而现有的计量基础设施无法提供此类数据。

目前的解决方案通常通过独立的、针对特定任务的模型来解决这些问题。例如，针对合成数据生成、缺失数据填补和超分辨率分别训练不同的模型。这种碎片化导致了冗余、低效以及缺乏适应性；一个针对特定缺失模式或分辨率尺度训练的模型，在不进行重新训练的情况下，往往无法应用于另一种模式或尺度。此外，现有的深度生成模型（如 VAE 和 GAN）在处理高维时间序列数据时往往表现不佳，容易出现模式崩塌（mode collapse），或者无法准确捕捉复杂的动态特性和极端值（峰值）。

方法论

本文提出了 SmartMeterFM，这是一个基于 流匹配（Flow Matching, FM） 模型的统一框架，旨在通过单个训练好的模型解决多种智能电表数据生成任务。

核心框架：带有推理时引导的流匹配

与学习逆向随机过程的扩散模型不同，流匹配学习一个概率流常微分方程（ODE），将简单的先验分布（高斯噪声）转化为复杂的真实数据分布。

训练： 模型仅在条件生成上进行训练。它学习一个速度场 $u_\theta(x_t, t, y)$ ，该速度场将噪声映射到以变量 $y$ （例如客户类别、月份或峰值约束）为条件的真实数据。
推理时引导（Inference-Time Guidance）： 其核心创新在于能够将训练好的单一模型适配到新任务（如填补、超分辨率）而无需重新训练。这是通过将这些任务视为对生成过程的约束来实现的。
- 生成过程由一个项 $g_t$ 进行引导，该项将 ODE 轨迹的估计终点投影到由特定任务约束定义的特征集合上（例如，在填补任务中匹配观测值，或在超分辨率任务中匹配降采样后的平均值）。
- 这使得模型能够在采样阶段动态地满足硬约束（如特定的峰值或缺失数据掩码）。

模型架构

速度网络 $u_\theta$ 采用了专为时间序列数据定制的 Transformer 架构：

对齐位置嵌入（Aligned Positional Embeddings）： 为了处理长度各异的月度轮廓以及不同的每周起始日，模型采用了偏移正弦位置嵌入。这确保了无论月份从哪天开始，模型都能保持对日周期和周周期的感知。
有效步长掩码（Valid Step Masking）： 为了在固定长度的批次（31天）中处理变长月份（28–31天），模型在注意力机制中应用了二进制掩码。这防止了模型关注填充的零值，确保其仅从有效的数据步长中学习。
条件机制： 模型通过以下方式集成条件信息：
1. 自适应归一化（Adaptive Normalization）： 根据类别输入（如客户类型）调节层归一化（LayerNorm）参数。
2. 多模态注意力（MMAttention）： 将条件向量与时间序列序列进行拼接，以促进信息交换。

任务适配

论文展示了如何通过定义引导项的函数关系 $y = f(x)$ ，使同一个模型处理四种不同的场景：

类别生成： 以客户类型、月份等为条件生成数据。
数值约束生成： 生成满足特定峰值、最小值和总消耗值的数据。
填补（Imputation）： 通过将生成轨迹投影到观测值的子空间中，重建缺失的数据块。
超分辨率（Super-Resolution）： 将粗分辨率数据（如 4 小时）上采样至细分辨率（15 分钟），通过确保降采样后的生成数据与粗分辨率输入相匹配来实现。

核心贡献

统一模型： 提出了 SmartMeterFM，它将合成数据生成、填补和超分辨率统一到一个条件流匹配框架中，消除了对特定任务模型进行重新训练的需求。
高保真生成： 能够生成高维月度轮廓（15 分钟分辨率，约 3000 个时间步）并保持高保真度，性能优于专门的监督学习基准模型。
推理时适应性： 一种新颖的引导机制，允许仅在条件生成上训练的模型通过在推理时注入任务特定约束，从而解决复杂的逆问题（如填补和超分辨率）。
架构创新： 设计了一个具有对齐位置嵌入和有效步长掩码的 Transformer 主干网络，专门针对月度智能电表数据的变长和周期性特征进行了优化。

实验结果

该方法在包含约 350,000 个荷兰配电运营商（DSO）月度智能电表片段的数据集上进行了评估，涵盖四类客户（三类仅消费，一类包含太阳能发电）。

任务 1（类别生成）： SmartMeterFM 的最大均差（MMD）置换检验 p 值始终高于 0.05，表明生成的分布与真实数据在统计上是不可区分的。相比之下，VAE 和 GAN 基准模型的 p 值 < 0.0001，拒绝了分布相似性的原假设。
任务 2（数值约束）： 在以峰值和总消耗量为条件时，与 VAE、GAN 和代数缩放方法相比，SmartMeterFM 实现了最低的连续秩概率评分（CRPS）以及最低的峰值和平均值的均方根误差（RMSE）。它在保持数据保真度的同时成功遵循了约束。
任务 3（填补）： 在缺失数据场景（非随机缺失）下，SmartMeterFM 显著优于 LoadPIN 和掩码自编码器（Masked Autoencoders）等专门的基准模型，其平均 CRPS 大约仅为后者的一半。定性结果显示，虽然基准模型产生的重建结果过于平滑且低估了峰值，但 SmartMeterFM 保留了高频动态特性和极端值。
任务 4（超分辨率）： 对于将 4 小时数据上采样至 15 分钟分辨率的任务，SmartMeterFM 实现了最低的平均和最差情况下的 CRPS。与 ProfileSR（一种基于 GAN 的基准模型）相比，它也展现出了更优越的峰值负荷误差（PLE）表现，有效地重建了在低分辨率数据中经常丢失的短时峰值事件。

重要意义

本文声称 SmartMeterFM 成功解决了当前智能电表数据处理中的碎片化问题，提供了一个单一且通用的模型，能够处理多种生成任务。通过利用流匹配的数学特性和推理时引导，该方法消除了为填补、超分辨率和生成训练独立模型的冗余。

其重要性在于该模型能够生成既符合内在消费模式又符合外部约束（如保护隐私的摘要或特定的运行限制）的现实高维时间序列。这一能力对于需要可靠合成数据进行规划、风险评估以及在缺乏完整、高分辨率或可共享真实数据的情况下开发先进控制策略的配电运营商（DSO）而言至关重要。论文强调，这种统一是在不牺牲生成数据质量的前提下实现的，且在定量指标和定性真实感方面通常都超越了专门的先进方法。