SmartMeterFM: Unifying Smart Meter Data Generative Tasks Using Flow Matching Models

Resumo Técnico: SmartMeterFM

Declaração do Problema

Os dados de medidores inteligentes são fundamentais para o planejamento e a operação de redes de distribuição elétrica. No entanto, a utilidade desses dados é frequentemente comprometida por três desafios primários:

1. Indisponibilidade de Dados: Regulamentações de privacidade e sensibilidades comerciais muitas vezes impedem o compartilhamento de dados brutos, enquanto a implantação limitada de sensores leva a uma observabilidade parcial.
2. Corrupção de Dados: Falhas de sensores, erros de transmissão e interrupções de comunicação resultam em valores ausentes.
3. Resolução Insuficiente: Muitas aplicações downstream (por exemplo, resposta à demanda, agregação de carga) requerem dados temporais de alta frequência que a infraestrutura de medição existente não pode fornecer.

As soluções atuais normalmente abordam esses problemas por meio de modelos distintos e específicos para cada tarefa. Por exemplo, modelos distintos são treinados para geração de dados sintéticos, imputação de dados ausentes e super-resolução. Essa fragmentação leva à redundância, ineficiência e falta de adaptabilidade; um modelo treinado para um padrão específico de ausência ou escala de resolução muitas vezes não pode ser aplicado a outro sem novo treinamento. Além disso, os modelos generativos profundos existentes (como VAEs e GANs) frequentemente têm dificuldade com séries temporais de alta dimensão, sofrem de colapso de modo (mode collapse) ou falham em capturar dinâmicas complexas e valores extremos (picos) com precisão.

Metodologia

O artigo propõe o SmartMeterFM, um framework unificado baseado em modelos de Flow Matching (FM) para abordar diversas tarefas generativas de dados de medidores inteligentes com um único modelo treinado.

Estrutura Central: Flow Matching com Orientação em Tempo de Inferência

Ao contrário dos modelos de difusão que aprendem um processo estocástico reverso, o Flow Matching aprende uma Equação Diferencial Ordinária (ODE) de fluxo de probabilidade para transportar uma distribuição a priori simples (ruído Gaussiano) para a distribuição de dados complexa.

• Treinamento: O modelo é treinado exclusivamente em geração condicional. Ele aprende um campo de velocidade $u_\theta(x_t, t, y)$ que mapeia o ruído para os dados condicionados a variáveis $y$ (por exemplo, categoria de cliente, mês ou restrições de pico).
• Orientação em Tempo de Inferência (Inference-Time Guidance): A inovação principal é a capacidade de adaptar o modelo único treinado para novas tarefas (imputação, super-resolução) sem novo treinamento. Isso é alcançado tratando essas tarefas como restrições no processo de geração.
  • A geração é orientada por um termo $g_t$ que projeta o destino estimado da trajetória da ODE sobre um conjunto viável definido pelas restrições específicas da tarefa (por exemplo, correspondendo aos valores observados para imputação ou correspondendo às médias subamostradas para super-resolução).
  • Isso permite que o modelo satisfaça restrições rígidas (como valores de pico específicos ou máscaras de dados ausentes) dinamicamente durante a fase de amostragem.

Arquitetura do Modelo

A rede de velocidade $u_\theta$ utiliza uma arquitetura baseada em Transformer adaptada para séries temporais:

• Embeddings Posicionais Alinhados: Para lidar com perfis mensais de comprimentos variados e diferentes dias de início da semana, o modelo emprega um embedding posicional senoidal deslocado. Isso garante que o modelo mantenha a consciência da periodicidade diária e semanal, independentemente do dia de início do mês.
• Mascaramento de Passos Válidos (Valid Step Masking): Para lidar com meses de comprimento variável (28–31 dias) dentro de lotes de comprimento fixo (31 dias), um mask binário é aplicado ao mecanismo de atenção. Isso evita que o modelo atenda a valores zero preenchidos (padding), garantindo que ele aprenda apenas com passos de dados válidos.
• Mecanismos de Condicionamento: O modelo integra condições via:
  1. Normalização Adaptativa: Modulação dos parâmetros de LayerNorm baseada em entradas categóricas (ex: tipo de cliente).
  2. Atenção Multimodal (MMAttention): Concatenação de vetores de condição com a sequência de séries temporais para facilitar a troca de informações.

Adaptação de Tarefas

O artigo demonstra como o mesmo modelo lida com quatro cenários distintos ao definir a relação funcional $y = f(x)$ para o termo de orientação:

1. Geração Categórica: Gerando dados condicionados ao tipo de cliente, mês, etc.
2. Geração de Restrição Numérica: Gerando dados que satisfazem valores específicos de pico, mínimo e consumo total.
3. Imputação: Reconstruindo blocos de dados ausentes projetando a trajetória de geração no subespaço dos valores observados.
4. Super-Resolução: Aumentando a resolução de dados de baixa resolução (ex: 4 horas) para resolução fina (15 min), garantindo que os dados gerados subamostrados correspondam à entrada de baixa resolução.

Principais Contribuições

1. Modelo Unificado: A proposta do SmartMeterFM, que unifica a geração de dados sintéticos, imputação e super-resolução em um único framework de flow matching condicional, eliminando a necessidade de re-treinamento específico para cada tarefa.
2. Geração de Alta Fidelidade: A capacidade de gerar perfis mensais de alta dimensão (resolução de 15 min, ~3000 passos de tempo) com alta fidelidade, superando baselines supervisionados especializados.
3. Adaptabilidade em Tempo de Inferência: Um mecanismo de orientação inovador que permite que um modelo treinado apenas em geração condicional resolva problemas inversos complexos (como imputação e super-resolução) injetando restrições específicas da tarefa no tempo de inferência.
4. Inovações Arquiteturais: O design de um backbone Transformer com embeddings posicionais alinhados e mascaramento de passos válidos, otimizado especificamente para a natureza periódica e de comprimento variável dos dados de medidores inteligentes mensais.

Resultados

O método foi avaliado em um conjunto de dados de aproximadamente 350.000 segmentos mensais de medidores inteligentes de um Operador de Sistema de Distribuição (DSO) holandês, cobrindo quatro categorias de clientes (três de consumo apenas, uma com geração solar).

• Tarefa 1 (Geração Categórica): O SmartMeterFM alcançou valores de p de teste de MMD (Maximum Mean Discrement) consistentemente acima de 0,05, indicando que a distribuição gerada é estatisticamente indistinguível dos dados reais. Em contraste, os baselines VAE e GAN produziram valores de p < 0,0001, rejeitando a hipótesa nula de similaridade de distribuição.
• Tarefa 2 (Restrições Numéricas): Quando condicionado ao consumo de pico e total, o SmartMeterFM alcançou o menor CRPS (Continuous Ranked Probability Score) e o menor RMSE para valores de pico e média em comparação com VAE, GAN e métodos de escalonamento algébrico. Ele aderiu com sucesso às restrições enquanto mantinha a fidelidade dos dados.
• Tarefa 3 (Imputação): Em cenários de dados ausentes (Missing Not at Random), o SmartMeterFM superou significativamente os baselines especializados como LoadPIN e Autoencoders Mascarados, alcançando aproximadamente metade do CRPS médio. Os resultados qualitativos mostraram que, enquanto os baselines produziam reconstruções excessivamente suavizadas que subestimavam os picos, o SmartMeterFM preservava as dinâmicas de alta frequência e valores extremos.
• Tarefa 4 (Super-Resolução): Para aumentar a resolução de dados de 4 horas para 15 minutos, o SmartMeterFM alcançou o menor CRPS médio e de pior caso. Também demonstrou desempenho superior de Erro de Carga de Pico (PLE) em comparação ao ProfileSR (um baseline baseado em GAN), reconstruindo efetivamente eventos de pico de curta duração que frequentemente se perdem em dados de baixa resolução.

Significância

O artigo afirma que o SmartMeterFM aborda com sucesso a fragmentação no processamento atual de dados de medidores inteligentes ao fornecer um modelo único e versátil capaz de lidar com diversas tarefas generativas. Ao aproveitar as propriedades matemáticas do Flow Matching e da orientação em tempo de inferência, a abordagem elimina a redundância de treinar modelos separados para imputação, super-resolução e geração.

A significância reside na capacidade do modelo de gerar séries temporais de alta dimensão e realistas que respeitam tanto os padrões intrínsecos de consumo quanto as restrições externas (como resumos preservadores de privacidade ou limites operacionais específicos). Essa capacidade é crucial para operadores de sistemas de distribuição (DSOs) que necessitam de dados sintéticos confiáveis para planejamento, avaliação de risco e desenvolvimento de estratégias de controle avançadas na ausência de dados do mundo real completos, de alta resolução ou compartilháveis. O artigo enfatiza que essa unificação é alcançada sem comprometer a qualidade dos dados gerados, muitas vezes superando métodos de ponta especializados tanto em métricas quantitativas quanto em realismo qualitativo.