Resumo Técnico: Modelagem Generativa de Séries Temporais Aproximadamente Periódicas por um Processo Gaussiano Ponderado pelo Posterior

1. Formulação do Problema

Processos automatizados discretos em sistemas industriais e ciber-físicos (por exemplo, linhas de montagem robóticas) frequentemente exibem comportamento aproximadamente periódico. Embora repetições sucessivas sigam uma trajetória comum, elas diferem em duração, amplitude e dinâmicas de pequena escala devido a ruído, desgaste e flutuações ambientais.

Modelar esses processos com Processos Gaussianos (GPs) apresenta um desafio específico:

• Modelos estritamente periódicos impõem repetição exata, suprimindo a variabilidade necessária entre repetições encontrada em dados reais.
• Modelos não periódicos falham em capturar as regularidades estruturais fortes requeridas para geração de longo prazo.
• Abordagens quasi-periódicas existentes frequentemente impõem periodicidade exata ou introduzem decaimento da média e inflação de variância ao longo de horizontes longos, limitando sua utilidade como modelos generativos para um número arbitrário de repetições.

O objetivo é desenvolver um modelo generativo estocástico que possa produzir sequências arbitrariamente longas de repetições que preservem a forma característica do processo, permitindo variação suave e controlada entre as repetições.

2. Metodologia

Os autores propõem uma construção em duas etapas que desacopla a estrutura intra-repetição da variabilidade inter-repetição. A inovação central é modular o posterior de um GP em vez do prior, evitando comportamentos patológicos associados a priors ponderados.

Etapa 1: Aprendizado de um Template de Repetição Estável

A primeira etapa modela as estatísticas intra-repetição usando um prior GP estritamente periódico.

• Pressuposto: As repetições observadas $y_1, \dots, y_r$ são tratadas como realizações (parcialmente) independentes do mesmo processo periódico subjacente, compartilhando hiperparâmetros comuns.
• Kernel: Um kernel periódico $k_\theta$ é utilizado, onde as entradas são embutidas em um círculo.
• Estratégia de Treinamento: Para abordar o problema de que a variância do ruído $\sigma^2_\theta$ não é identificável a partir de repetições independentes sob uma verossimilhança fatorada, os autores empregam uma estratégia de treinamento em mini-lotes. A negação da log-verossimilhança (NLL) é avaliada sobre pequenos lotes de múltiplas repetições. Isso força o modelo a explicar as variações inter-repetição, estabilizando a estimativa da variância do ruído.
• Ajuste Pós-Treinamento: Durante a construção do posterior, as repetições são tratadas como observações da mesma função latente para preservar a estrutura espacial global. Para prevenir a atenuação artificial da incerteza (devido à "acumulação de evidências" de múltiplas repetições), a variância do ruído $\sigma^2_\theta$ é reescalada pelo número efetivo de repetições.

Etapa 2: Ponderação do Posterior

A segunda etapa introduz correlações inter-repetição modificando diretamente a covariância do posterior, em vez de alterar o kernel prior.

• Mecanismo: Um novo kernel de peso $w_\psi$ (um kernel Gaussiano em um espaço de embutimento) é aplicado via multiplicação elemento a elemento (produto de Schur) à matriz de covariância do posterior $\hat{\Sigma}_\theta$ obtida na Etapa 1.
  $$\Sigma_\psi := W_\psi \odot \hat{\Sigma}_\theta + \sigma^2_\psi I$$
• Design do Kernel de Peso: O kernel $w_\psi$ utiliza um embutimento específico $\phi(t)$ envolvendo a integral de uma função seno ao quadrado. Isso garante que o kernel tenha derivadas nulas em múltiplos inteiros do período, prevenindo deslocamentos de fase indesejados no kernel ponderado.
• Modelo Generativo: A distribuição generativa final é definida como:
  $$\gamma \sim \mathcal{N}(\hat{\mu}_\theta, \Sigma_\psi)$$
  onde $\hat{\mu}_\theta$ é a média da Etapa 1 (inalterada) e $\Sigma_\psi$ é a covariância modulada.
• Racional:
  • Manter a média inalterada garante que a estrutura da média seja idêntica em todas as repetições, satisfazendo o requisito de consistência estrutural.
  • Modular a covariância permite que a incerteza local seja preservada enquanto garante que as correlações entre repetições distantes decaiam monotonicamente para zero.
  • Esta abordagem evita a "patologia" de usar um prior periódico ponderado, o que causaria o decaimento da média preditiva para zero e a inflação das variâncias ao longo do tempo.

3. Contribuições Principais

1. Modelo Generativo Novel: Um modelo generativo estocástico para séries temporais multivariadas aproximadamente periódicas baseado em GPs que suporta um número arbitrário de repetições.
2. Construção em Duas Etapas: Um método que separa o aprendizado de um template periódico estável (Etapa 1) da injeção de variabilidade inter-repetição controlada (Etapa 2).
3. Modulação do Posterior: A introdução de um posterior modulado por kernel (em vez de um prior ponderado) para alcançar estabilidade de longo horizonte, garantindo que a média permaneça consistente enquanto a covariância reflete o decaimento natural da similaridade entre repetições.
4. Estratégia de Treinamento em Mini-Lotes: Uma técnica para estabilizar a estimativa da variância do ruído na presença de repetições independentes, avaliando verossimilhanças sobre lotes.
5. Implementação Prática: Demonstração da capacidade do modelo de gerar trajetórias sintéticas realistas a partir de conjuntos de dados de brinquedo, incluindo casos multidimensionais usando Modelos Lineares de Co-regionalização (LMC).

4. Resultados Experimentais

O modelo foi avaliado em conjuntos de dados sintéticos gerados a partir de GPs periódicos ponderados, incluindo cenários sem ruído e com ruído, bem como dados bidimensionais.

• Sensibilidade ao Tamanho do Lote: Experimentos mostraram que a variância estimada $\sigma^2_\theta$ na Etapa 1 é altamente dependente do tamanho do mini-lote $|B|$. Com $|B|=1$, a variância colapsa em direção a zero. À medida que $|B|$ aumenta, a estimativa se estabiliza, capturando corretamente a variabilidade intrínseca.
• Tratamento de Ruído: Em configurações ruidosas, o parâmetro de ruído da segunda etapa $\sigma^2_\psi$ aumenta com os níveis de ruído de observação, enquanto o ruído da primeira etapa $\sigma^2_\theta$ permanece relativamente estável até que os níveis de ruído se tornem muito altos.
• Capacidade Multi-Saída: O modelo foi estendido com sucesso para dados bidimensionais usando kernels periódicos não estacionários, capturando graus variados de variação em diferentes ciclos (por exemplo, variância maior ao cruzar a origem).
• Desempenho: O modelo alcançou baixo Erro Quadrático Médio (MSE) entre a média preditiva e a média de teste, e modelou com precisão os desvios padrão ponto a ponto.

5. Significado e Alegações

O artigo alega que modificar o posterior do GP em vez do prior fornece uma maneira fundamentada de modelar processos aproximadamente periódicos para fins generativos.

• Estabilidade: O modelo alcança estabilidade generativa de longo horizonte, capaz de produzir sequências arbitrariamente longas sem o decaimento da média ou inflação de variância observados em outras abordagens quasi-periódicas.
• Interpretabilidade: Ao desacoplar a média (estritamente periódica) da covariância (correlação decrescente), o modelo mantém a interpretabilidade e a incerteza calibrada dos GPs.
• Aplicações: Os autores identificam aplicações práticas específicas onde essa estabilidade e interpretabilidade são cruciais:
  • Geração de dados sintéticos realistas para testes unitários.
  • Criação de gêmeos digitais.
  • Povoamento de honeypots em sistemas industriais.
  • Detecção de anomalias baseada em verossimilhança, quantificando desvios das estatísticas aprendidas.

Os autores permanecem modestos quanto ao trabalho futuro, observando que a escalabilidade para grandes números de repetições exigirá técnicas de inferência esparsas ou aproximadas, e que uma avaliação sistemática em conjuntos de dados industriais do mundo real é necessária para quantificar os benefícios práticos em tarefas subsequentes.