Riepilogo Tecnico: Modellazione Generativa di Serie Temporali Approssimativamente Periodiche mediante un Processo Gaussiano Ponderato a Posteriori

1. Enunciato del Problema

I processi automatizzati discreti nei sistemi industriali e cyber-fisici (ad esempio, linee di assemblaggio robotizzate) spesso esibiscono un comportamento approssimativamente periodico. Sebbene le ripetizioni successive seguano una traiettoria comune, differiscono per durata, ampiezza e dinamiche su scala fine a causa di rumore, usura e fluttuazioni ambientali.

La modellazione di questi processi mediante Processi Gaussiani (GP) presenta una sfida specifica:

• I modelli strettamente periodici impongono una ripetizione esatta, sopprimendo la necessaria variabilità inter-ripetizione presente nei dati reali.
• I modelli non periodici non riescono a catturare le forti regolarità strutturali richieste per la generazione a lungo termine.
• Gli approcci quasi-periodici esistenti spesso impongono una periodicità esatta o introducono un decadimento della media e un'inflazione della varianza su orizzonti temporali lunghi, limitandone l'utilità come modelli generativi per un numero arbitrario di ripetizioni.

L'obiettivo è sviluppare un modello generativo stocastico in grado di produrre sequenze di ripetizioni arbitrariamente lunghe che preservino la forma caratteristica del processo, consentendo al contempo una variazione fluida e controllata tra le ripetizioni.

2. Metodologia

Gli autori propongono una costruzione in due fasi che disaccoppia la struttura intra-ripetizione dalla variabilità inter-ripetizione. L'innovazione centrale consiste nel modulare il posteriore di un GP anziché il prior, evitando comportamenti patologici associati a priori ponderati.

Fase 1: Apprendimento di un Modello di Ripetizione Stabile

La prima fase modella le statistiche intra-ripetizione utilizzando un prior GP strettamente periodico.

• Assunzione: Le ripetizioni osservate $y_1, \dots, y_r$ sono trattate come realizzazioni (parzialmente) indipendenti dello stesso processo periodico sottostante, che condivide iperparametri comuni.
• Kernel: Viene utilizzato un kernel periodico $k_\theta$, dove gli input sono incorporati su un cerchio.
• Strategia di Addestramento: Per affrontare il problema secondo cui la varianza del rumore $\sigma^2_\theta$ non è identificabile da ripetizioni indipendenti sotto una verosimiglianza fattorizzata, gli autori adottano una strategia di addestramento mini-batch. La log-verosimiglianza negativa (NLL) viene valutata su piccoli batch di più ripetizioni. Questo costringe il modello a spiegare le variazioni inter-ripetizione, stabilizzando la stima della varianza del rumore.
• Regolazione Post-Addestramento: Durante la costruzione del posteriore, le ripetizioni sono trattate come osservazioni della stessa funzione latente per preservare la struttura spaziale globale. Per prevenire un'attenuazione artificiale dell'incertezza (dovuta all'"accumulo di evidenze" da più ripetizioni), la varianza del rumore $\sigma^2_\theta$ viene ridimensionata in base al numero effettivo di ripetizioni.

Fase 2: Ponderazione del Posteriore

La seconda fase introduce correlazioni inter-ripetizione modificando direttamente la covarianza del posteriore, anziché alterare il kernel del prior.

• Meccanismo: Un nuovo kernel di ponderazione $w_\psi$ (un kernel Gaussiano in uno spazio di incorporamento) viene applicato tramite moltiplicazione elemento per elemento (prodotto di Schur) alla matrice di covarianza del posteriore $\hat{\Sigma}_\theta$ ottenuta nella Fase 1.
  $$\Sigma_\psi := W_\psi \odot \hat{\Sigma}_\theta + \sigma^2_\psi I$$
• Progettazione del Kernel di Ponderazione: Il kernel $w_\psi$ utilizza un incorporamento specifico $\phi(t)$ che coinvolge l'integrale di una funzione seno quadrata. Ciò garantisce che il kernel abbia derivate nulle ai multipli interi del periodo, prevenendo spostamenti di fase indesiderati nel kernel ponderato.
• Modello Generativo: La distribuzione generativa finale è definita come:
  $$\gamma \sim \mathcal{N}(\hat{\mu}_\theta, \Sigma_\psi)$$
  dove $\hat{\mu}_\theta$ è la media della Fase 1 (invariata) e $\Sigma_\psi$ è la covarianza modulata.
• Razionale:
  • Lasciare invariata la media garantisce che la struttura della media sia identica attraverso tutte le ripetizioni, soddisfacendo il requisito di coerenza strutturale.
  • La modulazione della covarianza permette di preservare l'incertezza locale assicurando al contempo che le correlazioni tra ripetizioni distanti decadano monotonicamente a zero.
  • Questo approccio evita la "patologia" dell'uso di un prior periodico ponderato, che causerebbe il decadimento della media predittiva verso zero e l'inflazione delle varianze nel tempo.

3. Contributi Chiave

1. Nuovo Modello Generativo: Un modello generativo stocastico per serie temporali multivariate approssimativamente periodiche basato su GP, che supporta un numero arbitrario di ripetizioni.
2. Costruzione in Due Fasi: Un metodo che separa l'apprendimento di un modello periodico stabile (Fase 1) dall'iniezione di variabilità inter-ripetizione controllata (Fase 2).
3. Modulazione del Posteriore: L'introduzione di un posteriore modulato da kernel (anziché un prior ponderato) per ottenere stabilità su orizzonti lunghi, garantendo che la media rimanga coerente mentre la covarianza riflette il decadimento naturale della similarità tra le ripetizioni.
4. Strategia di Addestramento Mini-Batch: Una tecnica per stabilizzare la stima della varianza del rumore in presenza di ripetizioni indipendenti valutando le verosimiglianze su batch.
5. Implementazione Pratica: Dimostrazione della capacità del modello di generare traiettorie sintetiche realistiche da dataset di esempio, inclusi casi multidimensionali utilizzando Modelli Lineari di Co-regionalizzazione (LMC).

4. Risultati Sperimentali

Il modello è stato valutato su dataset sintetici generati da GP periodici ponderati, inclusi scenari senza rumore e con rumore, nonché dati bidimensionali.

• Sensibilità alla Dimensione del Batch: Gli esperimenti hanno mostrato che la varianza stimata $\sigma^2_\theta$ nella Fase 1 dipende fortemente dalla dimensione del mini-batch $|B|$. Con $|B|=1$, la varianza collassa verso zero. All'aumentare di $|B|$, la stima si stabilizza, catturando correttamente la variabilità intrinseca.
• Gestione del Rumore: In contesti rumorosi, il parametro di rumore della seconda fase $\sigma^2_\psi$ aumenta con i livelli di rumore delle osservazioni, mentre il rumore della prima fase $\sigma^2_\theta$ rimane relativamente stabile fino a quando i livelli di rumore non diventano molto elevati.
• Capacità Multi-Output: Il modello è stato esteso con successo a dati bidimensionali utilizzando kernel periodici non stazionari, catturando gradi variabili di variazione in diversi cicli (ad esempio, varianza più elevata quando si attraversa l'origine).
• Prestazioni: Il modello ha raggiunto un basso Errore Quadratico Medio (MSE) tra la media predittiva e la media di test, e ha modellato accuratamente le deviazioni standard punto per punto.

5. Significato e Affermazioni

Il documento afferma che la modifica del posteriore del GP anziché del prior fornisce un modo fondato per modellare processi approssimativamente periodici a fini generativi.

• Stabilità: Il modello raggiunge una stabilità generativa su orizzonti lunghi, capace di produrre sequenze arbitrariamente lunghe senza il decadimento della media o l'inflazione della varianza osservati in altri approcci quasi-periodici.
• Interpretabilità: Disaccoppiando la media (strettamente periodica) dalla covarianza (correlazione decrescente), il modello mantiene l'interpretabilità e l'incertezza calibrata dei GP.
• Applicazioni: Gli autori identificano specifiche applicazioni pratiche in cui questa stabilità e interpretabilità sono cruciali:
  • Generazione di dati sintetici realistici per il testing unitario.
  • Creazione di gemelli digitali.
  • Popolamento di honeypot in sistemi industriali.
  • Rilevamento di anomalie basato sulla verosimiglianza quantificando le deviazioni dalle statistiche apprese.

Gli autori mantengono un atteggiamento modesto riguardo al lavoro futuro, notando che il passaggio a un numero elevato di ripetizioni richiederà tecniche di inferenza sparse o approssimate, e che è necessaria una valutazione sistematica su dataset industriali reali per quantificare i benefici pratici nei compiti downstream.