Resumen Técnico: Modelado Generativo de Series Temporales Aproximadamente Periódicas mediante un Proceso Gaussiano Ponderado por la Posterior

1. Planteamiento del Problema

Los procesos automatizados discretos en sistemas industriales y ciberfísicos (por ejemplo, líneas de ensamblaje robóticas) suelen exhibir un comportamiento aproximadamente periódico. Aunque las repeticiones sucesivas siguen una trayectoria común, difieren en duración, amplitud y dinámicas a pequeña escala debido al ruido, el desgaste y las fluctuaciones ambientales.

Modelar estos procesos con Procesos Gaussianos (PG) presenta un desafío específico:

• Los modelos estrictamente periódicos imponen una repetición exacta, suprimiendo la variabilidad necesaria entre repeticiones que se encuentra en los datos reales.
• Los modelos no periódicos no logran capturar las fuertes regularidades estructurales requeridas para la generación a largo plazo.
• Los enfoques cuasi-periódicos existentes a menudo imponen una periodicidad exacta o introducen decaimiento de la media e inflación de la varianza en horizontes largos, limitando su utilidad como modelos generativos para un número arbitrario de repeticiones.

El objetivo es desarrollar un modelo generativo estocástico que pueda producir secuencias arbitrariamente largas de repeticiones que preserven la forma característica del proceso, permitiendo al mismo tiempo una variación suave y controlada entre repeticiones.

2. Metodología

Los autores proponen una construcción en dos etapas que desacopla la estructura intra-repetición de la variabilidad inter-repetición. La innovación central consiste en modular la posterior de un PG en lugar de la priori, evitando comportamientos patológicos asociados a prioris ponderadas.

Etapa 1: Aprendizaje de una Plantilla de Repetición Estable

La primera etapa modela las estadísticas intra-repetición utilizando una priori de PG estrictamente periódica.

• Supuesto: Las repeticiones observadas $y_1, \dots, y_r$ se tratan como realizaciones (parcialmente) independientes del mismo proceso periódico subyacente que comparte hiperparámetros comunes.
• Núcleo: Se utiliza un núcleo periódico $k_\theta$, donde las entradas se incrustan en un círculo.
• Estrategia de Entrenamiento: Para abordar el problema de que la varianza del ruido $\sigma^2_\theta$ no es identificable a partir de repeticiones independientes bajo una verosimilitud factorizada, los autores emplean una estrategia de entrenamiento por mini-lotes. La verosimilitud negativa logarítmica (NLL) se evalúa sobre pequeños lotes de múltiples repeticiones. Esto obliga al modelo a explicar las variaciones inter-repetición, estabilizando la estimación de la varianza del ruido.
• Ajuste Post-Entrenamiento: Durante la construcción de la posterior, las repeticiones se tratan como observaciones de la misma función latente para preservar la estructura espacial global. Para evitar una atenuación artificial de la incertidumbre (debido a la "acumulación de evidencia" de múltiples repeticiones), la varianza del ruido $\sigma^2_\theta$ se reescala por el número efectivo de repeticiones.

Etapa 2: Ponderación de la Posterior

La segunda etapa introduce correlaciones inter-repetición modificando directamente la covarianza posterior, en lugar de alterar el núcleo priori.

• Mecanismo: Un nuevo núcleo de ponderación $w_\psi$ (un núcleo gaussiano en un espacio de incrustación) se aplica mediante multiplicación elemento a elemento (producto de Schur) a la matriz de covarianza posterior $\hat{\Sigma}_\theta$ obtenida en la Etapa 1.
  $$\Sigma_\psi := W_\psi \odot \hat{\Sigma}_\theta + \sigma^2_\psi I$$
• Diseño del Núcleo de Ponderación: El núcleo $w_\psi$ utiliza una incrustación específica $\phi(t)$ que involucra la integral de una función seno al cuadrado. Esto asegura que el núcleo tenga derivadas nulas en múltiplos enteros del periodo, evitando desplazamientos de fase no deseados en el núcleo ponderado.
• Modelo Generativo: La distribución generativa final se define como:
  $$\gamma \sim \mathcal{N}(\hat{\mu}_\theta, \Sigma_\psi)$$
  donde $\hat{\mu}_\theta$ es la media de la Etapa 1 (sin cambios) y $\Sigma_\psi$ es la covarianza modulada.
• Fundamento:
  • Dejar la media sin cambios asegura que la estructura media sea idéntica en todas las repeticiones, satisfaciendo el requisito de consistencia estructural.
  • Modular la covarianza permite preservar la incertidumbre local mientras se asegura que las correlaciones entre repeticiones distantes decaigan monótonamente a cero.
  • Este enfoque evita la "patología" de utilizar una priori periódica ponderada, lo que causaría que la media predictiva decaiga a cero y las varianzas se inflaran con el tiempo.

3. Contribuciones Clave

1. Modelo Generativo Novel: Un modelo generativo estocástico para series temporales multivariadas aproximadamente periódicas basado en PG que soporta un número arbitrario de repeticiones.
2. Construcción en Dos Etapas: Un método que separa el aprendizaje de una plantilla periódica estable (Etapa 1) de la inyección de variabilidad inter-repetición controlada (Etapa 2).
3. Modulación de la Posterior: La introducción de una posterior modulada por un núcleo (en lugar de una priori ponderada) para lograr estabilidad a largo plazo, asegurando que la media permanezca consistente mientras la covarianza refleja el decaimiento natural de la similitud entre repeticiones.
4. Estrategia de Entrenamiento por Mini-lotes: Una técnica para estabilizar la estimación de la varianza del ruido en presencia de repeticiones independientes evaluando verosimilitudes sobre lotes.
5. Implementación Práctica: Demostración de la capacidad del modelo para generar trayectorias sintéticas realistas a partir de conjuntos de datos de juguete, incluyendo casos multidimensionales utilizando Modelos Lineales de Co-regionalización (LMC).

4. Resultados Experimentales

El modelo se evaluó en conjuntos de datos sintéticos generados a partir de PGs periódicos ponderados, incluyendo escenarios sin ruido y con ruido, así como datos bidimensionales.

• Sensibilidad al Tamaño del Lote: Los experimentos mostraron que la varianza estimada $\sigma^2_\theta$ en la Etapa 1 depende altamente del tamaño del mini-lote $|B|$. Con $|B|=1$, la varianza colapsa hacia cero. A medida que $|B|$ aumenta, la estimación se estabiliza, capturando correctamente la variabilidad intrínseca.
• Manejo del Ruido: En entornos ruidosos, el parámetro de ruido de la segunda etapa $\sigma^2_\psi$ aumenta con los niveles de ruido de observación, mientras que el ruido de la primera etapa $\sigma^2_\theta$ permanece relativamente estable hasta que los niveles de ruido se vuelven muy altos.
• Capacidad de Múltiples Salidas: El modelo se extendió con éxito a datos bidimensionales utilizando núcleos periódicos no estacionarios, capturando grados variables de variación en diferentes ciclos (por ejemplo, mayor varianza al cruzar el origen).
• Rendimiento: El modelo logró un bajo Error Cuadrático Medio (MSE) entre la media predictiva y la media de prueba, y modeló con precisión las desviaciones estándar puntuales.

5. Significado y Afirmaciones

El artículo afirma que modificar la posterior del PG en lugar de la priori proporciona una forma fundamentada de modelar procesos aproximadamente periódicos con fines generativos.

• Estabilidad: El modelo logra estabilidad generativa a largo plazo, capaz de producir secuencias arbitrariamente largas sin el decaimiento de la media o la inflación de la varianza observados en otros enfoques cuasi-periódicos.
• Interpretabilidad: Al desacoplar la media (estrictamente periódica) de la covarianza (correlación decaída), el modelo mantiene la interpretabilidad y la incertidumbre calibrada de los PG.
• Aplicaciones: Los autores identifican aplicaciones prácticas específicas donde esta estabilidad e interpretabilidad son cruciales:
  • Generación de datos sintéticos realistas para pruebas unitarias.
  • Creación de gemelos digitales.
  • Población de cebos (honeypots) en sistemas industriales.
  • Detección de anomalías basada en verosimilitud mediante la cuantificación de desviaciones de las estadísticas aprendidas.

Los autores se mantienen modestos respecto al trabajo futuro, señalando que escalar a un gran número de repeticiones requerirá técnicas de inferencia aproximada o dispersa, y que es necesaria una evaluación sistemática en conjuntos de datos industriales del mundo real para cuantificar los beneficios prácticos en tareas posteriores.