Resumen Técnico: Olivia: Armonizando Modelos Fundacionales de Series Temporales con Densidad Espectral de Potencia

1. Declaración del Problema

Los modelos fundacionales de series temporales buscan aprender representaciones unificadas y de propósito general a partir de conjuntos de datos diversos en múltiples dominios (por ejemplo, energía, tráfico, salud) para habilitar una transferencia efectiva a tareas de pronóstico posteriores. Sin embargo, la heterogeneidad de los patrones temporales a través de estos dominios presenta un desafío significativo. Los conjuntos de datos originados en diferentes dominios exhiben estructuras periódicas distintas y dependencias a largo plazo debido a dinámicas físicas variables, ciclos operativos y configuraciones de medición.

Desde una perspectiva de optimización, el entrenamiento conjunto en conjuntos de datos con características temporales dispares a menudo conduce a una convergencia más lenta y a un comportamiento subóptimo. Desde una perspectiva de aprendizaje de representaciones, el modelo lucha por formar representaciones unificadas y transferibles cuando se ve obligado a acomodar simultáneamente estructuras temporales incompatibles. Si bien los enfoques existentes intentan mitigar las discrepancias entre dominios mediante la modularización arquitectónica o la especialización basada en capacidad, a menudo no logran abordar explícitamente las diferencias fundamentales en las distribuciones temporales, particularmente en el dominio espectral.

2. Metodología

El artículo propone Olivia, un nuevo modelo fundacional de series temporales que aborda la heterogeneidad entre dominios armonizando conjuntos de datos mediante Densidad Espectral de Potencia (PSD) en el dominio espectral. La hipótesis central es que normalizar las PSD puede reducir las desajustes entre conjuntos de datos y mejorar la eficacia del preentrenamiento.

2.1. El Armonizador: Reparametrización Bidireccional de PSD

Minimizar directamente las discrepancias espectrales (por ejemplo, mediante la divergencia de Jensen–Shannon) entre conjuntos de datos es computacionalmente intratable para el preentrenamiento a gran escala debido al desajuste entre los objetivos a nivel de conjunto de datos y la optimización a nivel de instancia. Para superar esto, los autores proponen el Armonizador, un módulo estructural que armoniza implícitamente las PSD reorganizando las correlaciones temporales de segundo orden.

El Armonizador consta de dos submódulos bidireccionales:

• Alineador: Proyecta los datos de series temporales crudos en un subespacio latente compartido y armonizado por PSD. Utiliza una matriz ortogonal aprendible $Q$, parametrizada mediante una secuencia de reflexiones de Householder ($Q = \prod H_k$), para garantizar la ortogonalidad estricta. Esta transformación reorganiza las dinámicas temporales de tal manera que la matriz de momentos resultante se vuelve bloque-diagonal, separando las dinámicas del subespacio compartido de las variaciones específicas del conjunto de datos.
• Restaurador: Realiza el mapeo isométrico inverso para proyectar las representaciones procesadas de vuelta al espacio temporal específico del dominio original después de la decodificación, asegurando que la salida preserve la estructura temporal original.

Teóricamente, este enfoque corresponde a una reparametrización compartida de las correlaciones temporales de segundo orden, induciendo una forma estructural común a través de conjuntos de datos diversos sin la inestabilidad de la optimización directa de divergencia.

2.2. HarmonicFormer y HarmonicAttention

Construyendo sobre las representaciones armonizadas, los autores introducen HarmonicFormer, una columna vertebral de codificador-descodificador estilo Transformer. La innovación central es HarmonicAttention, que reemplaza las interacciones densas token-a-token con un espacio de interacción de baja dimensión mediado por un conjunto compacto de resonadores.

• Agregación de Token a Resonador: La información global se agrega desde los tokens hacia un pequeño conjunto de $M$ resonadores latentes ($M \ll L$, donde $L$ es el número de tokens).
• Interacción entre Resonadores: Se realiza autoatención dentro del espacio compacto de resonadores $M \times M$ en lugar del espacio completo de tokens $L \times L$.
• Proyección Global de Resonador: La información de resonador interactuada se redistribuye de vuelta a los tokens.

Este diseño reduce la complejidad computacional de $O(L^2P)$ a $O(LMP + M^2P)$, permitiendo una escalabilidad lineal para secuencias largas mientras se modelan dependencias globales a través del subespacio espectral armonizado.

2.3. Pipeline de Entrenamiento

Olivia sigue un pipeline de tres etapas:

1. Preentrenamiento: Entrenado en conjuntos de datos heterogéneos a gran escala (por ejemplo, UTSD) utilizando un objetivo de reconstrucción. El Alineador y el Restaurador se optimizan conjuntamente para aprender una organización temporal compartida que reduzca las discrepancias espectrales entre dominios.
2. Ajuste (Fine-tuning): El modelo se adapta a tareas específicas de pronóstico. El Alineador del Armonizador permanece aprendible para refinar la reparametrización temporal, mientras que los pesos del codificador y del descodificador se congelan para preservar las representaciones preentrenadas.
3. Inferencia: El modelo completamente entrenado realiza pronósticos con todos los parámetros congelados.

3. Contribuciones Clave

1. Enfoque de Armonización Principiado: El artículo introduce un método para abordar la diversidad de conjuntos de datos de preentrenamiento armonizando implícitamente las PSD mediante la reorganización de correlaciones temporales de segundo orden, superando los tratamientos no estructurados de la brecha entre dominios.
2. Mecanismo HarmonicAttention: Un mecanismo de atención novedoso que permite interacciones de tokens de baja dimensión mediadas por un conjunto compacto de resonadores, facilitando un modelado fundacional eficiente a través de la arquitectura HarmonicFormer.
3. Modelo Olivia: Un nuevo modelo fundacional de series temporales que integra estos mecanismos, demostrando un rendimiento superior en escenarios de cero disparos (zero-shot), pocos disparos (few-shot) y todos los disparos (full-shot).

4. Resultados Experimentales

Se realizaron experimentos extensos en dos benchmarks a gran escala (TSLib y GIFT-Eval) y seis conjuntos de datos adicionales de GluonTS.

• Rendimiento Zero-Shot: Olivia superó consistentemente a los modelos fundacionales más avanzados (incluyendo SEMPO, Time-MoE, Timer, Moirai, Chronos y TimesFM) y a las líneas base específicas de tareas. En el benchmark TSLib, logró reducciones significativas en MSE y MAE en comparación con modelos a gran escala como Time-MoE (reducción promedio de MSE del 26.3%).
• Few-Shot y Full-Shot: Olivia demostró un rendimiento sólido en regímenes de pocos datos (few-shot) y configuraciones full-shot, logrando consistentemente un MSE y MAE promedio más bajos que tanto los modelos fundacionales preentrenados como los modelos de pronóstico especializados (por ejemplo, iTransformer, DLinear).
• Eficiencia: A pesar de la sobrecarga añadida del Armonizador, Olivia (5.1M de parámetros) mantuvo una huella compacta y velocidades de inferencia significativamente más rápidas que modelos a gran escala como Time-MoE (113M–2.4B de parámetros) y Moirai, mientras superaba en precisión a líneas base ligeras como SEMPO.
• Estudios de Ablación: Eliminar el Armonizador o reemplazar HarmonicAttention con Atención Completa estándar, Atención Lineal o Atención Nyström resultó en una degradación consistente del rendimiento, validando la necesidad de la armonización espectral y las interacciones de resonadores de baja dimensión.

5. Significado y Afirmaciones

El artículo afirma que Olivia demuestra el valor de armonizar estructuralmente las dinámicas temporales para construir modelos fundacionales de series temporales escalables y generalizables. Al alinear firmas espectrales dispares en un subespacio unificado, el modelo aprende primitivas temporales universales que son invariantes a los desplazamientos específicos del dominio.

Los autores posicionan su trabajo como un remedio principiado al problema de la "brecha entre dominios no estructurada" en el preentrenamiento de series temporales. Argumentan que abordar explícitamente las estructuras temporales de segundo orden mediante reparametrización guiada por PSD permite un aprendizaje por transferencia más efectivo que los métodos anteriores que se basaban únicamente en la modularización arquitectónica. Los resultados sugieren que las representaciones consistentes con la PSD permiten un compromiso favorable entre la eficiencia del modelo, la precisión y la capacidad de generalización a través de conjuntos de datos heterogéneos del mundo real.

El artículo reconoce una limitación con respecto a la sobrecarga adicional de inferencia introducida por las reflexiones secuenciales de Householder en el Armonizador, identificando estrategias de parametrización ortogonal más eficientes como una dirección para trabajos futuros. Sin embargo, mantiene que el diseño actual ofrece un equilibrio robusto entre el rigor arquitectónico y la velocidad práctica.