🤖 machine learning

Multivariate Time Series Forecasting needs Cross Variable Loss

Este artículo propone la Pérdida de Variables Cruzadas (CvLoss), un regularizador estructural que aborda la brecha de objetivos en el Pronóstico Directo al restringir explícitamente las dependencias entre variables cruzadas en las predicciones futuras, mejorando así el rendimiento de los modelos de pronóstico de series temporales multivariantes.

Autores originales: Kuiye Ding, Yifan Hu, Hanchen Wang, Hao Xue

Publicado 2026-08-07

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Kuiye Ding, Yifan Hu, Hanchen Wang, Hao Xue

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de predecir el clima para una ciudad entera la próxima semana. Tienes datos de cientos de sensores: temperatura, humedad, velocidad del viento y presión atmosférica. Si intentaras adivinar la temperatura de mañana sin mirar el viento, o adivinar el viento sin revisar la humedad, probablemente te equivocarías. En el mundo real, estas cosas no ocurren de forma aislada; danzan juntas. Cuando el viento aumenta, la temperatura baja y la humedad cambia. Este es el corazón de la Predicción de Series Temporales Multivariantes: predecir un futuro donde muchas variables diferentes evolucionan juntas, influenciadas por reglas compartidas y conexiones ocultas.

Durante años, los modelos informáticos más inteligentes han intentado resolver esto tratando cada variable como un estudiante separado en un salón de clases. Miran el historial de la temperatura, predicen la temperatura futura, luego miran el historial del viento, predicen el viento futuro, todo sin que los estudiantes hablen entre sí. Este enfoque, llamado Predicción Directa, es como pedir a cada estudiante que escriba su propio ensayo sin siquiera verificar si sus historias se contradicen entre sí. Aunque esto funciona aceptablemente para tareas simples, a menudo falla cuando las variables están profundamente vinculadas, como los semáforos en una ciudad con mucho tráfico o los precios de las acciones en un mercado financiero. Los modelos podrían acertar los números individuales en promedio, pero la imagen general que pintan es caótica y físicamente imposible.

Este artículo, titulado "Multivariate Time Series Forecasting needs Cross Variable Loss", aborda precisamente este problema. Los autores, Kuiye Ding y su equipo, argumentan que la forma actual en que las computadoras aprenden a predecir el futuro carece de una pieza crucial del rompecabezas: la relación entre las variables en el futuro mismo. Proponen una nueva herramienta llamada CvLoss (Pérdida de Variables Cruzadas) que obliga a la computadora a respetar las "reglas sociales" de los datos, asegurando que si una variable salta, las otras reaccionen de una manera que tenga sentido.

El Problema: La Estrategia del "Lobo Solitario"

Para entender el descubrimiento de los autores, veamos cómo funcionan los modelos actuales. Imagina a un grupo de amigos planeando una fiesta sorpresa. El método actual (Predicción Directa) es como pedir a cada amigo que adivine los detalles de la fiesta de forma independiente. El Amigo A adivina la hora, el Amigo B adivina la ubicación y el Amigo C adivina la comida. Podrían tener razón individualmente, pero si el Amigo A dice "mediodía" y el Amigo B dice "medianoche", el plan se desmorona.

En el mundo de los datos, esta estrategia del "Lobo Solitario" ignora el hecho de que las variables suelen coevolucionar. En la red de tráfico de una ciudad, si cae una tormenta repentina, el tráfico no solo se ralentiza en un sensor; se ralentiza en cientos de sensores simultáneamente. Si un modelo predice que una carretera está congestionada mientras la carretera paralela está vacía, ha violado la realidad física del sistema. Los autores señalan que los métodos de entrenamiento estándar, que se centran solo en minimizar el error de cada predicción individual (como verificar si la temperatura predicha coincide con la temperatura real), no logran detectar estos errores estructurales. Llaman a este desajuste la "Brecha de Objetivo". Es como calificar a un estudiante solo por su ortografía, ignorando el hecho de que su historia no tiene sentido lógico.

La Solución: El Regularizador del "Chat Grupal"

Los autores presentan CvLoss, un complemento ingenioso que actúa como un profesor estricto o un moderador de un chat grupal para el modelo. En lugar de solo verificar si los números finales están cerca de la verdad, CvLoss verifica si las relaciones entre los números son correctas.

Aquí explicamos cómo funciona, usando una analogía lúdica:
Imagina que el modelo es una banda tocando una canción. El método estándar (MSE) escucha a cada músico individualmente. Si el baterista está ligeramente fuera de ritmo, le aplica una penalización. Pero no le importa si el baterista está tocando un ritmo de jazz mientras el guitarrista toca un riff de heavy metal. La canción suena terrible, incluso si las notas individuales están "cerca" de lo solicitado.

CvLoss es el director que escucha a toda la banda. Verifica los "bordes" entre los músicos. Si el baterista acelera, el bajista también debería acelerar. Si el guitarrista se ralentiza, el cantante debería ajustarse. CvLoss penaliza al modelo si la diferencia entre las predicciones de dos variables no coincide con la diferencia entre sus comportamientos pasados reales. Fuerza al modelo a aprender que "si la Variable A sube, la Variable B usualmente sube (o baja) de una manera específica".

Los autores describen esto como un "regularizador estructural". Piénsalo como una banda elástica que conecta las predicciones de diferentes variables. Si el modelo intenta tirar de una predicción en una dirección que rompe la conexión con sus vecinos, la banda elástica regresa bruscamente, corrigiendo el error. Esto asegura que el pronóstico futuro parezca un sistema coherente y sincronizado en lugar de una colección de conjetzas aleatorias.

Lo Que Encontraron: Un Mejor Desempeño Grupal

El equipo probó esta nueva regla de "Chat Grupal" en una variedad de conjuntos de datos del mundo real, incluyendo el uso de electricidad, el flujo de tráfico y patrones climáticos. Integraron CvLoss en varios de los modelos de predicción más avanzados disponibles hoy en día.

Los resultados fueron consistentes e impresionantes. Al añadir esta única regla estructural, los modelos se volvieron significamente mejores para predecir el futuro.

Aumento de la Precisión: En conjuntos de datos complejos como el flujo de tráfico (con más de 800 sensores), el error cayó casi un 11% en algunos casos. En los datos de electricidad, las mejoras también fueron sustanciales.
Corrigiendo la Estructura: Los autores demostraron que, si bien los modelos antiguos podrían predecir la cantidad correcta de tráfico, a menudo erraban en el patrón. Con CvLoss, los modelos aprendieron a predecir las oleadas y caídas sincronizadas que ocurren en la vida real.
Sin Costo Adicional: Uno de los hallazgos más interesantes es que este "director" no ralentiza a la banda. CvLoss solo se utiliza mientras el modelo está aprendiendo (entrenamiento). Una vez que el modelo está listo para hacer predicciones en el mundo real, las bandas elásticas se retiran y el modelo funciona con la misma velocidad de antes.

Lo Que Descartaron

El artículo es muy claro sobre lo que CvLoss no es. No es una varita mágica que arregla datos malos, ni requiere que el modelo sea una arquitectura completamente nueva. Los autores afirman explícitamente que no necesitas reconstruir todo el cerebro informático; solo necesitas cambiar cómo aprende. También descartan la idea de que necesitemos conocer la fórmula matemática exacta y compleja de cómo cada variable se conecta con cada otra de antemano. CvLoss funciona incluso si el modelo simplemente asume que "todo podría estar conectado con todo lo demás", dejando que los datos enseñen las conexiones específicas.

La Conclusión

Este artículo sugiere que el futuro de la predicción de sistemas complejos reside en enseñar a las computadoras a preocuparse por las relaciones, no solo por los números. Al añadir una simple "Pérdida de Variables Cruzadas", podemos evitar que los modelos realicen predicciones físicamente imposibles y ayudarlos a comprender la danza sincronizada del mundo real. Es un recordatorio de que, en un mundo conectado, no puedes predecir el futuro de una cosa sin entender cómo se mueve con todo lo demás. Los autores demuestran que, con un poco de guía estructural, incluso los mejores modelos existentes pueden aprender a tocar la canción mucho mejor.

Resumen Técnico: Pérdida de Variación Cruzada para el Pronóstico de Series Temporales Multivariantes

1. Definición del Problema y Motivación

El pronóstico de series temporales multivariantes (MTSF, por sus siglas en inglés) tiene como objetivo predecir valores futuros de múltiples variables interrelacionadas. Mientras que los avances recientes se han centrado fuertemente en modelar las dependencias de los canales en el lado de la entrada (extracción de representaciones de características históricas), este artículo argumenta que las dependencias en el lado de la salida —las correlaciones intrínsecas entre las predicciones futuras— han sido ampliamente ignoradas.

Los enfoques predominantes actuales siguen mayoritariamente el paradigma de Pronóstico Directo (DF). En este paradigma, un modelo aprende un mapeo $f_\theta: \mathbb{R}^{H \times D} \to \mathbb{R}^{T \times D}$ para generar pronósticos de $T$ pasos para $D$ variables simultáneamente. Sin embargo, el entrenamiento estándar de DF se basa en funciones de pérdida punto a punto (por ejemplo, el Error Cuadrático Medio, MSE) que tratan cada entrada de tiempo y variable como una predicción escalar independiente.

Los autores identifican una limitación crítica en este enfoque:

Desajuste Físico: Los sistemas multivariantes del mundo real (por ejemplo, mercados financieros, redes de tráfico) exhiben dinámicas de sistema compartidas donde las variables co-evolucionan. Desacoplar ciegamente las predicciones futuras viola estas leyes físicas, lo que potencialmente conduce a pronósticos que son numéricamente precisos punto a punto, pero estructuralmente contradictorios (por ejemplo, violando reglas de mercado o restricciones físicas).
La Brecha de Objetivo: Desde una perspectiva probabilística, la optimización estándar de MSE punto a punto asume que los residuos de la predicción siguen una distribución Gaussiana isotrópica y completamente independiente (matriz de covarianza diagonal). Sin embargo, debido a las dependencias transvariables y con retardo, la verdadera matriz de covarianza espacio-temporal de los residuos contiene elementos fuera de la diagonal significativos. Esto crea una "Brecha de Objetivo" teórica ( $\Delta \neq 0$ ) entre la pérdida estándar y la verdadera distribución conjunta de los datos. En consecuencia, minimizar el MSE punto a punto no logra capturar la topología geométrica conjunta de los datos originales.

2. Metodología: Pérdida de Variación Cruzada (CvLoss)

Para abordar la Brecha de Objetivo, los autores proponen la Pérdida de Variación Cruzada (CvLoss), un regularizador estructural de tipo plug-in que restringe explícitamente la consistencia de los residuos de pronóstico a través de las variables.

2.1 Fundamento Teórico

Los autores formalizan el problema utilizando una perspectiva de estructura de grafo. Definen el vector de error de predicción $e$ y postulan que los verdaderos residuos siguen una distribución Gaussiana multivariante con una matriz de precisión estructurada $\Sigma_{ST}^{-1}$ que contiene elementos no nulos fuera de la diagonal.

La Proposición 3.2 establece que minimizar la log-verosimilitud negativa de una Gaussiana con una matriz de precisión estructurada es equivalente a minimizar el MSE estándar más una penalización de variación total (TV) de grafo al cuadrado sobre un grafo transvariable.
Aunque la teoría sugiere una penalización $\ell_2$ (al cuadrado), los autores eligen empíricamente una norma $\ell_1$ para el término de penalización. Esta elección está motivada por la necesidad de ser menos sensible a anomalías localizadas o choques específicos de una variable que podrían dominar una penalización al cuadrado, manteniendo al mismo tiempo la consistencia del grafo de los residuos.

2.2 Formulación de la Pérdida

CvLoss opera sobre nodos de parches (patches). El horizonte de pronóstico $T$ se divide en $P$ parches no superpuestos de longitud $L$ . Cada nodo $v$ representa un parche para una variable específica.

Construcción del Grafo: Se construye un grafo transvariable donde las aristas conectan las variables. Los autores definen tres tipos de aristas:
1. Aristas sincrónicas: Conectan variables en el mismo paso de tiempo (capturando interacciones concurrentes).
2. Aristas asincrónicas: Conectan variables en diferentes pasos de tiempo (capturando la propagación con retardo).
3. Aristas totalmente conectadas: La configuración por defecto, que incluye tanto interacciones sincrónicas como asincrónicas para maximizar la cobertura sin necesidad de conocimientos previos del dominio.
Cálculo de la Pérdida: Para cada arista $(i, j)$ en el grafo, la pérdida penaliza la discrepancia entre las diferencias estructurales de las predicciones y la verdad de campo (ground truth).
$L_{cv} = \frac{1}{|E| \times L} \sum_{(i,j) \in E} \| (\hat{z}_i - \hat{z}_j) - (z_i - z_j) \|_1$
Utilizando los residuos por nodo $e_i = \hat{z}_i - z_i$ , esto se simplifica a la variación total de los residuos a través del grafo:
$L_{cv} = \frac{1}{|E| \times L} \sum_{(i,j) \in E} \| e_i - e_j \|_1 = \frac{1}{|E| \times L} \| \tilde{A} \text{vec}(E) \|_1$
donde $\tilde{A}$ es la matriz de incidencia elevada del grafo.

2.3 Objetivo de Entrenamiento

El objetivo de entrenamiento final combina la pérdida de DF punto a punto estándar ( $L_{df}$ ) con el regularizador estructural ( $L_{cv}$ ):
$L_\alpha = (1 - \alpha) \cdot L_{df} + \alpha \cdot L_{cv}$
donde $\alpha \in (0, 1)$ es un hiperparámetro fijo ajustado en el conjunto de validación. Crucialmente, CvLoss es agnóstico al modelo y plug-and-play, integrándose sin problemas con diversas arquitecturas base (Transformers, MLPs, etc.) sin alterar el procedimiento de inferencia.

3. Principales Contribuciones

Identificación de la Brecha de Objetivo: El artículo demuestra que los objetivos de aprendizaje punto a punto estándar descuidan las dependencias de error inherentes entre canales para las predicciones futuras, creando un desajuste teórico con las correlaciones espacio-temporales del mundo real.
Propuesta de CvLoss: Un novedoso regularizador estructural que restringe explícitamente las relaciones entre canales mediante una formulación de consistencia de residuos en un grafo transvariable. Fomenta la consistencia tanto en las interacciones sincrónicas como en las asincrónicas.
Validación Empírica: Experimentos extensos muestran que CvLoss mejora consistentemente los modelos de vanguardia (SOTA) en diversos conjuntos de datos (ETT, ECL, Traffic, Weather, PEMS) y arquitecturas (iTransformer, TimeFilter, TQNet, etc.), logrando un rendimiento predictivo superior con un sobrecoste computacional mínimo.

4. Resultados Experimentales

Los autores evaluaron CvLoss en 12 bancos de pruebas estándar utilizando diversas arquitecturas base. Los hallazgos clave incluyen:

Ganancias de Rendimiento: La adición de CvLoss redujo consistentemente los errores de pronóstico (MSE y MAE). Por ejemplo, en el conjunto de datos Traffic, el MAE disminuyó en 0.014. En 114 comparaciones controladas por arquitectura, CvLoss mejoró los resultados en 111 casos, empató en 2 y perdió en 1, con una reducción relativa de error promedio del 3.39% en MSE y 3.61% en MAE.
Recuperación Estructural: Las visualizaciones de las matrices de correlación transvariable muestran que los modelos entrenados con CvLoss recuperan la estructura de correlación de la verdad de campo significativamente mejor que las líneas base. En el conjunto de datos ECL, CvLoss mejoró el error estructural para el 84.83% de las entradas transvariables en comparación con una línea base de iTransformer simple.
Comparación con Otros Objetivos: CvLoss superó a otros 11 objetivos de aprendizaje, incluyendo pérdidas de alineación de forma (Soft-DTW), maximización de verosimilitud (QDF, Time-o1) y métodos de balanceo de distribución.
Estudios de Ablación:
- Topología: El grafo totalmente conectado (que combina aristas sincrónicas y asincrónicas) produjo el mejor rendimiento, confirmando la necesidad de modelar ambos tipos de interacciones.
- Hiperparámetros: El método es robusto a la elección de $\alpha$ , encontrándose el rendimiento óptimo típicamente alrededor de $\alpha \approx 0.5$ . También es robusto a las variaciones en la longitud del parche.
Eficiencia:
- Inferencia: CvLoss impone cero sobrecoste durante la inferencia, ya que se elimina del grafo de computación después del entrenamiento.
- Entrenamiento: Aunque el grafo completo introduce una complejidad cuadrática $O(P^2D^2)$ , los autores demuestran que el muestreo aleatorio de aristas (limitando las aristas a 1000 por lote) reduce efectivamente el tiempo de entrenamiento a un nivel constante sin sacrificar la precisión predictiva.

5. Significado y Limitaciones

Significado:
El artículo sostiene que modelar la geometría estructural de las variables futuras es una dirección simple pero efectiva para mejorar el MTSF. Al desplazar el enfoque de las dependencias puramente del lado de la entrada hacia la consistencia estructural del lado de la salida, CvLoss cierra la brecha entre los supuestos matemáticos de las funciones de pérdida estándar y las realidades físicas de los sistemas que co-evolucionan. Ofrece un mecanismo universal y ligero para mejorar los modelos de pronóstico existentes sin requerir cambios arquitectónicos.

Limitaciones:

Construcción del Grafo: El enfoque por defecto utiliza un grafo totalmente conectado, lo que puede incluir interacciones no informativas en sistemas de muy alta dimensionalidad. Aunque el muestoreo aleatorio aborda la escalabilidad, el aprendizaje de estructuras de grafos adaptativas sigue siendo una dirección futura.
Alcance: El trabajo se centra en el pronóstico determinista en conjuntos de datos de referencia regulares. No se abordan las extensiones al pronóstico probabilístico, el muestreo irregular y los escenarios de valores faltantes.
Teórico vs. Empírico: Los autores reconocen que, si bien la derivación teórica (Proposición 3.2) respalda una penalización $\ell_2$ (al cuadrado), el método implementado utiliza una norma $\ell_1$ basada en evidencia empírica. La teoría motiva la necesidad de una restricción consciente de las relaciones, pero no deriva estrictamente la forma específica $\ell_1$ utilizada.

En conclusión, CvLoss proporciona una forma fundamentada de regularizar los pronósticos multivariantes, asegurando que las variables predichas evolucionen de manera consistente con sus dependencias físicas y estadísticas subyacentes.