🤖 machine learning

TiRex-2: Generalizing TiRex to Multivariate Data and Streaming

TiRex-2 es un novedoso modelo fundacional de series temporales recurrente basado en xLSTM que extiende el pronóstico univariante a escenarios multivariantes con covariables futuras mediante el empleo de un diseño centrado en la memoria para la transmisión de costo constante y un proceso de acoplamiento sintético para el preentrenamiento escalable, logrando un rendimiento zero-shot de vanguardia.

Autores originales: Patrick Podest, Marco Pichler, Elias Bürger, Levente Zólyomi, Bernhard Voggenberger, Wilhelm Berghammer, Daniel Klotz, Sebastian Böck, Günter Klambauer, Sepp Hochreiter

Publicado 2026-07-02

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Patrick Podest, Marco Pichler, Elias Bürger, Levente Zólyomi, Bernhard Voggenberger, Wilhelm Berghammer, Daniel Klotz, Sebastian Böck, Günter Klambauer, Sepp Hochreiter

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando predecir el clima. En los viejos tiempos, podrías haber mirado un solo termómetro para adivinar la temperatura de mañana. Pero la vida real es más desordenada: la temperatura, la humedad, la velocidad del viento y la presión atmosféica cambian todas juntas, y a veces ya sabes cosas sobre el futuro (como un frente de tormenta programado o un día festivo que suele traer multitudes).

El artículo presenta TiRex-2, una nueva IA "super-pronosticadora" diseñada para manejar esta realidad multivariable y desordenada mejor que los modelos anteriores. Así es como funciona, desglosado en conceptos simples:

1. El Problema: La "Biblioteca" vs. El "Cuaderno"

Los modelos de IA previos para series temporales (como Chronos-2) son como una gigantesca biblioteca. Cada vez que llega una nueva pieza de información (como una nueva lectura de temperatura), la IA tiene que volver a recorrer toda su biblioteca de datos pasados para encontrar conexiones. A medida que la historia se vuelve más larga, este "recorrido" se vuelve cada vez más lento, volviéndose demasiado pesado para manejar actualizaciones en tiempo real.

TiRex-2 es diferente. Es como un cuaderno inteligente que mantiene un resumen continuo. En lugar de releer todo el libro cada vez, simplemente actualiza su página actual. Esto le permite seguir trabajando a la misma velocidad, sin importar cuánta historia le entregues. Esto se llama "transmisión de costo constante" (constant cost streaming).

2. El Superpoder: Saber el Futuro (Sin Hacer Trampa)

En muchos escenarios del mundo real, sabes algunas cosas sobre el futuro con antelación. Por ejemplo, sabes que una fábrica cerrará el próximo martes por mantenimiento, o sabes que se acerca un día festivo.

El Desafío: Si una IA mira datos "futuros" para predecir el "presente", está haciendo trampa. Necesita conocer el futuro solo para las cosas que ya sabes (como el día festivo), pero nunca debe echar un vistazo al futuro de lo que intenta predecir (como las ventas reales).
La Solución: TiRex-2 utiliza un sistema especial de "semáforo" (técnicamente llamado atención agrupada asimétrica).
- Mira los datos "futuros-conocidos" (el día festivo) desde ambas direcciones (pasado y futuro) para entender el contexto completo.
- Pero coloca un muro estricto entre esos datos y los datos "objetivo" (las ventas). El objetivo puede ver la información del día festivo, pero la información del día festivo no puede "espiar hacia atrás" al futuro del objetivo. Esto asegura que la predicción sea honesta y causal.

3. El Entrenamiento: El "Mixólogo"

Para enseñar a esta IA cómo interactúan las variables (por ejemplo, cómo el viento afecta la temperatura), los investigadores necesitaron mucha práctica de datos. Los datos del mundo real con muchas variables son raros y difíciles de encontrar.

El Truco: Construyeron un flujo de trabajo de "mixólogo". Tomaron miles de series temporales solitas y aisladas (como solo temperatura, solo ventas, solo tráfico) y las mezclaron sobre la marcha para crear escenarios multivariables falsos y complejos.
Utilizaron diferentes "recetas" para mezclar: a veces solo las sumaban, otras veces hacían que una causara la otra, y otras veces creaban relaciones complecas y no lineales. Esto enseñó a la IA a reconocer patrones en cómo diferentes variables danzan juntas.

4. Los Resultados: El Corredor de Maratón

Los investigadores probaron TiRex-2 de tres maneras principales:

Desempeño Zero-Shot: Lanzaron la IA a problemas que nunca había visto (diferentes industrias, diferentes escalas de tiempo). TiRex-2 superó a los modelos actuales de vanguardia en dos de los principales puntos de referencia (fev-bench y GIFT-Eval).
El Maratón (Streaming): Alimentaron a la IA con un flujo masivo de datos (¡32 millones de pasos!). Mientras otros modelos se ralentizaban o se confundían a medida que la historia crecía, TiRex-2 mantuvo su velocidad y precisión constantes. No se cansó.
El Largo Alcance: Cuando se le pidió que predijera muy lejos en el futuro (largos horizontes), TiRex-2 utilizó los datos "futuros-conocidos" (como el frente de tormenta) para mantenerse preciso, mientras que otros modelos volvieron a adivinar a ciegas.

Resumen

TiRex-2 es un nuevo tipo de IA que:

Funciona rápido incluso con enormes cantidades de historia (a diferencia de los modelos de "biblioteca").
Sabe la diferencia entre lo que puede espiar (futuros días festivos) y lo que debe predecir (futuras ventas), asegurando que no haga trampa.
Aprende de la mezcla sintética, permitiéndole entender cómo interactúan diferentes variables sin necesidad de un conjunto de datos del mundo real perfecto para cada escenario.

Los autores afirman que este es el primer modelo que combina todas estas características: soporte multivariable, covariables futuras conocidas, causalidad estricta y transmisión de velocidad constante.

Resumen Técnico: TiRex-2

Planteamiento del Problema

El pronóstico de series temporales en el mundo real es inherentemente secuencial y multivariante. Las observaciones llegan de forma continua, las variables evolucionan conjuntamente y un subconjunto de covariables (por ejemplo, características de calendario, intervenciones programadas) suele conocerse de antemano. Aunque los modelos de fundamentos de series temporales (TSFMs) existentes como Chronos-2 y MOIRAI han demostrado sólidas capacidades multivariantes, dependen predominantemente de arquitecturas Transformer. Estos modelos sufren dos limitaciones críticas en escenarios de transmisión (streaming):

Complejidad Cuadrática: Los costes de inferencia crecen cuadráticamente con la longitud del contexto debido a los mecanismos de atención, y se requiere la recomputación de todo el historial a medida que llegan nuevas observaciones.
Gestión de Covariables: Muchos modelos tienen dificultades para integrar covariables conocidas en el futuro sin violar la causalidad estricta sobre las variables objetivo, o carecen de soporte tanto para covariables pasadas como futuras simultáneamente.

Por el contrario, los modelos univariantes robustos (por ejemplo, TiRex, Reverso) suelen basarse en supuestos de independencia de canales, ignorando las dependencias entre variables esenciales para sistemas multivariantes. Existe una brecha en los modelos fundacionales multivariantes escalables que admitan la inferencia en streaming con un coste constante mientras mantienen una causalidad estricta de la variable objetivo y aprovechan las covariables conocidas en el futuro.

Metodología

Los autores presentan TiRex-2, un modelo fundacional recurrente basado en xLSTM, diseñado para generalizar el pronóstico univariante a entornos multivariantes con covariables tanto pasadas como futuras.

Arquitectura

TiRex-2 emplea un diseño centrado en la memoria basado en xLSTM (específicamente bloques mLSTM y sLSTM alternos), lo que permite actualizaciones de coste constante por parche. La arquitectura alterna entre dos bloques de mezcla:

Mezclador Temporal (Time Mixer): Actúa a lo largo del eje de parches ( $L$ $L$ ) de forma independiente para cada variable.
- Los tokens de la variable objetivo y de las covariables pasadas son procesados por un xLSTM estrictamente hacia adelante (forward).
- Los tokens de las covariables conocidas en el futuro son procesados por el mismo xLSTM con pesos compartidos en sentido inverso (reverse), y los pasos hacia adelante y hacia atrás se fusionan linealmente. Esto permite que las covariables conocidas en el futuro codifiquen información tanto de antes como de después de su posición sin violar la causalidad para las variables objetivo.
Mezclador de Variables (Variate Mixer): Actúa a lo largo del eje de variables ( $V$ $V$ ) utilizando atención agrupada asimétrica.
- Emplea atención agrupada de bloque diagonal para manejar un número arbitrario de variables sin necesidad de relleno (padding).
- Crucialmente, utiliza una máscara asimétrica donde las consultas (queries) de la variable objetivo pueden leer las claves (keys) de las covariables, pero las consultas de las covariables no pueden leer las claves de la variable objetivo. Esto asegura que las covariables conocidas en el futuro puedan influir en las variables objetivo, pero que las variables objetivo no puedan influir en las covariables, preservando la causalidad estricta.

Entrenamiento y Generación de Datos

Para soportar un preentrenamiento multivariante escalable sin depender de corpus multivariantes curados (que son escasos), los autores proponen un pipeline de acoplamiento sintético. Este pipeline:

Extrae series univariantes de grandes corpus.
Las aumenta (tendencias de amplitud, censura, picos).
Las acopla sobre la marcha mediante diversos mecanismos: acoplamiento de identidad, acoplamiento funcional, mezcla lineal, cointegración y tanto modelos causales estructurales (SCM) lineales como no lineales.
Aplica post-procesamiento (enriquecimiento de covariables, deformación temporal, discretización) para crear instancias de entrenamiento multivariantes realistas con dependencias trans-variables controlables.

Eficiencia de la Inferencia

La naturaleza recurrente del backbone de xLSTM permite la inferencia en streaming. A medida que llegan nuevos parches de datos, el modelo actualiza su estado oculto en tiempo constante ( $O(1)$ por parche), contrastando con los costes lineales ( $O(L)$ ) o cuadráticos ( $O(L^2)$ ) de los modelos basados en atención con caché KV o recomputación completa.

Contribuciones Clave

Modelo Fundacional Multivariante Recurrente: TiRex-2 extiende el TiRex univariante para modelar conjuntamente múltiples variables objetivo con covariables observadas (pasadas) y futuras. Activa 38.4M de parámetros en modo univariante y 44.1M adicionales para el pronóstico multivariante.
Causalidad Estricta con Covariables Futuras: A través de la combinación de xLSTM bidireccional para las covariables y la atención agrupada asimétrica, el modelo integra las covariables conocidas en el futuro de forma bidireccional asegurando que las series de la variable objetivo permanezcan estrictamente causales en un solo paso hacia adelante.
Inferencia en Streaming de Coste Constante: El estado recurrente permite actualizaciones incrementales, permitiendo que los pronósticos se refresquen con una computación de tiempo constante por cada paso de tiempo, independientemente de la longitud del contexto.
Pipeline de Acoplamiento Sintético: Un marco de generación de datos que construye diversas muestras multivariantes a partir de corpus univariantes, modelando explícitamente dependencias trans-variables indirectas, causales y directas para expandir la distribución de entrenamiento efectiva.

Resultados

Los autores evalúan TiRex-2 en tareas de pronóstico zero-shot, en streaming y de horizonte largo:

Rendimiento Zero-Shot: TiRex-2 logra un rendimiento de vanguardia (state-of-the-art) en fev-bench (para sondear la utilización de covariables) y GIFT-Eval (para sondear la generalización a través de dominios y frecuencias), superando a modelos como Chronos-2, MOIRAI-2 y TimesFM-2.5.
Estabilidad en Streaming: En experimentos de streaming de hasta 32M de pasos, TiRex-2 mantiene una calidad de pronóstico estable (MASE) mucho más allá de sus límites de contexto de post-entrenamiento (8k), sin mostrar signos de saturación o deriva.
Pronóstico de Horizonte Largo: En el benchmark dysts (sistemas caóticos), TiRex-2 lidera en horizontes de corto a moderado, extrayendo eficazmente la señal de las variables de estado para mantener la precisión.
Sensibilidad al Cambio de Covariables: TiRex-2 retiene señales útiles de las covariables en un rango de desfase más amplio en comparación con Chronos-2, demostrando robustez ante covariables desalineadas.
Estudios de Ablación: Los experimentos confirman que las covariables conocidas en el futuro proporcionan ganancias consistentes, y que la atención de grupo asimétrica y la mezcla bidireccional son componentes críticos para el rendimiento.

Significancia

El artículo afirma que TiRex-2 es el primer modelo fundacional de series temporales que logra la combinación específica de:

Soporte multivariante nativo con covariables tanto pasadas como futuras.
Causalidad estricta de la variable objetivo (evitando que los valores futuros de la variable objetivo se filtren en las predicciones pasadas).
Inferencia en streaming de memoria y coste constante.
Rendimiento zero-shot de vanguardia.

Al abordar la desalineación entre los comportamientos de escalado de los Transformers y los requisitos del pronóstico en streaming, TiRex-2 ofrece una solución práctica para sistemas de toma de decisiones continuos de alto riesgo (por ejemplo, mitigación de inundaciones, mantenimiento predictivo) donde la eficiencia y las actualizaciones en tiempo real son primordiales. Los autores señalan que, aunque las covariables conocidas en el futuro son típicamente estáticas dentro de una ventana de pronóstico, el modelo gestiona las actualizaciones dinámicas de forma efectiva al desplazarlas hacia la región causal. Se sugiere como trabajo futuro explorar la selección dinámica de covariables para optimizar aún más los costes de inferencia.