💻 computer science

TS-ICL: A Flexible Time-Indexed Foundation Model for Time Series via In-Context Learning

TS-ICL es un novedoso modelo fundacional indexado en el tiempo que aprovecha el Aprendizaje en Contexto para unificar la previsión y la imputación, logrando un rendimiento de vanguardia en series temporales irregulares y parcialmente observadas al formular las tareas como una regresión alineada con marcas de tiempo con dependencias causales sintéticas.

Autores originales: Etienne Le Naour, Tahar Nabil, Adrien Petralia

Publicado 2026-06-05

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Etienne Le Naour, Tahar Nabil, Adrien Petralia

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando predecir el clima, pero tu estación meteorológica está averiada. A veces deja de registrar durante horas; otras veces solo te da la temperatura pero no la velocidad del viento; y a veces los datos llegan en intervalos extraños e irregulares. La mayoría de los modelos computacionales actuales "superinteligentes" (llamados Modelos de Fundación) son excelentes para adivinar el futuro si los datos son perfectos y regulares, pero tropiezan cuando los datos son desordenados o faltan.

Este artículo presenta TS-ICL, un nuevo tipo de modelo de IA diseñado específicamente para manejar esta realidad desordenada. Piensa en él como un detective universal que viaja en el tiempo y que puede resolver dos misterios diferentes a la vez: rellenar las páginas perdidas de un diario (imputación) y predecir lo que sucederá después (predicción).

Así es como funciona, utilizando analogías sencillas:

1. El detective del "Contexto" (Aprendizaje en Contexto)

La mayoría de los modelos de IA son como estudiantes que memorizan un libro de texto específico. Si les haces una pregunta sobre un tema que no estudiaron, fallan. TS-ICL es diferente. Utiliza una técnica llamada Aprendizaje en Contexto (In-Context Learning).

Imagina que eres un detective tratando de resolver un crimen. En lugar de tener un libro de reglas preescrito, observas las pistas que tienes justo delante de ti (el "contexto").

La Analogía: Si ves un patrón de huellas que conduce a una puerta, no necesitas haber visto esa puerta específica antes para saber que alguien entró. Simplemente observas las huellas que tienes en este momento y descifras el patrón.
Cómo lo hace TS-ICL: Toma los datos que le proporcionas (la ventana de "observación hacia atrás") y los trata como una mini-lección. Aprende el patrón de esas pistas específicas e inmediatamente aplica esa lección para predecir el futuro o rellenar los huecos, sin necesidad de ser reentrenado para cada nuevo trabajo.

2. El mapa "Indexado por Tiempo" (Manejo de Datos Irregulares)

Los modelos tradicionales suelen forzar los datos de series temporales en una cuadrícula rígida, como una hoja de cálculo donde cada fila debe estar exactamente a una hora de distancia. Si un sensor pierde una lectura, toda la fila se rompe, o el modelo tiene que adivinar dónde va la fila faltante.

TS-ICL es como un mapa de GPS en lugar de una hoja de cálculo.

La Analogía: Una hoja de cálculo dice: "Fila 1 es la 1:00 PM, Fila 2 es las 2:00 PM". Si pierdes las 2:00 PM, la hoja de cálculo se confunde. Un GPS dice: "Estás en la 1:00 PM, y el siguiente punto es a las 2:15 PM". Entiende que el tiempo es un flujo continuo, no un conjunto de cajas fijas.
El Beneficio: Debido a que TS-ICL entiende marcas de tiempo específicas, puede manejar datos que faltan, son irregulares o llegan tarde sin despeinarse. No necesita "arreglar" los datos primero; simplemente lee las marcas de tiempo y continúa.

3. El sistema de "Acompañantes" (Covariables)

A veces, para predecir el futuro, necesitas algo más que la historia principal. Por ejemplo, para predecir el uso de electricidad, podrías necesitar conocer la temperatura (una "covariable").

La Analogía: Imagina que estás prediciendo qué tan rápido irá un coche. El dato principal es la velocidad del coche. Pero si también conoces la velocidad del viento y la pendiente de la carretera (los acompañantes), tu predicción será mucho mejor.
Cómo lo hace TS-ICL: Tiene un mecanismo especial para escuchar estas señales de los "acompañantes". Puede determinar si la velocidad del viento realmente importa para la velocidad del coche, o si es solo ruido. Aprende a ignorar a los acompañantes irrelevantes y a concentrarse en los que son útiles, todo mientras observa la historia principal.

4. El superpoder de "Dos en Uno"

Normalmente, necesitas una herramienta para rellenar datos faltantes (imputación) y una herramienta diferente para predecir el futuro (predicción).

La Analogía: Es como tener una navaja suiza que es tanto un destornillador como un abrelatas, pero que funciona mejor que comprar dos herramientas separadas.
El Resultado: TS-ICL unifica estas tareas. Puede observar un historial desordenado e incompleto, rellenar las piezas faltantes y luego predecir el futuro inmediatamente, todo en un solo paso.

Lo que el artículo afirma (Los Resultados)

Los autores probaron este "detective" contra los mejores modelos existentes:

Rellenar los huecos: TS-ICL es el nuevo campeón en rellenar datos faltantes. Supera significativamente a los mejores modelos anteriores (llamados Modelos de Fundación Tabulares) y lo hace 50 veces más rápido.
Predecir el futuro: En cuanto a la predicción, es tan bueno como los modelos de alto nivel (como Chronos-2), aunque utiliza un enfoque diferente.
La prueba de los "Datos Rotos": La afirmación más impresionante es su rendimiento cuando los datos pasados están rotos. Si le das a un modelo estándar un historial con un 50% de datos faltantes, su predicción se vuelve terrible. TS-ICL, sin embargo, se mantiene fuerte y preciso porque está construido para manejar marcas de tiempo irregulares de forma nativa.

Resumen

TS-ICL es un modelo flexible e inteligente al que no le importa si tus datos son desordenados, faltantes o irregulares. Trata el tiempo como un flujo continuo, aprende de las pistas que tiene justo delante y utiliza información adicional (como la temperatura o el viento) solo cuando ayuda. Actualmente es el mejor rellenando registros de datos rotos y es un competidor de primer nivel para predecir el futuro, siendo además mucho más rápido que sus rivales cuando se trata de manejar información faltante.

Resumen Técnico: TS-ICL

Planteamiento del Problema

Los Modelos de Fundación de Series Temporales (TSFMs) han cambiado el paradigma de modelos específicos para tareas a sistemas de inferencia de propósito general y zero-shot. Sin embargo, los enfoques existentes enfrentan tres limitaciones críticas en aplicaciones del mundo real:

Fragmentación de Tareas: La mayoría de los TSFMs se centran exclusivamente en el pronóstico (forecasting), fallando al no soportar de forma nativa la imputación de valores faltantes, lo cual es común en datos con muestreo irregular.
Manejo de Covariables: Muchos modelos carecen de mecanismos robustos para la inferencia consciente de covariables, a pesar de la necesidad de información externa para muchas tareas prácticas.
Rigidez de Muestreo: Las arquitecturas estándar basadas en parches (ej. Chronos, TimesFM) asumen entradas con muestreo regular, lo que dificulta su capacidad para manejar series temporales asíncronas o parcialmente observadas sin preprocesamiento.

Aunque los Modelos de Fundación Tabulares (TFMs) adaptados para series temporales (ej. TabPFN-TS) admiten covariables e imputación, a menudo dependen de características temporales diseñadas manualmente y sufren de altos costos de inferencia, quedando rezagados frente a los TSFMs puros en benchmarks de pronóstico. Existe la necesidad de un marco unificado que gestione conjuntamente el pronóstico y la imputación, soporte covariables y opere eficientamente en datos con muestreo irregular.

Metodología

Los autores presentan TS-ICL (Time-Series In-Context Learning), un modelo de fundación Transformer probabilístico que reformula el modelado de series temporales como un problema de regresión in-context indexado por tiempo. La arquitectura consta de cuatro módulos secuenciales:

Codificador de Series Temporales ( $E$ ): Basado en un diseño de codificador Perceiver, este módulo procesa marcas de tiempo y valores de contexto (y covariables opcionales) de forma independiente por canal. Utiliza un conjunto fijo de tokens aprendibles que realizan atención cruzada hacia pares de marca de tiempo-valor, comprimiendo entradas de longitud arbitraria en una secuencia latente compacta ( $Z_{val}$ ).
Mezclador de Canales ( $M$ ): Este módulo agrega información a través de los canales. Utiliza atención cruzada para permitir que la serie temporal objetivo consulte los tokens de las covariables, colapsando la dimensión de canal en una representación unificada y consciente de las covariables ( $Z_{final}$ ). Capas de autoatención subsecuentes modelan dependencias globales.
Módulo de Consulta de Contexto Temporal ( $C$ ): Para tender un puente entre los tokens latentes discretos y el dominio del tiempo continuo, este módulo incrusta cualquier marca de tiempo de consulta $t$ utilizando una codificación posicional basada en frecuencia. Realiza atención cruzada con $Z_{final}$ para producir una representación consciente del contexto $H(t)$ para marcas de tiempo arbitrarias, permitiendo un manejo flexible de muestreos irregulares.
Regresor de Aprendizaje In-Context ( $R$ ): El módulo final trata la predicción como una tarea de regresión in-context. Construye un conjunto de entrenamiento $D_{train}$ a partir de pares de contexto observados $(H(t), x_t)$ y utiliza autoatención causal para inferir valores objetivo en marcas de tiempo no observadas. Produce un conjunto denso de estimaciones de cuantiles entrenadas mediante una pérdida de pinball suavizada.

Prior de Datos y Entrenamiento:
TS-ICL se entrena con un prior de datos estructurado que combina conjuntos de datos del mundo real y datos sintéticos.

Univariante: Una mezcla de 31 conjuntos de datos del mundo real y señales sintéticas de TempoPFN, cubriendo diversos dominios y frecuencias.
Multivariante (Covariables): Las estructuras de objetivo-covariable sintéticas se generan utilizando Grafos Acíclicos Dirigidos (DAGs) y un registro de Modelos Causales Estructurales (SCMs). Esto asegura que el modelo aprenda una generalización zero-shot robusta a estructuras de dependencia no vistas, incluyendo covariables informativas, redundantes e independientes.
Tareas: El entrenamiento cambia dinámicamente entre imputación (enmascarando puntos o bloques) y pronóstico (enmascarando horizontes futuros).

Contribuciones Clave

Arquitectura Unificada: TS-ICL es un novedoso TSFM probabilístico que unifica el pronóstico y la imputación dentro de un único marco de tiempo continuo, soportando ambos procesos de forma nativa sin cambios arquitectónicos.
Prior Sintético Estructurado: Los autores diseñan un prior causal basado en DAGs para las relaciones objetivo-covariable, permitiendo que el modelo aprenda una generalización zero-shot robusta ante estructuras de dependencia complejas.
Imputación de Estado del Arte: TS-ICL establece un nuevo estado del arte en benchmarks de imputación zero-shot, superando a los principales TFMs (TabPFNv2.5-TS, TabICLv2-TS) por márgenes significativos (ej. una mejora del 17% y 15% sobre TabICLv2-TS en puntuaciones de NMAE y CRPS respectivamente).
Inferencia Eficiente Consciente de Covariables: El modelo soporta inferencia eficiente con covariables, manejando patrones de disponibilidad arbitrarios (ej. covariables observadas solo en la ventana de observación o tanto en la ventana de observación como en el horizonte).
Robustez ante Datos Faltantes: A diferencia de los modelos basados en parches, la formulación indexada por tiempo de TS-ICL le permite mantenerse robusto cuando las observaciones históricas están parcialmente ausentes.

Resultados Experimentales

El modelo fue evaluado en fm-impute-bench (imputación) y fev-bench (pronóstico), con validación adicional en el benchmark TIME.

Imputación: TS-ICL establece un nuevo estado del arte en benchmarks de imputación zero-shot. Mejora las puntuaciones de punto (NMAE) y probabilísticas (CRPS) sobre los principales TFMs (TabPFNv2.5-TS, TabICLv2-TS) por márgenes significativos. Crucialmente, es hasta 50 veces más rápido en inferencia que estos TFMs.
Pronóstico: En benchmarks de pronóstico, TS-ICL se mantiene competitivo con los principales TSFMs como Chronos-2 y TiRex, posicionándose entre los mejores desempeños. Aprovecha eficazmente las covariables cuando están disponibles, mejorando su ranking relativo entre los TSFMs.
Robustez ante Historia Faltante: En experimentos con niveles crecientes de falta de datos en la ventana de observación (30%–90%), TS-ICL supera consistentemente a Chronos-2. Mientras que el desempeño de Chronos-2 se degrada significamente a medida que el contexto se vuelve más disperso, TS-ICL mantiene la estabilidad, resaltando la ventaja de su formulación indexada por tiempo sobre los enfoques basados en parches.
Eficiencia: Aunque TS-ICL es aproximadamente 4 veces más lento que el altamente optimizado Chronos-2, es cerca de 40 veces más rápido que los TFMs, ofreciendo un sólido equilibrio entre precisión y eficiencia.

Significación y Reivindicaciones

El artículo afirma que TS-ICL aborda la fragmentación en el modelado actual de series temporales al proporcionar una arquitectura única capaz de realizar un pronóstico e imputación unificados con soporte nativo para covariables.

Su principal significación radica en su robustez ante observaciones históricas incompletas. Los autores demuestran que los modelos basados en parches son sensibles a la falta de contexto, mientras que la formulación indexada por tiempo de TS-ICL le permite abordar entornos de pronóstico realistas donde los datos son irregulares o están parcialmente observados. Al combinar la flexibilidad del aprendizaje in-context con un prior causal estructurado, TS-ICL ofrece una alternativa escalable a los modelos especializados, logrando un rendimiento de imputación de estado del arte mientras mantiene capacidades de pronóstico competitivas.

Los autores señalan limitaciones, específicamente que la formulación de regresión por punto incurre en costos computacionales más altos que los modelos basados en parches altamente optimizados (como Chronos-2), aunque esto se mitiga por su velocidad superior comparada con los TFMs. Sugieren que trabajos futuros podrían involucrar optimizaciones arquitectónicas (ej. caché) y una mayor diversificación del prior de datos de entrenamiento para mejorar la generalización zero-shot.