🤖 machine learning

Chronicle: A Multimodal Foundation Model for Joint Language and Time Series Understanding

Chronicle es un transformador compacto, exclusivo de decodificador y con 324 millones de parámetros, entrenado desde cero tanto en lenguaje natural como en series temporales dentro de una arquitectura unificada, que logra un rendimiento competitivo en ambos dominios y capacidades superiores de pronóstico multimodal sin depender de la adaptación *a posteriori* de modelos de lenguaje preentrenados.

Autores originales: Paul Quinlan, Jeremy Levasseur, Qingguo Li, Xiaodan Zhu

Publicado 2026-05-21

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Paul Quinlan, Jeremy Levasseur, Qingguo Li, Xiaodan Zhu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes dos tipos de expertos muy diferentes en una habitación.

El primer experto es un Analista de Series Temporales. Es un mago al observar números que cambian con el tiempo, como los precios de las acciones, los patrones climáticos o los monitores de frecuencia cardíaca. Puede predecir lo que sucederá a continuación simplemente observando la forma de las líneas. Sin embargo, es mudo; no puede leer las notas, los informes de noticias o las descripciones que a menudo acompañan a esos números.

El segundo experto es un Erudito del Lenguaje. Es brillante leyendo libros, entendiendo historias y respondiendo preguntas. Pero si le entregas una hoja de cálculo con números crudos, está completamente perdido. No habla el idioma de los "datos".

Durante mucho tiempo, los científicos intentaron hacer que estos dos expertos trabajaran juntos tomando al Erudito del Lenguaje, dándole un curso intensivo en números y esperando que pudiera entender ambos. El artículo argumenta que esto es como intentar enseñarle a un pez a trepar un árbol obligándolo a usar botas. El cerebro del Erudito del Lenguaje estaba construido para las palabras, no para el ritmo del tiempo, por lo que los resultados eran torpes e ineficientes.

Presentamos "Chronicle".

Los autores de este artículo construyeron desde cero un tipo completamente nuevo de experto. En lugar de tomar un experto en lenguaje existente e intentar enseñarle matemáticas, construyeron un único cerebro compacto (un modelo de 324 millones de parámetros) que aprendió ambos idiomas simultáneamente desde el primer día.

Así es como lo hicieron, utilizando algunas analogías simples:

1. El enfoque del "Aula Compartida"

La mayoría de los modelos anteriores intentaron añadir un módulo de series temporales a un modelo de lenguaje. Es como construir una casa y luego intentar añadir una piscina pegándola al techo.

Chronicle es diferente. Es como construir un único aula compartida donde los estudiantes (los datos) están ya sea leyendo un libro (texto) o observando cómo avanza el reloj (serie temporal).

El Plan de Estudios: Durante la mayor parte del entrenamiento, los estudiantes estudian en grupos separados. El 92% del tiempo leen libros. El 8% del tiempo estudian el reloj.
La Magia: Aunque estudian por separado, se sientan en los mismos pupitres y usan los mismos cuadernos (los "parámetros compartidos"). Para cuando se gradúan, la parte de "Lenguaje" del cerebro ha aprendido el ritmo del tiempo, y la parte de "Tiempo" ha aprendido la sutileza del lenguaje, todo sin necesidad de haber sido pegados juntos.

2. La "Colcha de Retazos"

Para enseñarle al modelo sobre el tiempo, los autores no le alimentaron números crudos uno por uno. En su lugar, cortaron la serie temporal en pequeños cuadrados, como parches de una colcha.

Imagina una tira larga de tela que representa un año de datos de temperatura.
La cortaron en trozos de 32 días (parches).
Cada parche se convierte en un único "token" (una unidad similar a una palabra) que el modelo puede entender.
Esto permite que el modelo vea la "forma" de los datos (¿está subiendo? ¿está disparándose?) tan fácilmente como ve una oración.

3. El Entrenamiento en "Dos Etapas"

El entrenamiento ocurrió en dos fases:

Etapa 1 (Los Fundamentos): El modelo aprendió a leer libros y a predecir el siguiente parche de la colcha por separado. Se volvió muy bueno en ambas tareas por sí mismo.
Etapa 2 (La Conversación): Introdujeron una pequeña cantidad de datos "mixtos". Imagina mostrarle al modelo una imagen de una nube de tormenta (el parche de la colcha) y la oración "Está lloviendo" (el texto) al mismo tiempo. Esto enseñó al modelo cómo se relacionan las dos modalidades, permitiéndole entender que un patrón específico en los números significa "lluvia".

¿Qué Demostraron?

El artículo afirma que este nuevo modelo "Chronicle" es una potencia por tres razones:

Es un Maestro Bilingüe: Entiende el texto tan bien como otros modelos de lenguaje pequeños y especializados (como Gemma-3 o LLaMA) del mismo tamaño. No perdió su capacidad de leer solo porque aprendió matemáticas.
Es un Profesional de la Predicción Temporal: Predice números futuros mejor que casi cualquier otro modelo que solo observa números, incluso aunque pasa la mayor parte de su tiempo de entrenamiento leyendo texto.
Es el Mejor Combinándolos: Cuando le das texto y números juntos (como un informe de noticias sobre un colapso bursátil más el gráfico de acciones), predice el futuro mejor que cualquier modelo anterior que intentó combinar los dos.

La Conclusión

El artículo concluye que no necesitas obligar a un modelo de lenguaje a aprender series temporales, ni a un modelo de series temporales a aprender lenguaje. En su lugar, puedes construir una base unificada que aprenda ambos desde cero.

Piensa en ello como un traductor universal que no solo aprendió un segundo idioma traduciendo palabra por palabra, sino que creció hablando ambos idiomas al mismo tiempo. Entiende la sensación y el contexto de ambos, lo que lo hace mucho más preciso que alguien que solo aprendió las reglas gramaticales de un segundo idioma más tarde en la vida.

Nota: El artículo se centra estrictamente en la capacidad del modelo para comprender, clasificar y pronosticar datos. No afirma que el modelo esté siendo utilizado actualmente en hospitales, salas de operaciones financieras o estaciones meteorológicas, ni predice aplicaciones clínicas futuras. Es un paso de investigación fundamental que demuestra que esta forma específica de construir inteligencia artificial funciona mejor que la antigua.

Resumen Técnico: Chronicle

Declaración del Problema

Los datos de series temporales del mundo real son inherentemente multimodales, acompañados de metadatos textuales, descripciones, noticias e informes. Sin embargo, los modelos fundacionales existentes de series temporales (TSFMs) procesan secuencias numéricas de forma aislada, careciendo de mecanismos para incorporar este contexto textual. Por el contrario, los modelos multimodales que intentan conectar el lenguaje y las series temporales sufren tres limitaciones sistemáticas:

Adaptación Post-hoc: Todos parten de un modelo de lenguaje preentrenado (LLM) y lo adaptan a las series temporales. En consecuencia, sus representaciones internas están moldeadas exclusivamente por el texto, forzando a la modalidad de series temporales a ajustarse a un espacio representacional no diseñado para datos temporales.
Brechas de Evaluación: Estos modelos rara vez se evalúan frente a modelos fundacionales unimodales de última generación en ninguno de los dos dominios (TSFMs dedicados o LLMs dedicados), dejando sin probar la necesidad del entrenamiento conjunto.
Hinchazón Arquitectónica: Muchos apuntan al razonamiento conversacional y requieren backbones masivos (8–14B de parámetros), confundiendo el objetivo de aprender representaciones temporales de propósito general con la construcción de agentes de razonamiento.

La pregunta central abordada es si un modelo compacto puede aprender representaciones de alta calidad tanto para texto como para series temporales desde cero sin interferencia catastrófica, y si el preentrenamiento conjunto es necesario en comparación con la adaptación de LLMs preentrenados.

Metodología

Los autores presentan Chronicle, un transformador solo-decodificador de 324M de parámetros entrenado desde cero en lenguaje natural y series temporales dentro de una única arquitectura unificada.

Arquitectura

Backbone Compartido: Ambas modalidades comparten los mismos bloques transformadores de 16 capas, mecanismo de atención y flujo residual. Los componentes específicos de la modalidad se restringen a las interfaces de entrada y salida.
Representación de Entrada:
- Texto: Tokenizado mediante un vocabulario BPE de 131k entradas con embeddings atados a la cabeza de salida.
- Series Temporales: Siguiendo a PatchTST-FM y Chronos-2, las series se estandarizan (usando solo valores visibles) y se transforman mediante la función seno hiperbólico inverso para suprimir valores atípicos. Se segmentan en parches no superpuestos ( $P=32$ ). Cada parche se representa mediante un vector de características de 4P dimensiones que concatena una rampa temporal, valores normalizados, una máscara de validez y una rampa de canal (para entradas multivariadas). Estos se proyectan a la dimensión de incrustación compartida ( $d=1024$ ).
Cabezas de Salida:
- Texto: Una cabeza de modelo de lenguaje atada con suavizado de logits, optimizada mediante entropía cruzada ( $L_{CE}$ ).
- Series Temporales: Una cabeza de cuantiles que predice 21 niveles de cuantil ( $\tau \in [0.05, 0.95]$ ), optimizada mediante pérdida de cuantiles enmascarada ( $L_{QL}$ ).
Objetivo de Entrenamiento: La pérdida total es una suma ponderada $L = w_{text}L_{CE} + w_{TS}L_{QL}$ , con pesos $w_{text}=1.0$ y $w_{TS}=2.5$ para equilibrar las contribuciones de gradiente dada la diferencia de escala entre las pérdidas.

Estrategia de Entrenamiento

Chronicle emplea un proceso de preentrenamiento en dos etapas:

Etapa 1 (Preentrenamiento Unimodal): El modelo se entrena con una mezcla 92/8 de lotes solo de texto y solo de series temporales. Esto asegura que el backbone aprenda representaciones robustas para cada modalidad de forma independiente. Los datos de texto provienen de FineWeb-Edu y Dolmino-mix; los datos de series temporales provienen de GiftEvalPretrain aumentados con KernelSynth.
Etapa 2 (Alineación Cross-Modal): La longitud de contexto se extiende a 4096. Una pequeña fracción (5%) de los tokens de series temporales se reemplaza con secuencias entrelazadas de texto y series temporales (de ChatTS y Merrill et al.) para establecer correspondencias explícitas cross-modales. La mayor parte del entrenamiento permanece unimodal para preservar las capacidades específicas de cada modalidad.

Contribuciones Clave

Preentrenamiento Conjunto desde Cero: Chronicle es el primer modelo que aprende texto y series temporales de extremo a extremo desde una inicialización aleatoria dentro de un único backbone transformador compartido, en lugar de adaptar un LLM preentrenado.
Evaluación Rigurosa Cross-Dominio: El modelo se evalúa frente a modelos fundacionales dedicados en ambos dominios (LLMs de tamaño comparable para NLU y TSFMs dedicados para pronóstico/clasificación), abordando una brecha de larga data en la literatura de series temporales multimodales.
Rendimiento Fuerte con Backbone Congelado: Chronicle logra resultados de última generación en tareas multimodales sin reentrenamiento por conjunto de datos del backbone, demostrando que un modelo compacto puede servir como motor de representación de propósito general.

Resultados

Comprensión del Lenguaje (NLU)

Evaluado en 19 tareas de NLU (suite DCLM), Chronicle (Etapa 2) alcanza una precisión promedio de 0.406, igualando a Gemma-3-270M-PT (0.406) y superando a GPT-2 (0.324). Cabe destacar que logra esto a pesar de ver solo ~138B de tokens de texto, aproximadamente 43–87 veces menos que sus competidores solo de texto de tamaño comparable. Esto valida que dedicar ~8% de la capacidad de cómputo a series temporales no causa interferencia catastrófica.

Pronóstico Probabilístico Zero-Shot (GIFT-Eval)

En la evaluación GIFT-Eval (97 tareas), la Etapa 1 (entrenamiento unimodal puro) alcanza un MASE de 0.978 y un CRPS de 0.690, superando a varias líneas base supervisadas (por ejemplo, N-BEATS, DLinear) y métodos estadísticos, aunque quedando por detrás de TSFMs dedicados como PatchTST-FM-r1. La Etapa 2 muestra una ligera caída en el rendimiento (MASE 1.053) debido a la etapa de alineación, destacando una compensación entre el rendimiento puro de pronóstico y la capacidad de transferencia multimodal.

Tareas Multimodales de Downstream

Clasificación Multimodal (TimeCAP): Chronicle supera a todas las líneas base de MM-TSFlib y FM Fusion. La Etapa 2 con LoRA ( $r=64$ ) alcanza el mejor macro-F1 (0.613) y AUC (0.757).
Pronóstico Multimodal (Time-MMD): Chronicle Etapa 2 (Sonda Lineal) alcanza el mejor MAE Normalizado general (0.514) y rango promedio (2.56), superando a las líneas base más fuertes (por ejemplo, BERT+TNet en 0.621).
Clasificación de Series Temporales (UCR/UEA): En 24 conjuntos de datos, Chronicle Etapa 1 establece un nuevo estándar para la clasificación con incrustaciones congeladas con 0.736 de precisión y 0.712 de F1, superando a TSFMs dedicados como Moirai-2 (0.714) y TimesFM (0.611).

Matices Técnicos

Repetición de Tokens: Para tareas de series temporales cortas (TimeCAP), repetir el bloque de tokens de series temporales ( $r=64$ ) mejora significativamente el rendimiento al reequilibrar la relación de tokens texto-TS en la secuencia compartida.
Conciencia de Canal: Codificar explícitamente la identidad del canal en entradas multivariadas mejora el rendimiento de clasificación en promedio en comparación con el agrupamiento de canales medios.

Significado y Afirmaciones

El artículo afirma que Chronicle demuestra que el texto y las series temporales pueden compartir un backbone transformador sin interferencia catastrófica, desafiando la suposición predominante de que los modelos de series temporales multimodales deben adaptar un LLM preentrenado.

Los autores argumentan que el preentrenamiento conjunto desde cero es un camino más directo hacia representaciones temporales de propósito general. Si bien persiste una brecha entre Chronicle y los TSFMs dedicados en el pronóstico puro (atribuida a la asignación de cómputo y al objetivo causal de siguiente parche), el modelo unifica con éxito la comprensión del lenguaje y la representación temporal en una arquitectura compacta de 324M de parámetros. Los resultados sugieren que los beneficios de la multimodalidad no son meramente una función de añadir texto a un LLM congelado, sino que pueden surgir de un paradigma de entrenamiento unificado donde ambas modalidades dan forma a las representaciones desde el principio.