🤖 machine learning

Chronicle: A Multimodal Foundation Model for Joint Language and Time Series Understanding

Chronicle é um decoder-only transformer compacto de 324 milhões de parâmetros treinado do zero em linguagem natural e séries temporais dentro de uma arquitetura unificada, alcançando desempenho competitivo em ambos os domínios e capacidades superiores de previsão multimodal sem depender de adaptação pós-hoc de modelos de linguagem pré-treinados.

Autores originais: Paul Quinlan, Jeremy Levasseur, Qingguo Li, Xiaodan Zhu

Publicado 2026-05-21

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Paul Quinlan, Jeremy Levasseur, Qingguo Li, Xiaodan Zhu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem dois tipos muito diferentes de especialistas em uma sala.

O primeiro especialista é um Analista de Séries Temporais. Ele é um mago ao analisar números que mudam ao longo do tempo — como preços de ações, padrões climáticos ou monitores de frequência cardíaca. Ele consegue prever o que acontecerá a seguir apenas observando a forma das linhas. No entanto, ele é mudo; não consegue ler as anotações, notícias ou descrições que frequentemente acompanham esses números.

O segundo especialista é um Especialista em Linguagem. Ele é brilhante ao ler livros, compreender histórias e responder perguntas. Mas, se você lhe entregar uma planilha com números brutos, ele fica completamente perdido. Ele não fala a linguagem dos "dados".

Por muito tempo, cientistas tentaram fazer esses dois especialistas trabalharem juntos levando o Especialista em Linguagem, dando-lhe um curso intensivo em números e esperando que ele conseguisse compreender ambos. O artigo argumenta que isso é como tentar ensinar um peixe a subir em uma árvore forçando-o a usar botas. O cérebro do Especialista em Linguagem foi construído para palavras, não para o ritmo do tempo, portanto, os resultados eram desajeitados e ineficientes.

Apresentamos o "Chronicle".

Os autores deste artigo construíram um tipo completamente novo de especialista do zero. Em vez de pegar um especialista em linguagem existente e tentar ensiná-lo matemática, eles criaram um único cérebro compacto (um modelo com 324 milhões de parâmetros) que aprendeu ambas as linguagens simultaneamente desde o primeiro dia.

Veja como eles fizeram isso, usando algumas analogias simples:

1. A Abordagem da "Sala de Aula Compartilhada"

A maioria dos modelos anteriores tentava acoplar um módulo de séries temporais a um modelo de linguagem. É como construir uma casa e depois tentar adicionar uma piscina colando-a no telhado.

O Chronicle é diferente. É como construir uma única sala de aula compartilhada onde os alunos (os dados) estão ou lendo um livro (texto) ou observando o tique-taque de um relógio (série temporal).

O Currículo: Na maior parte do treinamento, os alunos estudam em grupos separados. 92% do tempo, eles leem livros. 8% do tempo, eles estudam o relógio.
A Magia: Embora estudem separadamente, eles sentam nas mesmas mesas e usam os mesmos cadernos (os "parâmetros compartilhados"). Até a hora da formatura, a parte "Linguagem" do cérebro aprendeu o ritmo do tempo, e a parte "Tempo" aprendeu a nuance da linguagem, tudo sem nunca precisar ser colada junto.

2. O "Patchwork" (Colcha de Retalhos)

Para ensinar o modelo sobre o tempo, os autores não alimentaram números brutos um por um. Em vez disso, eles cortaram a série temporal em pequenos quadrados, como retalhos de uma colcha.

Imagine uma longa tira de tecido representando um ano de dados de temperatura.
Eles cortaram isso em pedaços de 32 dias (retalhos).
Cada retalho é transformado em um único "token" (uma unidade semelhante a uma palavra) que o modelo pode compreender.
Isso permite que o modelo veja a "forma" dos dados (está subindo? está disparando?) tão facilmente quanto vê uma frase.

3. O Treinamento em "Duas Etapas"

O treinamento ocorreu em duas fases:

Etapa 1 (O Básico): O modelo aprendeu a ler livros e prever o próximo retalho da colha separadamente. Tornou-se muito bom em ambas as tarefas por conta própria.
Etapa 2 (A Conversa): Introduziram uma pequena quantidade de dados "mistos". Imagine mostrar ao modelo uma imagem de uma nuvem de tempestade (o retalho da colcha) e a frase "Está chovendo" (o texto) ao mesmo tempo. Isso ensinou ao modelo como as duas modalidades se relacionam, permitindo que ele compreenda que um padrão específico nos números significa "chuva".

O Que Eles Provaram?

O artigo afirma que este novo modelo "Chronicle" é uma potência por três razões:

É um Mestre Bilíngue: Ele entende texto tão bem quanto outros modelos de linguagem pequenos e especializados (como Gemma-3 ou LLaMA) do mesmo tamanho. Ele não perdeu sua capacidade de ler apenas porque aprendeu matemática.
É um Profissional de Previsão Temporal: Ele prevê números futuros melhor do que quase qualquer outro modelo que apenas olha para números, mesmo passando a maior parte de seu tempo de treinamento lendo texto.
É o Melhor na Mistura: Quando você lhe dá texto e números juntos (como um relatório de notícias sobre um colapso de ações mais o gráfico de ações), ele prevê o futuro melhor do que qualquer modelo anterior que tentou combinar os dois.

A Conclusão

O artigo conclui que você não precisa forçar um modelo de linguagem a aprender séries temporais, nem um modelo de séries temporais a aprender linguagem. Em vez disso, você pode construir uma fundação unificada que aprende ambas desde a base.

Pense nisso como um tradutor universal que não apenas aprendeu um segundo idioma traduzindo palavra por palavra, mas cresceu falando ambos os idiomas ao mesmo tempo. Ele entende a sensação e o contexto de ambos, tornando-o muito mais preciso do que alguém que apenas aprendeu as regras gramaticais de um segundo idioma mais tarde na vida.

Nota: O artigo foca estritamente na capacidade do modelo de entender, classificar e prever dados. Ele não afirma que o modelo está sendo usado atualmente em hospitais, salas de negociação financeira ou estações meteorológicas, nem prevê aplicações clínicas futuras. É um passo de pesquisa fundamental que prova que esta maneira específica de construir IA funciona melhor do que a maneira antiga.

Resumo Técnico: Chronicle

Declaração do Problema

Dados de séries temporais do mundo real são inerentemente multimodais, acompanhados por metadados textuais, descrições, notícias e relatórios. No entanto, os modelos fundamentais existentes de séries temporais (TSFMs) processam sequências numéricas de forma isolada, carecendo de mecanismos para incorporar esse contexto textual. Por outro lado, os modelos multimodais que tentam integrar linguagem e séries temporais sofrem de três limitações sistemáticas:

Adaptação Post-hoc: Todos partem de um modelo de linguagem pré-treinado (LLM) e o adaptam para séries temporais. Consequentemente, suas representações internas são moldadas exclusivamente pelo texto, forçando a modalidade de séries temporais a se ajustar a um espaço representacional não projetado para dados temporais.
** lacunas de Avaliação:** Esses modelos raramente são avaliados contra modelos fundamentais unimodais de última geração em qualquer domínio (TSFMs dedicados ou LLMs dedicados), deixando a necessidade de treinamento conjunto não comprovada.
Inchaço Arquitetural: Muitos visam raciocínio conversacional e exigem backbones massivos (8–14B parâmetros), confundindo o objetivo de aprender representações temporais de propósito geral com a construção de agentes de raciocínio.

A questão central abordada é se um modelo compacto pode aprender representações de alta qualidade para texto e séries temporais do zero sem interferência catastrófica, e se o pré-treinamento conjunto é necessário em comparação com a adaptação de LLMs pré-treinados.

Metodologia

Os autores apresentam o Chronicle, um transformador apenas decodificador com 324M de parâmetros treinado do zero em linguagem natural e séries temporais dentro de uma única arquitetura unificada.

Arquitetura

Backbone Compartilhado: Ambas as modalidades compartilham os mesmos blocos de transformador de 16 camadas, mecanismo de atenção e fluxo residual. Componentes específicos da modalidade são restritos às interfaces de entrada e saída.
Representação de Entrada:
- Texto: Tokenizado via um vocabulário BPE de 131k entradas com embeddings atrelados à cabeça de saída.
- Séries Temporais: Seguindo PatchTST-FM e Chronos-2, as séries são padronizadas (usando apenas valores visíveis) e transformadas via seno hiperbólico inverso para suprimir outliers. Elas são segmentadas em patches não sobrepostos ( $P=32$ ). Cada patch é representado por um vetor de características de 4P dimensões concatenando uma rampa de tempo, valores normalizados, uma máscara de validade e uma rampa de canal (para entradas multivariadas). Estes são projetados para a dimensão de embedding compartilhada ( $d=1024$ ).
Cabeças de Saída:
- Texto: Uma cabeça de modelo de linguagem atrelada com limitação suave de logits, otimizada via entropia cruzada ( $L_{CE}$ ).
- Séries Temporais: Uma cabeça de quantil prevendo 21 níveis de quantil ( $\tau \in [0.05, 0.95]$ ), otimizada via perda de quantil mascarada ( $L_{QL}$ ).
Objetivo de Treinamento: A perda total é uma soma ponderada $L = w_{text}L_{CE} + w_{TS}L_{QL}$ , com pesos $w_{text}=1.0$ e $w_{TS}=2.5$ para equilibrar as contribuições de gradiente dada a diferença de escala entre as perdas.

Estratégia de Treinamento

O Chronicle emprega um processo de pré-treinamento em duas etapas:

Etapa 1 (Pré-treinamento Unimodal): O modelo é treinado em uma mistura 92/8 de batches apenas de texto e apenas de séries temporais. Isso garante que o backbone aprenda representações robustas para cada modalidade independentemente. Os dados de texto vêm de FineWeb-Edu e Dolmino-mix; os dados de séries temporais vêm de GiftEvalPretrain aumentados com KernelSynth.
Etapa 2 (Alinhamento Cross-Modal): O comprimento do contexto é estendido para 4096. Uma pequena fração (5%) dos tokens de séries temporais é substituída por sequências intercaladas de texto e séries temporais (de ChatTS e Merrill et al.) para estabelecer correspondências explícitas cross-modais. A maior parte do treinamento permanece unimodal para preservar capacidades específicas da modalidade.

Contribuições Principais

Pré-treinamento Conjunto do Zero: O Chronicle é o primeiro modelo a aprender texto e séries temporais de ponta a ponta a partir de inicialização aleatória dentro de um único backbone de transformador compartilhado, em vez de adaptar um LLM pré-treinado.
Avaliação Rigorosa Cross-Domínio: O modelo é avaliado contra modelos fundamentais dedicados em ambos os domínios (LLMs de escala correspondente para NLU e TSFMs dedicados para previsão/classificação), abordando uma lacuna de longa data na literatura de séries temporais multimodais.
Desempenho Forte com Backbone Congelado: O Chronicle alcança resultados de última geração em tarefas multimodais sem retreinamento do backbone por conjunto de dados, demonstrando que um modelo compacto pode servir como um motor de representação de propósito geral.

Resultados

Compreensão de Linguagem (NLU)

Avaliado em 19 tarefas de NLU (suite DCLM), o Chronicle (Etapa 2) alcança uma precisão média de 0,406, igualando o Gemma-3-270M-PT (0,406) e superando o GPT-2 (0,324). Notavelmente, ele alcança isso apesar de ver apenas ~138B tokens de texto, aproximadamente 43–87 vezes menos do que seus concorrentes apenas de texto de escala correspondente. Isso valida que dedicar ~8% de computação a séries temporais não causa interferência catastrófica.

Previsão Probabilística Zero-Shot (GIFT-Eval)

No benchmark GIFT-Eval (97 tarefas), a Etapa 1 (treinamento puramente unimodal) alcança um MASE de 0,978 e CRPS de 0,690, superando várias bases supervisionadas (e.g., N-BEATS, DLinear) e métodos estatísticos, embora fique atrás de TSFMs dedicados como PatchTST-FM-r1. A Etapa 2 mostra uma leve queda de desempenho (MASE 1,053) devido à etapa de alinhamento, destacando um trade-off entre desempenho puro de previsão e capacidade de transferência multimodal.

Tarefas Multimodais de Downstream

Classificação Multimodal (TimeCAP): O Chronicle supera todas as bases MM-TSFlib e FM Fusion. A Etapa 2 com LoRA ( $r=64$ ) alcança o melhor macro-F1 (0,613) e AUC (0,757).
Previsão Multimodal (Time-MMD): O Chronicle Etapa 2 (Sonda Linear) alcança o melhor Normalized MAE geral (0,514) e rank médio (2,56), superando as bases mais fortes (e.g., BERT+TNet em 0,621).
Classificação de Séries Temporais (UCR/UEA): Em 24 conjuntos de dados, o Chronicle Etapa 1 define uma nova referência para classificação com embedding congelado com 0,736 de precisão e 0,712 F1, superando TSFMs dedicados como Moirai-2 (0,714) e TimesFM (0,611).

Nuances Técnicas

Repetição de Tokens: Para tarefas de séries temporais curtas (TimeCAP), repetir o bloco de tokens de séries temporais ( $r=64$ ) melhora significativamente o desempenho ao reequilibrar a razão de tokens texto-TS na sequência compartilhada.
Consciência de Canal: Codificar explicitamente a identidade do canal em entradas multivariadas melhora o desempenho de classificação em média em comparação com o pooling de canal médio.

Significado e Alegações

O artigo afirma que o Chronicle demonstra que texto e séries temporais podem compartilhar um backbone de transformador sem interferência catastrófica, desafiando a suposição predominante de que modelos de séries temporais multimodais devem adaptar um LLM pré-treinado.

Os autores argumentam que o pré-treinamento conjunto do zero é um caminho mais direto para representações temporais de propósito geral. Embora uma lacuna permaneça entre o Chronicle e os TSFMs dedicados em previsão pura (atribuída à alocação de computação e ao objetivo causal de próximo patch), o modelo unifica com sucesso a compreensão de linguagem e a representação temporal em uma arquitetura compacta de 324M de parâmetros. Os resultados sugerem que os benefícios da multimodalidade não são meramente uma função de adicionar texto a um LLM congelado, mas podem emergir de um paradigma de treinamento unificado onde ambas as modalidades moldam as representações desde o início.