Thoth: Mid-Training Bridges LLMs to Time Series Understanding

Este artigo apresenta o Thoth, uma família pioneira de Grandes Modelos de Linguagem (LLMs) que, por meio de um processo de "mid-training" utilizando o corpus Book-of-Thoth e avaliado pelo benchmark KnoTS, adquire capacidades fundamentais de compreensão e raciocínio sobre séries temporais, superando modelos existentes e demonstrando eficácia mesmo com escassez de dados.

O essencial

Imagine que você tem um gênio da lâmpada (um Modelo de Linguagem Grande, ou LLM, como o ChatGPT) que sabe tudo sobre o mundo: literatura, história, como cozinhar e como escrever poemas. Ele é brilhante em conversar.

Mas, se você der a ele um gráfico de ações da bolsa, um registro de batimentos cardíacos de um paciente ou dados de tráfego de uma cidade, esse gênio fica um pouco perdido. Ele vê números e linhas, mas não consegue "sentir" o ritmo, o padrão ou a história que esses dados contam ao longo do tempo. É como tentar explicar uma sinfonia para alguém que só conhece a teoria musical, mas nunca ouviu a música.

O paper "Thoth" apresenta uma solução genial para esse problema. Vamos descomplicar como eles fizeram isso:

1. O Problema: O Gênio que não entende "Tempo"

Os modelos atuais são treinados com trilhões de palavras. Eles são ótimos em prever a próxima palavra em uma frase. Mas dados de séries temporais (como o preço do Bitcoin ou a temperatura diária) não são palavras; são sequências de números que mudam com o tempo.
Quando tentamos ensinar esses modelos a entender esses dados apenas no final do treinamento (como um "estágio final"), eles tendem a esquecer o que já sabiam ou precisam de muitos exemplos específicos para aprender uma única tarefa. É como tentar ensinar um adulto a tocar piano apenas para ele passar em uma prova de música específica, sem nunca ter deixado ele tocar por diversão antes.

2. A Solução: O "Curso de Meio de Caminho" (Mid-Training)

Os autores propõem uma etapa intermediária, chamada Mid-Training (Treinamento de Meio de Caminho).
Pense no treinamento de um modelo como uma jornada escolar:

• Pré-treinamento: É a educação básica e geral (ler livros, aprender a falar).
• Mid-Training (O Pulo do Gato): É como um curso de especialização universitário antes de escolher a profissão. É aqui que o modelo aprende a "falar a língua" dos dados temporais, sem esquecer o que já sabia sobre o mundo.
• Pós-treinamento: É a especialização final para uma tarefa específica (como prever o clima de amanhã).

O modelo Thoth é o resultado desse "curso de especialização". Ele foi treinado para entender que os dados têm um "ritmo", "sazonalidade" (como estações do ano) e "tendências".

3. O Segredo: O "Livro de Thoth" (Book-of-Thoth)

Para fazer esse curso funcionar, eles precisavam de um material didático incrível. Eles criaram o Book-of-Thoth.
Imagine que, em vez de apenas mostrar gráficos, eles criaram um dicionário bidirecional:

• Do Gráfico para o Texto: O modelo vê um gráfico de temperatura subindo e aprende a escrever: "Aqui temos uma tendência de aquecimento com picos no verão."
• Do Texto para o Gráfico: O modelo lê a frase "Uma onda suave subindo e descendo" e aprende a imaginar ou gerar o gráfico correspondente.

Eles usaram inteligência artificial para criar milhões desses pares (gráficos + descrições) de forma automática, cobrindo desde finanças até saúde. É como se eles tivessem escrito um livro gigante onde cada página tem um gráfico e sua história explicada, e o modelo leu tudo isso para entender a lógica do tempo.

4. O Teste: O "KnoTS" (O Exame de Nível Avançado)

Para provar que o Thoth realmente aprendeu, eles criaram um novo teste chamado KnoTS.
Diferente dos testes antigos que perguntavam coisas simples como "o gráfico subiu ou desceu?", o KnoTS é como um caso de detetive.

• Exemplo: "Olhe este gráfico de CO2 no solo. Sabendo que a chuva bloqueia a saída de gases e que a pressão do ar empurra o gás para cima, explique por que o gás subiu repentinamente e depois parou."
  O modelo precisa usar o gráfico E o conhecimento do mundo (que chuva afeta o solo) para responder. O Thoth passou nesse teste muito melhor que os gigantes da tecnologia atuais.

5. O Resultado: O "Aquecimento" Perfeito

A grande descoberta é que o Thoth funciona como um aquecedor para tarefas futuras.
Se você pegar o Thoth e der a ele apenas um pouquinho de dados novos (poucos exemplos) para uma tarefa específica, ele aprende muito rápido e com muita precisão.

• Analogia: Se o modelo original é um atleta que nunca correu, o Thoth é o atleta que já fez maratonas de treinamento. Quando você pede para ele correr uma prova específica, ele já tem a resistência e a técnica. O modelo antigo, sem esse treinamento, tropeçaria ou precisaria de meses de treino para chegar ao mesmo nível.

Resumo em uma frase

O Thoth é um modelo de inteligência artificial que passou por um "curso intensivo" especial, aprendendo a ler a história contada pelos números ao longo do tempo, tornando-se um especialista em entender dados do mundo real (como saúde e finanças) muito melhor do que qualquer modelo atual, e tudo isso sem esquecer como conversar normalmente.

Por que o nome Thoth?
Thoth é o deus egípcio da sabedoria, da escrita e do tempo. Ele é frequentemente retratado com a cabeça de um íbis e é creditado por inventar o calendário. Um nome perfeito para um modelo que aprendeu a "ler o tempo" nos dados!

Resumo técnico

Resumo Técnico: Thoth – Ponte de Mid-Training para Compreensão de Séries Temporais por LLMs

1. Problema e Motivação

Os Grandes Modelos de Linguagem (LLMs) demonstraram sucesso notável em raciocínio geral e modelagem de sequências textuais. No entanto, eles enfrentam dificuldades significativas ao entender e raciocinar sobre dados de séries temporais (ex: finanças, saúde, transporte).

• Limitação Atual: Os LLMs são fundamentalmente treinados em linguagem natural e não foram projetados explicitamente para capturar dependências temporais de alta granularidade ou dinâmicas complexas inerentes a séries temporais.
• Falha das Abordagens Atuais: Métodos recentes baseados em Supervised Fine-Tuning (SFT) em tarefas específicas exigem grandes quantidades de dados rotulados e sofrem de baixa generalização entre diferentes padrões temporais, tarefas e domínios. Além disso, o fine-tuning direto pode levar ao "esquecimento catastrófico" das capacidades gerais do modelo.
• Necessidade: Existe uma lacuna para uma fase intermediária que alinhe dados temporais com linguagem natural de forma agnóstica a tarefas e domínios, preparando o modelo para aplicações específicas sem perder suas capacidades fundamentais.

2. Metodologia Proposta

O artigo propõe o Thoth, a primeira família de LLMs "mid-trained" (treinados no meio) com capacidades gerais de compreensão de séries temporais. A abordagem baseia-se em três pilares principais:

A. O Corpus Book-of-Thoth

Para realizar o mid-training, os autores construíram o Book-of-Thoth, um corpus de treinamento em grande escala e centrado em séries temporais. Diferente de conjuntos de dados existentes focados em tarefas estreitas (como apenas previsão), este corpus visa o alinhamento bidirecional entre padrões temporais e texto.

• Geração de Dados: Utiliza o método KernelSynth (baseado em processos Gaussianos) para sintetizar séries temporais com padrões diversificados.
• Tarefas Principais:
  1. Série Temporal para Texto (TS-to-Text): Geração de descrições naturais (estruturadas e não estruturadas) que destacam características temporais (tendência, sazonalidade, picos, ruído).
  2. Texto para Série Temporal (Text-to-TS): Reconstrução de séries temporais a partir de descrições textuais estruturadas.
  3. Conhecimento de Séries Temporais: Incorporação de conhecimento teórico de livros didáticos autorizados (ex: Forecasting: Principles and Practice) para preservar o raciocínio geral.
• Prevenção de Esquecimento: O corpus é misturado com uma pequena proporção de dados gerais de pré-treinamento (C4, No Robots) para manter as capacidades linguísticas e de conhecimento mundial do modelo base.

B. Arquitetura e Treinamento do Thoth

• Base: O Thoth é construído sobre a arquitetura Qwen3 (variantes de 8B e 30B parâmetros).
• Processo: O modelo passa por mid-training no corpus Book-of-Thoth antes de qualquer fine-tuning específico para tarefas.
• Configuração: Utiliza full-parameter fine-tuning com otimização DeepSpeed ZeRO-3, mantendo a arquitetura original (GQA, RoPE, QK-Norm) intacta.

C. Novo Benchmark: KnoTS

Para avaliar capacidades avançadas de raciocínio, os autores introduzem o KnoTS (Knowledge-intensive Time Series QA).

• Diferencial: Diferente de benchmarks anteriores que focam em reconhecimento de padrões superficiais, o KnoTS exige raciocínio conjunto sobre variações temporais e conhecimento de domínio específico (ex: finanças, saúde, meio ambiente).
• Estrutura: Contém 300 pares de perguntas e respostas cuidadosamente curados, cobrindo tarefas de raciocínio (inferir padrões baseados em contexto) e tomada de decisão (prever ou julgar com base em evidências temporais e conhecimento externo).

3. Resultados Experimentais

Os experimentos foram conduzidos em benchmarks públicos (ChatTime, Time-MQA) e no novo KnoTS, comparando o Thoth com LLMs proprietários, modelos de código aberto (Qwen, Llama, Mistral) e modelos específicos de séries temporais.

• Desempenho Geral:
  • O Thoth-30B-A3B alcançou desempenho comparável ou superior ao modelo Qwen3-235B (235 bilhões de parâmetros) em várias tarefas de séries temporais.
  • O Thoth-8B superou significativamente seu modelo base (Qwen3-8B) e superou a maioria dos LLMs de código aberto na faixa de 30B parâmetros, além de superar todos os modelos de linguagem de séries temporais existentes.
• Eficiência em Few-Shot e Fine-Tuning:
  • O Thoth demonstrou forte capacidade few-shot (poucos exemplos).
  • Em testes de Supervised Fine-Tuning (SFT) com apenas 5% dos dados de tarefas downstream, o Thoth superou consistentemente o modelo base. Enquanto o fine-tuning direto no modelo base causou degradação em tarefas não vistas (trade-off de capacidades), o Thoth manteve ganhos estáveis, indicando que o mid-training atua como um "aquecimento" eficaz.
• Escalabilidade de Dados: A análise mostrou que o desempenho do modelo melhora consistentemente à medida que o volume de dados de mid-training aumenta (de 10% a 100% do corpus).
• Avaliação no KnoTS: No benchmark KnoTS, o Thoth-30B-A3B superou modelos proprietários poderosos (como Grok-4.1 e VLMs), demonstrando superioridade em raciocínio complexo e tomada de decisão baseada em evidências temporais e conhecimento de domínio.

4. Contribuições Principais

1. Paradigma de Mid-Training para Séries Temporais: Propõe o mid-training como uma etapa crítica e eficaz para dotar LLMs de compreensão de séries temporais, preenchendo a lacuna entre o pré-treinamento geral e o ajuste fino específico.
2. Book-of-Thoth: A construção automática de um corpus de grande escala e agnóstico a domínios, focado no alinhamento bidirecional (texto $\leftrightarrow$ série temporal) e no conhecimento teórico.
3. Família Thoth: A introdução dos primeiros LLMs mid-trained com compreensão geral de séries temporais, que demonstram forte generalização em diversas tarefas de QA (Question Answering).
4. Benchmark KnoTS: A criação de um novo padrão de avaliação para raciocínio intensivo em conhecimento, desafiando os modelos a integrar dados temporais com contexto de domínio real.

5. Significado e Conclusão

O trabalho Thoth estabelece um novo marco na interseção entre LLMs e análise de séries temporais. Ele demonstra que a simples adaptação via fine-tuning em tarefas específicas é insuficiente para capturar a complexidade temporal. Ao invés disso, uma fase intermediária de mid-training com dados diversificados e alinhados linguisticamente permite que os modelos internalizem representações temporais transferíveis.

Impacto Prático:

• Permite que sistemas baseados em LLMs tomem decisões mais confiáveis em cenários do mundo real que dependem de dinâmicas temporais (ex: diagnósticos médicos, previsão financeira, monitoramento de tráfego).
• Oferece uma solução escalável que reduz a dependência de grandes conjuntos de dados rotulados para tarefas específicas, graças à robustez adquirida na fase de mid-training.
• O código e os dados são disponibilizados publicamente, fomentando pesquisas futuras na área.

Em suma, o Thoth prova que o mid-training é uma ponte essencial para transformar LLMs gerais em especialistas capazes de raciocinar sobre o tempo e os dados que o permeiam.