From Tokenizer Bias to Backbone Capability: A Controlled Study of LLMs for Time Series Forecasting

Este estudo controlado demonstra que, embora modelos de linguagem pré-treinados (LLMs) apresentem potencial para previsão de séries temporais, sua eficácia real é frequentemente mascarada por viés de pequenos conjuntos de dados e, em avaliações rigorosas, eles não superam consistentemente modelos especializados treinados em grandes volumes de dados temporais.

O essencial

Imagine que você tem um gênio da literatura (um Modelo de Linguagem Grande, ou LLM, como o GPT) que é incrível escrevendo poemas, contando histórias e entendendo nuances de sentimentos humanos. Agora, imagine que você quer usar esse mesmo gênio para prever o clima ou antecipar o preço das ações.

A pergunta que os autores deste estudo fazem é: "Será que esse gênio da literatura é realmente bom em prever o futuro de números, ou estamos apenas iludindo a nós mesmos?"

Aqui está a explicação do estudo, traduzida para uma linguagem simples, usando analogias do dia a dia:

1. O Problema: O "Tradutor" Viciado

Até agora, muitos pesquisadores tentaram usar esses gigantes da linguagem para prever séries temporais (dados que mudam com o tempo, como temperatura ou vendas). A técnica usada era:

1. Pegar os números.
2. Passá-los por um "Tradutor" (chamado Tokenizer) que transforma números em "palavras" que o gênio entende.
3. O gênio (que está "congelado", ou seja, não aprendeu nada novo) tenta prever o futuro.
4. Um "Des-tradutor" (Detokenizer) transforma a resposta de volta em números.

O que o estudo descobriu:
O problema é que, quando se treina esse "Tradutor" e "Des-tradutor" em poucos dados (como um pequeno conjunto de dados de uma única cidade), eles aprendem a "decoreba" daquele conjunto específico. Eles ficam tão bons em traduzir aquele conjunto de dados que o gênio lá no meio nem precisa fazer nada! É como se você tivesse um tradutor que decorou o dicionário de uma única conversa específica. Quando você testa o sistema, ele parece funcionar bem, mas na verdade, é o tradutor que está salvando o dia, não o gênio.

Isso cria um viés: achamos que o modelo de linguagem é poderoso, mas na verdade, é apenas o "tradutor" que se adaptou demais aos poucos dados que teve.

2. A Solução: O Experimento Controlado

Para descobrir a verdade, os autores criaram um experimento justo, como se fossem três atletas correndo na mesma pista, mas com treinos diferentes:

• Atleta A (O Gênio Original): Usa o gênio de linguagem original (treinado em livros) e treina apenas o "tradutor" em uma enorme quantidade de dados de séries temporais.
• Atleta B (O Gênio Reeducado): Usa a mesma estrutura, mas "apaga" a memória de livros do gênio e o treina especificamente em milhões de dados de séries temporais. O "tradutor" é o mesmo do Atleta A.
• Atleta C (O Especialista Completo): Treina tudo do zero (o gênio e o tradutor) em milhões de dados de séries temporais.

Ao usar milhões de dados para treinar o "tradutor" antes de testar, eles garantiram que o tradutor não estivesse "viciado" em um conjunto pequeno. Assim, se o gênio não funcionasse, a culpa seria dele, e não do tradutor.

3. As Descobertas Surpreendentes

O estudo revelou algumas coisas importantes, que podem ser resumidas assim:

• O Gênio não é um Oráculo: Quando testados sem ver os dados antes (zero-shot), os modelos baseados em linguagem (LLMs) não foram melhores do que modelos simples e específicos para séries temporais. Na verdade, eles muitas vezes foram piores.
• O "Tradutor" era o herói: Nos testes antigos (com poucos dados), o sucesso vinha do "tradutor" se adaptando aos dados, não do cérebro do modelo de linguagem.
• Aprendizado de Língua não ajuda em Números: Tentar forçar o modelo a usar seu vocabulário de palavras para entender números (como tentar descrever uma temperatura usando palavras poéticas) não funcionou. O cérebro que entende "amor" e "tristeza" não entende bem "tendência de vendas" ou "ciclos de temperatura".
• Tamanho não é tudo: Usar um modelo de linguagem maior e mais inteligente (como o LLaMA-8B) não melhorou a previsão. Um modelo menor (GPT-2) funcionou tão bem quanto os gigantes. Isso sugere que a inteligência de linguagem não se transfere automaticamente para a previsão de números.

4. A Analogia Final: O Chefe de Cozinha vs. O Especialista em Temperos

Imagine que você tem um Chef de Cozinha famoso (o LLM) que é premiado por fazer os melhores bolos do mundo (entender texto).

• O erro comum: Você contrata o Chef para fazer um prato de frango assado (previsão de séries temporais). Você dá a ele um livro de receitas de bolos e pede para ele tentar. O Chef, sendo inteligente, tenta adaptar o livro de bolos para o frango. Funciona um pouco, mas não é perfeito.
• O que o estudo fez: Eles perceberam que, em testes anteriores, o sucesso vinha do ajudante de cozinha (o Tokenizer) que conhecia o frango de cor e salteado porque só tinha cozinhado um frango pequeno.
• O teste real: Eles deram ao ajudante uma enciclopédia inteira de frangos para estudar. Agora, o ajudante não tem mais "vícios". Quando o Chef tenta fazer o prato, percebe que suas habilidades de fazer bolos não ajudam muito no frango.
• A conclusão: Para fazer o melhor frango, você não precisa de um Chef de bolos famoso. Você precisa de um Especialista em Frango (um modelo treinado especificamente em dados de séries temporais). O Chef de bolos pode até ser inteligente, mas para essa tarefa específica, ele não é a melhor escolha e não fica melhor só porque é "mais famoso" ou "maior".

Resumo em uma frase

Usar modelos de linguagem gigantes para prever o futuro de números parece promissor, mas, na verdade, eles não são tão bons quanto modelos feitos sob medida para isso; o que parecia ser "inteligência" do modelo era, na verdade, apenas o "tradutor" decorando os dados de treino.

Resumo técnico

---

Título: De Viés do Tokenizador à Capacidade do Backbone: Um Estudo Controlado de LLMs para Previsão de Séries Temporais

1. O Problema

O uso de Modelos de Linguagem Grande (LLMs) pré-treinados como backbone (estrutura central) para previsão de séries temporais tem ganhado popularidade. A abordagem padrão envolve dividir a série temporal em "patches", mapeá-los para o espaço de tokens do LLM via um Tokenizador, processá-los através de um backbone de LLM (geralmente congelado ou fine-tuned) e reconstruir as previsões numéricas via um Detokenizador.

No entanto, a eficácia real dos LLMs nessa tarefa permanece controversa. O artigo identifica um problema fundamental nas avaliações existentes:

• Viés do Tokenizador-Detokenizador (Tokenizer-Detokenizer Bias): Em conjuntos de dados pequenos (comuns em benchmarks públicos), o Tokenizador e o Detokenizador tendem a se adaptar excessivamente (overfit) à distribuição específica desses dados.
• Acoplamento Excessivo: Essa adaptação cria um forte acoplamento entre os componentes de entrada/saída e o backbone congelado. Como resultado, o Tokenizador-Detokenizador consegue fornecer poder preditivo por si só, mascarando a capacidade intrínseca (ou a falta dela) do backbone do LLM.
• Avaliação Enganosa: Estudos anteriores que substituem o backbone por redes mais simples e mantêm a performance similar não provam necessariamente que o LLM é inútil; eles apenas mostram que, em dados pequenos, o Tokenizador-Detokenizador compensa a falta de conhecimento do backbone. Da mesma forma, avaliações zero-shot e few-shot atuais são enviesadas porque os tokenizadores são treinados em um conjunto de dados pequeno e testados em outro, introduzindo viés de distribuição.

2. Metodologia

Para isolar a capacidade real do backbone do LLM, os autores propõem um Framework de Avaliação Controlada que elimina o viés do Tokenizador-Detokenizador através de pré-treinamento em larga escala.

Arquitetura Unificada

Os autores utilizam uma arquitetura idêntica para três modelos experimentais, baseada em um GPT-2 de 12 camadas:

1. Patching: Séries temporais são divididas em patches não sobrepostos.
2. Tokenização: Um Tokenizador (MLP de 2 camadas) mapeia patches para o espaço oculto do LLM.
3. Backbone: Processamento através das camadas do Transformer.
4. Detokenização: Um Detokenizador (MLP de 2 camadas) reconverte os estados ocultos em previsões numéricas.

Estratégias de Pré-treinamento (Os 3 Modelos)

Para controlar o que o backbone e os componentes de I/O aprendem, três estratégias distintas são aplicadas sobre a mesma arquitetura, utilizando o conjunto de dados UTS (1 bilhão de amostras de séries temporais):

1. Train-TD (Treinar Tokenizador-Detokenizador):
   • Usa pesos pré-treinados em texto do GPT-2 (congelados).
   • O Tokenizador e Detokenizador são treinados no grande conjunto de dados UTS.
   • Objetivo: Avaliar se o conhecimento pré-treinado em texto ajuda, mantendo os componentes de I/O imparciais.
2. Train-B (Treinar Backbone):
   • Reutiliza os pesos do Tokenizador-Detokenizador do modelo Train-TD (imparciais).
   • As camadas do Transformer são re-inicializadas e treinadas no conjunto UTS.
   • Objetivo: Substituir o conhecimento de texto por conhecimento específico de séries temporais no backbone, mantendo a consistência na interface.
3. Train-BTD (Treinar Backbone e Tokenizador-Detokenizador):
   • Todos os parâmetros (Backbone, Tokenizador, Detokenizador) são inicializados aleatoriamente e treinados juntos no conjunto UTS.
   • Objetivo: Criar um modelo de séries temporais "do zero" para servir como baseline de estado da arte.

Protocolo Experimental

• Avaliação Zero-shot e Few-shot: Os modelos são testados em 7 conjuntos de dados reais (ETTh1/2, ETTM1/2, Tráfego, Eletricidade, Câmbio) sem fine-tuning (zero-shot) ou com apenas 10% dos dados de treino (few-shot).
• Baselines: Comparação com modelos especializados (Timer, Moirai, Chronos) e uma versão diagonal inicializada (DI-GPT) sem conhecimento prévio.

3. Contribuições Principais

1. Identificação do Viés: Demonstração de que a prática atual de treinar e testar em pequenos conjuntos de dados leva a um acoplamento entre Tokenizador-Detokenizador e o backbone, invalidando a avaliação da capacidade real do LLM.
2. Framework de Avaliação Controlada: Proposta de um método que utiliza pré-treinamento em larga escala para "desacoplar" os componentes de I/O do backbone, permitindo uma medição justa da capacidade intrínseca do modelo.
3. Análise de Limitações: Evidência empírica de que LLMs baseados em linguagem não superam consistentemente modelos treinados especificamente para séries temporais, e que o conhecimento pré-treinado em texto tem utilidade limitada para essa tarefa.
4. Escalabilidade e Vocabulário: Investigação sobre se alinhar tokens de séries temporais ao vocabulário do LLM ajuda (não ajuda) e quantificação de quantas amostras são necessárias para um backbone aleatório igualar um backbone pré-treinado em texto.

4. Resultados Chave

• Desempenho em Zero-shot:
  • O modelo DI-GPT (sem conhecimento prévio) performou muito mal, indicando que o Tokenizador-Detokenizador sozinho não é suficiente para previsões zero-shot.
  • O Train-TD (GPT-2 congelado) performou melhor que o DI-GPT, mas pior que os modelos treinados em séries temporais.
  • O Train-BTD (treinado do zero em séries temporais) obteve os melhores resultados, superando o Train-TD e o Train-B. Isso sugere que o conhecimento pré-treinado em texto não é ideal para séries temporais.
• Substituição do Conhecimento de Texto:
  • Ao substituir o backbone de texto congelado por um backbone treinado em séries temporais (Train-B vs Train-TD), houve melhoria significativa na maioria dos conjuntos de dados. Isso indica que o conhecimento de linguagem natural não é a fonte principal de ganho de performance.
• Alinhamento de Vocabulário:
  • Tentativas de forçar os tokens de séries temporais a se alinharem ao vocabulário do GPT-2 (usando mecanismos de atenção cruzada) reduziram o desempenho. O LLM parece operar melhor com generalização "fora de domínio" (out-of-domain) do que tentando mapear para seu vocabulário textual.
• Quantificação de Dados Necessários:
  • Para um backbone aleatório (Train-B) igualar a performance de um backbone GPT-2 congelado (Train-TD), são necessários apenas entre 15 a 50 milhões de amostras de séries temporais. Dado o tamanho massivo dos LLMs, isso sugere que o "custo" de pré-treinar um LLM para séries temporais é alto em relação ao benefício marginal obtido sobre um modelo treinado do zero com dados suficientes.
• Escala do Modelo:
  • Testes com modelos maiores (Qwen-1.8B, LLaMA3-8B) não mostraram melhoria em relação ao GPT-2-128M. Modelos de linguagem mais poderosos não generalizam melhor para previsão de séries temporais zero-shot.

5. Significado e Conclusão

O estudo conclui que, embora os LLMs mostrem alguma promessa, sua capacidade intrínseca para previsão de séries temporais é limitada quando comparada a modelos especializados treinados em grandes volumes de dados de séries temporais.

• O mito do "Backbone Mágico": A performance observada em trabalhos anteriores muitas vezes é atribuída erroneamente ao backbone do LLM, quando na verdade é impulsionada pelo Tokenizador-Detokenizador adaptado a pequenos conjuntos de dados.
• Direção Futura: A pesquisa sugere que, para previsão de séries temporais, é mais eficaz treinar modelos específicos (como Transformers ou CNNs) em grandes conjuntos de dados de séries temporais do que tentar adaptar LLMs de linguagem natural. O viés semântico entre texto e dados temporais é uma barreira significativa que o pré-treinamento atual não consegue superar facilmente.

Em suma, o trabalho oferece uma correção metodológica crucial para a comunidade, alertando que a avaliação de LLMs em séries temporais deve ser feita com cuidado para não confundir a adaptação dos componentes de interface com a inteligência real do modelo de linguagem.