🤖 machine learning

Foundation Models and Fine-Tuning: Toward a New Generation of Models for Time Series Forecasting

Este artigo revisa as arquiteturas, estratégias de pré-treinamento e métodos de otimização de modelos de fundação para previsão de séries temporais zero-shot e demonstra que o ajuste fino desses modelos em conjuntos de dados específicos melhora consistentemente a precisão da previsão em relação aos baselines zero-shot.

Autores originais: Morad Laglil, Bertrand Pracca, Emilie Devijver, Eric Gaussier

Publicado 2026-07-28

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Morad Laglil, Bertrand Pracca, Emilie Devijver, Eric Gaussier

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando prever o futuro. Não o destino do universo, mas algo muito mais prático: quanta eletricidade uma cidade precisará amanhã, quantos guarda-chuvas uma loja deve estocar ou como o tráfego fluirá por um cruzamento movimentado daqui a uma hora. Este é o mundo da previsão de séries temporais. Durante décadas, especialistas usaram receitas matemáticas para adivinhar esses números, mas o mundo é bagunçado, e as receitas antigas costumam falhar quando os dados ficam estranhos ou complicados.

Recentemente, um novo tipo de "superaprendiz" chegou, inspirado na mesma tecnologia que permite aos computadores escreverem poesia e conversarem como humanos. Estes são chamados de Modelos de Fundação. Pense neles como um mestre cuca que provou todos os pratos do mundo. Em vez de aprender a cozinhar apenas uma refeição específica (como a sopa de um único restaurante), este chef aprende as regras gerais de sabor, calor e ingredientes de milhões de receitas diferentes. Uma vez treinado, este chef pode entrar em uma cozinha que nunca viu antes e coar uma refeição decente sem precisar de uma receita específica para aquele prato exato. Isso é chamado de aprendizado zero-shot (zero-shot learning): fazer uma previsão em dados que o modelo nunca viu antes, apenas usando o que aprendeu em seu "campo de treinamento".

Mas aqui está a grande questão: é melhor enviar este mestre cuca para uma nova cozinha e deixá-lo trabalhar sozinho, ou devemos dar a ele uma lição rápida e específica sobre as peculiaridades desta cozinha antes de ele começar a cozinhar? Este é o cerne do novo artigo de Morad Laglil e sua equipe. Eles querem saber se pegar esses modelos gigantes de séries temporais pré-treinados e dar a eles um treinamento extra em dados específicos (chamado de ajuste fino ou fine-tuning) realmente os torna melhores previsores, ou se isso apenas os confunde.

O Grande Experimento do "Ajuste Fino"

Os autores deste artigo decidiram colocar essa ideia à prova. Eles pegaram dois dos modelos "mestre cuca" mais poderosos disponíveis — Chronos 2 e TTM-R3-PT — e os submeteram a um rigoroso campo de treinamento. Eles não apenas os deixaram adivinhar; tentaram diferentes maneiras de ensiná-los tarefas específicas.

Eles testaram três abordagens principais:

Zero-Shot: O modelo tenta prever o futuro usando apenas seu treinamento geral, sem ajuda extra.
Ajuste Fino Total (Full Fine-Tuning): Eles pegaram o modelo inteiro e o treinaram do zero nos novos dados, atualizando cada número dentro do cérebro.
Ajuste Fino de Parâmetros Eficientes (LoRA): Em vez de reescrever todo o cérebro, eles adicionaram uma camada de "adaptador" minúscula e leve. É como dar ao chef uma folha de dicas específica para a nova cozinha sem mudar suas habilidades culinárias fundamentais.

Eles testaram esses métodos em uma coleção massiva de 15 conjuntos de dados diferentes, variando de padrões climáticos e uso de eletricidade a internações hospitalares e números de vendas. O objetivo era simples: ver qual método realmente reduzia a taxa de erro e criava melhores previsões.

O Que Eles Descobriram: Tamanho e Contexto Importam

Os resultados foram surpreendentes e ensinaram aos pesquisadores uma lição valiosa sobre o tamanho do modelo e os dados que ele enfrenta.

Para o modelo gigante (Chronos 2):
Este modelo é enorme, com 120 milhões de parâmetros. Quando os pesquisadores tentaram o "Ajuste Fino Total" (reescrever o cérebro inteiro) em conjuntos de dados menores, isso teve o efeito contrário. O modelo ficou confuso e começou a sofrer "overfitting", que é como um aluno que memoriza perfeitamente as respostas do teste de prática, mas falha no exame real porque não consegue lidar com uma pergunta ligeiramente diferente.

O Vencedor: O método LoRA (o pequeno adaptador) foi o claro campeão para o Chronos 2 em conjuntos de dados médios e grandes. Ao adicionar apenas uma camada pequena e flexível, o modelo pôde se adaptar aos novos dados sem esquecer seu conhecimento geral. Isso melhorou a precisão, embora os ganhos tenham sido modestos (cerca de 2-3%) em conjuntos de dados maiores, e foi crucial para evitar as quedas de desempenho vistas no ajuste fino total.
A Lição: Para modelos massivos, você não precisa reescrever o livro inteiro; você só precisa adicionar alguns post-its. No entanto, em conjuntos de dados muito pequenos, o próprio modelo gigante muitas vezes apresentou o melhor desempenho sem qualquer ajuste fino.

Para o modelo menor (TTM-R3-PT):
Este modelo é muito mais compacto, com apenas 1 milhão a 36 milhões de parâmetros. Ele já era pequeno o suficiente para não precisar de um adaptador sofisticado.

O Vencedor: O Ajuste Fino Total funcionou melhor aqui. Como o modelo era menor, ele conseguia lidar com a atualização de todos os seus próprios pesos sem se confundir. O método de "adaptador" (LoRA) na verdade não ajudou muito e, às vezes, piorou as coisas.
A Lição: Para modelos menores, um treino completo é frequentemente melhor do que um alongamento rápido.

A Regra do "Um Tamanho Não Serve para Todos"

O artigo também descobriu que a melhor estratégia depende fortemente do tipo de dado, de quanto dado você tem e do domínio específico.

Conjuntos de Dados Pequenos: Se você tem apenas uma quantidade minúscula de dados (como alguns dias de registros meteorológicos), o Zero-Shot (deixar o modelo adivinhar por conta própria) é geralmente a aposta mais segura. Tentar fazer o ajuste fino de um modelo gigante em dados insuficientes é como tentar ensinar um novo assunto a um doutor mostrando a ele apenas três cartões de memória; ele provavelmente errará. De fato, para o Chronos 2 em conjuntos de dados pequenos, o ajuste fino na verdade degradou o desempenho.
Conjuntos de Dados Grandes: Quando há abundância de dados, o ajuste fino costuma vencer a adivinhação, mas não é uma vitória garantida. O artigo mostrou que, para o modelo TTM menor, a inferência zero-shot ainda superou o ajuste fino em várias configurações específicas, mesmo em conjuntos de dados maiores.
Diferentes Domínios: Os modelos se comportaram de maneira diferente dependendo do tópico. Por exemplo, no domínio "Natureza" (como níveis de rios ou clima), o modelo gigante já era tão bom em adivinhar que o ajuste fino na verdade o tornou pior. Mas em "Transporte" (como tráfego), o ajuste fino ajudou significativamente ambos os modelos.

A Conclusão

O artigo conclui que, embora os modelos de fundação sejam ferramentas poderosas que podem prever o futuro sem treinamento específico, o ajuste fino é uma ferramenta poderosa para torná-los ainda melhores — mas apenas se você escolher a receita certa para a situação certa.

Se você tem um modelo gigante, use o método de "adaptador" (LoRA) para ajustá-lo suavemente, especialmente em conjuntos de dados grandes. Se você tem um modelo menor, sinta-se à vontade para dar a ele uma sessão de treinamento completa. E se você não tiver muitos dados, ou se os dados forem muito específicos (como padrões da natureza), pode ser mais seguro apenas deixar o modelo fazer sua melhor tentativa sem interferência.

Esta pesquisa sugere que estamos caminhando para uma nova geração de previsões onde não precisamos construir um novo modelo para cada problema. Em vez disso, podemos usar um modelo gigante e inteligente e dar a ele uma lição rápida e personalizada para resolver quase qualquer enigma baseado em tempo, desde prever o próximo preço de uma ação até planejar a próxima rota de um ônibus da cidade. O futuro da previsão não é apenas sobre ter um cérebro maior; é sobre saber como ensinar as lições certas a ele.

Resumo Técnico: Modelos de Fundação e Ajuste Fino para Previsão de Séries Temporais

Declaração do Problema

A previsão de séries temporais é uma tarefa crítica em diversos domínios, como energia, transporte e finanças. Embora os métodos estatísticos tradicionais (ex: ARIMA) e os modelos modernos de aprendizagem profunda tenham avançado o campo, eles tipicamente exigem treinamento do zero em conjuntos de dados específicos de destino. Essa abordagem é ávida por dados e muitas vezes impraticável quando os conjuntos de dados de destino são pequenos ou quando a adaptação rápida a novos contextos é necessária.

Inspirados pelo sucesso dos modelos de fundação em Processamento de Linguagem Natural (NLP), os Modelos de Fundação de Sérias Temporais (TSFMs) emergiram. Estes são modelos de grande escala pré-treinados em corpora massivos e diversos para aprender representações temporais generalizáveis. Embora os TSFMs demonstrem fortes capacidades zero-shot (prever em dados não vistos sem retreinamento), a literatura tem explorado pouco o potencial de ajuste fino (fine-tuning) desses modelos em conjuntos de dados de destino específicos para aumentar ainda mais o desempenho. Este artigo aborda a lacuna na compreensão de como adaptar efetivamente os TSFMs pré-treinados para tarefas específicas de jusante, equilibrando os compromissos entre a generalização zero-shot e a especialização específica do conjunto de dados.

Metodologia

1. Revisão de Arquiteturas e Estratégias de Treinamento

Os autores fornecem uma revisão abrangente do cenário atual dos TSFMs, categorizando-os por arquitetura e objetivos de treinamento (resumidos na Tabela 1 do artigo):

Arquiteturas: A revisão cobre modelos baseados em Transformer (ex: Chronos, Moirai, TimesFM, Timer-S1), redes recorrentes (TiRex baseado em sLSTM) e modelos MLP-Mixer (TTM).
Estratégias de Pré-treinamento: Os modelos utilizam aprendizagem autossupervisionada em vastos corpora (ex: LOTSA, TimeBench, dados sintéticos). Os objetivos variam desde a predição de tokens autorregressiva (Chronos) e predição de patches mascarados (Moirai) até a minimização de perda de quantil (Times-FM, TTM).
Mecanismos de Adaptação: O artigo detalha duas principais estratégias de ajuste fino:
- Ajuste Fino Total (Full Fine-Tuning - FFT): Atualização de todos os parâmetros do modelo no conjunto de dados de destino.
- Ajuste Fino de Parâmetros Eficientes (Parameter-Efficient Fine-Tuning - PEFT): Especificamente a Adaptação de Baixo Rank (LoRA), que congela os pesos pré-treinados e treina matrizes de perturbação de baixo rank ( $\Delta W = BA$ ), reduzindo significativamente os parâmetros treináveis.
- Eficiência de Dados: O estudo também considera configurações Few-Shot (usando apenas 20% dos dados de destino) versus Full-Shot.

2. Protocolo de Avaliação Empírica

Os autores conduziram um extenso estudo empírico usando o benchmark GIFT-Eval, que compreende 23 conjuntos de dados (15 univariados, 8 multivariados) abrangendo 7 domínios (ex: Web/CloudOps, Energia, Transporte, Saúde) e 10 frequências.

Modelos Selecionados: Dois modelos de alto desempenho e disponíveis publicamente foram escolhidos para o ajuste fino: Chronos 2 (120M de parâmetros, Transformer apenas com codificador) e TTM-R3-PT (1M–36M de parâmetros, MLP-Mixer).
Configuração Experimental:
- Os modelos foram avaliados em configurações Zero-Shot (apenas pré-treinado), Ajuste Fino Total (FFT), LoRA-FullShot e LoRA-FewShot.
- Os hiperparâmetros foram fixos em todos os conjuntos de dados para simular restrições realistas de implantação (sem ajuste por conjunto de dados).
- Métricas: O desempenho foi medido usando MAPE (para previsão de ponto) e MWQL (Perda de Quantil Ponderada Média, aproximando o CRPS para previsão probabilística), normalizado contra uma linha de base Seasonal Naive.

Resultados Principais

O estudo revela que a eficácia do ajuste fino é altamente dependente da escala do modelo, do tamanho do conjunto de dados e das características do domínio:

Impacto do Tamanho do Conjunto de Dados:
- Chronos 2 (Modelo Grande): Em conjuntos de dados pequenos, a inferência zero-shot supera todas as estratégias de ajuste fino. O ajuste fino total (FFT) degrada severamente o desempenho (overfitting), enquanto o LoRA oferece ganhos marginais ou negativos. Em conjuntos de dados médios e grandes, o LoRA-FullShot emerge como a estratégia superior, melhorando o desempenho zero-shot em 2–3%.
- TTM-R3-PT (Modelo Compacto): Sendo menor, o TTM beneficia-se mais de atualizações diretas de peso. O Ajuste Fino Total (FFT) proporciona melhorias modestas em conjuntos de dados grandes, enquanto as variantes LoRA oferecem pouco ganho e ocasionalmente degradam o desempenho.
Desempenho por Domínio:
- Transporte: O ajuste fino é geralmente benéfico. O LoRA (especificamente o Few-Shot) frequentemente produz os melhores resultados de MAPE, sugerindo que uma adaptação mais leve ajuda a evitar o overfitting a dinâmicas ruidosas e de alta entropia.
- Natureza e Energia: O zero-shot do Chronos 2 é notavelmente forte, particularmente no domínio Nature, onde o ajuste fino total infla significativamente os erros (ex: +39% de erro de MAPE em previsões de curto prazo).
- Web/CloudOps: O LoRA-FullShot é a estratégia mais eficaz para o Chronos 2, enquanto o zero-shot permanece competitivo para o TTM.
Comparação de Estratégias:
- LoRA vs. FFT: Para modelos grandes como o Chronos 2, a adaptação de parâmetros eficientes (LoRA) é crítica; o ajuste fino total (FFT) é pouco confiável e propenso ao overfitting. Para modelos compactos como o TTM, o ajuste fino total é frequentemente suficiente e eficaz.
- Eficiência de Dados: Embora o LoRA-FewShot seja competitivo em cenários específicos (ex: domínio de Energia para o Chronos 2), o LoRA-FullShot geralmente supera o anterior quando há dados suficientes disponíveis.

Contribuições Principais

Revisão Abrangente: O artigo estabelece um framework analítico unificado para Modelos de Fundação de Séries Temporais, detalhando suas arquiteturas (Transformers, RNNs, MLPs), corpora de pré-treinamento e estratégias de otimização.
Estudo Sistemático de Ajuste Fino: Este trabalho apresenta o que os autores afirmam ser o primeiro estudo empírico de grande escala de estratégias de ajuste fino para TSFMs. Ele compara sistematicamente Zero-Shot, Ajuste Fino Total e Ajuste Fino de Parâmetros Eficientes (LoRA) através de um conjunto diversificado de 95 configurações únicas (conjunto de dados $\times$ frequência $\times$ horizonte).
Diretrizes Práticas: O estudo fornece insights acionáveis para profissionais:
- Use Zero-Shot para conjuntos de dados pequenos ou quando os recursos computacionais forem limitados.
- Use LoRA-FullShot para modelos de fundação grandes (ex: Chronos 2) em conjuntos de dados médios a grandes para evitar o overfitting.
- Use Ajuste Fino Total (FFT) para modelos compactos (ex: TTM) onde a contagem de parâmetros é baixa o suficiente para evitar riscos de overfitting.

Significância e Alegações

O artigo posiciona-se como um passo fundamental em direção a uma "nova geração" de modelos de previsão de séries temporais. Sua principal significância reside em validar que o ajuste fino é um passo viável e muitas vezes necessário para desbloquear todo o potencial dos modelos de fundação, mas apenas quando a estratégia de adaptação é compatível com a escala do modelo e o volume de dados.

Os autores observam modestamente que, embora o ajuste fino geralmente melhore o desempenho, ele não é uma panaceia universal; em cenários de escassez de dados, as capacidades de generalização do modelo pré-treinado (Zero-Shot) permanecem superiores. Além disso, o artigo destaca as limitações atuais do campo, incluindo a escassez de dados de séries temporais diversos e públicos em comparação ao NLP, e a falta de compreensão teórica sobre como esses modelos comprimem e generalizam informações temporais. O trabalho serve como um benchmark para pesquisas futuras em mecanismos de adaptação mais robustos e eficientes para modelos de fundação de séries temporais.