🤖 machine learning

NeST: Neighborhood-aware semantic alignment and temporal modulation for LLM based time series forecasting

O artigo propõe o NeST, um novo framework que aprimora a previsão de séries temporais baseada em LLM ao gerar protótipos de texto conscientes de vizinhança, alinhando-os com representações temporais via aprendizado contrastivo e aplicando modulação temporal condicionada a protótipos para alcançar desempenho superior e generalização através de diversos benchmarks e tarefas do mundo real.

Autores originais: Jayanie Bogahawatte, Sachith Seneviratne, Maneesha Perera, Saman Halgamuge

Publicado 2026-08-25

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jayanie Bogahawatte, Sachith Seneviratne, Maneesha Perera, Saman Halgamuge

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Prever o futuro de números que mudam ao longo do tempo é uma tarefa que molda como alimentamos nossas cidades, gerenciamos nossas finanças e nos preparamos para o clima. Por décadas, cientistas confiaram em ferramentas matemáticas especializadas para prever esses padrões, conhecidos como séries temporais. Essas ferramentas funcionam bem quando os dados se comportam de maneiras previsíveis, mas frequentemente enfrentam dificuldades quando os padrões são complexos, desordenados ou quando há muito poucos dados para aprender. Nos últimos anos, um novo tipo de inteligência artificial chamado Modelo de Linguagem de Grande Escala surgiu. Originalmente treinado para compreender a linguagem humana, esses modelos são incrivelmente bons em identificar padrões em sequências de palavras. Como os dados de séries temporais também são uma sequência, pesquisadores começaram a tentar ensinar esses modelos de linguagem a prever números em vez de frases. O desafio reside em construir uma ponte entre o vocabulário discreto e distinto que um modelo de linguagem conhece e o fluxo suave e contínuo de dados do mundo real, como o uso de eletricidade ou a temperatura.

Uma equipe de pesquisadores da Universidade de Melbourne desenvolveu um novo método para resolver este problema, chamando seu framework de NeST. A abordagem deles foca em como melhor traduzir a compreensão de palavras do modelo de linguagem em um guia para entender o tempo. Em vez de forçar o modelo a simplesmente ler uma lista de números como se fossem palavras, ou usar técnicas pesadas que exigem quantidades massivas de poder computacional, o NeST cria um conjunto de "protótipos de texto". Pense nesses protótipos como âncoras representativas cuidadosamente escolhidas que capturam os vizinhanças locais de significado dentro do vasto vocabulário do modelo de linguagem. Os pesquisadores treinaram o sistema para garantir que essas âncoras permaneçam fiéis à estrutura original do conhecimento do modelo de linguagem, em vez de derivarem para áreas onde o modelo não possui compreensão real.

Uma vez estabelecidas essas âncoras de texto, o sistema as alinha com os dados de séries temporais reais que precisa prever. Ele faz isso encontrando as correspondências mais próximas entre os dados e as âncoras de texto, garantindo que o conhecimento semântico do modelo de linguagem seja diretamente relevante para os padrões específicos nos números. Crucialmente, em vez de misturar o texto e os números de uma forma que possa confundir o tempo interno do modelo, o NeST usa as âncoras de texto para ajustar suavemente os dados. Ele escala e desloca as características numéricas, permitindo que o modelo de linguagem aplique sua sabedoria aprendida sem interromper o ritmo natural da série temporal. Este processo é eficiente, exigindo mudanças em apenas uma pequena fração das configurações do modelo, mantendo o restante de seu vasto conhecimento intacto.

Os resultados desta nova abordagem são robustos e consistentes em uma ampla variedade de testes. Quando testado em benchmarks padrão para previsão de longo prazo, como prever a demanda de eletricidade ou o fluxo de tráfego, o NeST superou os melhores métodos atuais, reduzindo os erros de previsão em uma média de 1,2 por cento. Isso pode parecer um número pequeno, mas no mundo das previsões, mesmo pequenas melhorias podem levar a economias significativas e melhores tomadas de decisão. O método também se provou notavelmente eficaz quando os dados eram escassos. Em situações onde o modelo tinha que aprender com apenas uma fração mínima dos dados disponíveis, ou quando tinha que prever um novo tipo de dado que nunca havia visto antes, o NeST manteve uma alta precisão, reduzindo os erros em quase 5 por cento em comparação com outras abordagens.

Além dos testes padrão, os pesquisadores aplicaram o NeST a um desafio do mundo real: prever a produção de energia de painéis solares distribuídos. A geração de energia solar é notoriamente difícil de prever porque depende de condições climáticas flutuantes e varia entre diferentes localizações. O sistema foi testado em nove conjuntos de dados diferentes de estações solares em diversas áreas geográficas. Em todos os casos, o NeST entregou o melhor desempenho geral, melhorando a precisão das previsões em 3,3 por cento em média comparado aos métodos existentes projetados especificamente para energia solar. Isso sugere que o framework não é apenas uma melhoria teórica, mas uma ferramenta prática capaz de lidar com a natureza desordenada e variável dos sistemas de energia do mundo real.

O sucesso do NeST reside em sua capacidade de respeitar a natureza única tanto da linguagem quanto do tempo. Ao preservar as relações geométricas dentro do vocabulário do modelo de linguagem e usá-las para guiar os dados numéricos sem forçar uma conexão rígida, os pesquisadores criaram um sistema que é ao mesmo tempo flexível e preciso. As visualizações de seu trabalho mostram que seu método mantém as âncoras de texto firmemente enraizadas nas regiões densas e significativas do conhecimento do modelo de linguagem, ao contrário de métodos anteriores que permitiam que essas âncoras derivassem para espaços vazios ou irrelevantes. Esse alinhamento cuidadoso permite que o modelo aproveite sua profunda compreensão de padrões para fazer melhores previsões, mesmo quando os dados são ruidosos ou incompletos.

Em última análise, este trabalho demonstra que modelos de linguagem de grande escala podem ser efetivamente adaptados para a previsão de séries temporais sem perder suas forças principais. O framework NeST oferece uma maneira de integrar o conhecimento textual na previsão numérica que é tanto computacionalmente eficiente quanto altamente precisa. À medida que o mundo gera mais dados e enfrenta desafios de previsão mais complexos, métodos como este fornecem um caminho confiável, provando que as ferramentas que usamos para entender a linguagem também podem nos ajudar a entender os ritmos do mundo físico. As descobertas sugerem que, com a abordagem correta, a lacuna entre o texto e o tempo pode ser preenchida, levando a previsões mais precisas em campos que vão desde o gerenciamento de energia até o planejamento econômico.

Resumo Técnico: NeST – Alinhamento Semântico Sensível ao Vizinhança e Modulação Temporal para Previsão de Séries Temporais Baseada em LLM

1. Declaração do Problema

Adaptar Grandes Modelos de Linguagem (LLMs), que são pré-treinados em dados de texto discretos, para prever sinais de séries temporais contínuos apresenta desafios significativos. Embora o ajuste fino (fine-tuning) de LLMs permita essa adaptação, os métodos atuais enfrentam três limitações primárias:

Integração de Prompt Ineficaz: Abordagens existentes frequentemente combinam modalidades de texto e séries temporais através de simples concatenação ou mecanismos de atenção cruzada pesados em parâmetros. Isso cria um acoplamento rígido que pode interromper a estrutura temporal intrínseca das incorporações (embeddings) de séries temporais e oferece controle limitado sobre como os priors semânticos interagem com as características temporais.
Aprendizado de Protótipos Subótimo: Métodos atuais geram protótipos de texto usando sondagem linear (linear probing) ou conjuntos pré-definidos fixos. Essas abordagens frequentemente falham em preservar a estrutura geométrica do espaço de incorporação de tokens de palavras pré-treinado, levando a protótipos que podem estar fora do manifold válido do LLM. Isso é particularmente prejudicial em regimes de poucos disparos (few-shot), onde a supervisão limitada pode causar overfitting.
Decomposição Temporal Inadequada: Muitos métodos dependem de técnicas de decomposição (ex: STL) para aprender as incorporações de séries temporais. No entanto, essas técnicas podem não capturar adequadamente as dinâmicas temporais complexas e não estacionárias comuns em aplicações do mundo real.

2. Metodologia: O Framework NeST

Os autores propõem o NeST (Neighborhood-aware Semantic Alignment and Temporal Modulation), um framework projetado para formular um novo prompt de série temporal integrado a texto para o ajuste fino de LLMs. A arquitetura consiste em cinco módulos:

Módulo 1: Aprendizado de Representação de Séries Temporais

A série temporal multivariada de entrada é particionada em canais univariados. Cada canal é normalizado usando Normalização de Instância Reversível (RevIN) para mitigar mudanças de distribuição. Os dados são então divididos em patches (janelas temporais locais) usando uma camada de incorporação de patch (convolução 1D) seguida por uma camada linear para gerar as incorporações de patch de série temporal ( $P^{(i)}$ ) e uma incorporação de entrada global ( $Z^{(i)}$ ).

Módulo 2: Aprendizado de Protótipo de Texto Sensível ao Vizinhança

Em vez de aprender protótipos puramente através da perda de previsão, o NeST introduz um mecanismo para preservar a geometria semântica do LLM.

Inicialização: Um conjunto de protótipos de texto treináveis ( $E$ ) é inicializado.
Otimização: Os protótipos são otimizados para agir como centroides para vizinhanças locais das incorporações de tokens de palavras pré-treinadas ( $W$ ). Isso é alcançado minimizando o Erro Quadrático Médio (MSE) entre cada token de palavra congelado e seu protótipo de texto mais próximo. Isso garante que os protótipos permaneçam dentro das regiões densas do manifold de incorporação pré-treinado, preservando os priors semânticos.

Módulo 3: Alinhamento baseado em Aprendizado Contrastivo de Vizinho Mais Próximo (NNCL)

Para alinhar os protótipos de texto aprendidos com as representações de séries temporais, o NeST emprega um objetivo de Aprendizado Contrastivo de Vizinho Mais Próximo.

Conjunto de Suporte: Uma fila FIFO (First-In-First-Out) ( $Q$ ) mantém um grande conjunto de protótipos de texto de lotes anteriores para aproximar a distribuição total.
Objetivo Contrastivo: Para uma dada incorporação de série temporal $Z^{(i)}$ , os $k$ vizinhos mais próximos de protótipos de texto são recuperados do conjunto de suporte. Uma perda contrastiva ( $L_{NNCL}$ ) é computada para atrair a incorporação da série temporal para mais perto desses protótipos de texto relevantes, garantindo que os protótipos sejam representativos das características da série temporal.

Módulo 4: Modulação Temporal Condicionada por Protótipo de Texto

Este módulo integra informações semânticas na série temporal sem alterar a sequência de tokens ou introduzir tokens auxiliares.

Agregação: Os $k$ protótipos de texto recuperados são agregados em um vetor de contexto textual global ( $C$ ).
Modulação: Uma função de projeção leve mapeia $C$ para parâmetros de escala ( $\gamma$ ) e deslocamento ( $\beta$ ) por característica.
Aplicação: Esses parâmetros são aplicados às incorporações de patch da série temporal via interpolação residual: $P^{(i)*} = \gamma \odot P^{(i)} + \beta$ . Isso escala e desloca adaptativamente as características temporais com base no contexto semântico enquanto preserva a estrutura temporal intrínseca.

Módulo 5: Ajuste Fino do LLM e Saída

As incorporações moduladas servem como o prompt de entrada para o LLM. Para manter o prior pré-treinado e reduzir o overhead computacional, o NeST congela as camadas de atenção multi-cabeça e feed-forward do LLM. Apenas as incorporações posicionais e os parâmetros de normalização de camada são ajustados finamente. A saída do LLM é achatada (flattened) e passada por uma camada linear para gerar a previsão final.

Perda Total: O objetivo de otimização combina a perda de previsão ( $L_{forecast}$ ), a perda de aprendizado de protótipo ( $L_{proto}$ ) e a perda de alinhamento contrastivo ( $L_{NNCL}$ ), ponderadas por um hiperparâmetro $\lambda$ .

3. Principais Contribuições

Aprendizado de Protótipo de Texto Sensível ao Vizinhança: Um mecanismo que aprende protótipos de texto ao preservar explicitamente a estrutura de vizinhança local dentro do espaço de incorporação de tokens de palavras do LLM pré-treinado, atuando como âncoras representativas para regiões semânticas.
Alinhamento Cross-modal baseado em NNCL: A introdução de um objetivo de Aprendizado Contrastivo de Vizinho Mais Próximo para alinhar as incorporações de texto aprendidas com as representações de séries temporais, utilizando um conjunto de suporte para aumentar a robustez em cenários de poucos disparos (few-shot).
Modulação Temporal Condicionada por Protótipo: Um mecanismo de condicionamento por característica que injeta semântica textual nas representações de séries temporais via escala e deslocamento adaptativos, evitando o acoplamento rígido e o custo computacional da concatenação de tokens ou atenção cruzada.
Avaliação Empírica Abrangente: Demonstrou desempenho de estado da arte (SOTA) em benchmarks de previsão de longo prazo, curto prazo, poucos disparos (few-shot) e zero disparos (zero-shot).
Validação no Mundo Real: Aplicação bem-sucedida à previsão de energia fotovoltaica (PV) distribuída em nove conjuntos de dados, demonstrando robustez em cenários de integração de energias renováveis.

4. Resultados Experimentais

Os autores avaliaram o NeST em sete conjuntos de dados de referência para previsão de longo prazo (ETTh1, ETTh2, ETTm1, ETTm2, Weather, Traffic e ECL), no benchmark M4 para previsão de curto prazo e em nove conjuntos de dados de PV do mundo real.

Previsão de Longo Prazo: O NeST alcançou uma redução média de 1,2% no MSE em comparação com os métodos SOTA de segundo melhor desempenho nos sete benchmarks de previsão de longo prazo. Superou consistentemente baselines como S2TS-LLM, Time-LLM e PatchTST.
Previsão Few-shot: Usando apenas 10% dos dados de treinamento, o NeST mostrou forte desempenho, obtendo os melhores resultados em três dos quatro conjuntos de dados ETT e demonstrando robustez em condições de escassez de dados.
Previsão Zero-shot: Em configurações de transferência de domínio (treinar em um conjunto de dados, testar em outro), o NeST superou os baselines existentes em sete de oito cenários de transferência, com reduções de MSE variando de 1,9% a 11,5%, dependendo do par de transferência.
Previsão de Curto Prazo (Benchmark M4): O NeST alcançou o melhor SMAPE (11,940) e MASE (1,607) entre os métodos comparados, mostrando desempenho competitivo através de várias variações de intervalo de amostragem.
Previsão de PV no Mundo Real: Nos conjuntos de dados de potência PV distribuída, o NeST melhorou o score médio de $R^2$ em 4,9% no primeiro dataset (cinco estações) em comparação com o segundo melhor método (uma abordagem baseada em LLM especificamente desenhada para previsão de PV) e em 1,2% no segundo dataset (quatro estações).
Estudos de Ablação: Experimentos confirmaram que cada componente (Aprendizado sensível ao vizinhança, NNCL e Modulação Temporal) contribui positivamente para o desempenho, com os ganhos mais significativos observados em configurações few-shot.
Visualização: Visualizações UMAP confirmaram que os protótipos do NeST permanecem incorporados dentro das regiões densas do manifold de tokens pré-treinado, ao contrário dos métodos de sondagem linear que produzem estruturas isoladas.

5. Significância e Alegações

O artigo afirma que o NeST aborda a lacuna crítica de integrar efetivamente as modalidades de texto e séries temporais para previsão baseada em LLM. Ao preservar a geometria semântica do LLM e utilizar uma estratégia de modulação eficiente em parâmetros, o NeST oferece um framework generalizável que:

Melhora a Generalização: Demonstra fortes capacidades zero-shot e few-shot, cruciais para cenários com dados rotulados limitados.
Mantém a Integridade Temporal: Evita interromper a estrutura temporal intrínseca dos dados de séries temporais através da concatenação rígida de tokens.
Oferece Utilidade Prática: Provou ser eficaz não apenas em benchmarks acadêmicos padrão, mas também em tarefas complexas de previsão de energia renovável do mundo real envolvendo dados não estacionários e variáveis.

Os autores posicionam o NeST como um framework robusto e prático para adaptar LLMs para diversas tarefas de previsão de séries temporais sem exigir modificações arquitetônicas extensas ou mecanismos de atenção computacionalmente caros.