💬 NLP

Beyond Uniform Tokens: Adaptive Compression for Time Series Language Models

Este artigo propõe um framework de compressão de tokens adaptativo para modelos de linguagem de séries temporais que aproveita as propriedades espectrais distintas dos dados de séries temporais e a influência decrescente de prompts através das camadas para alcançar aceleração significativa de inferência e melhorias de desempenho.

Autores originais: Jialin Gan, Xin Qiu, Guangzhe Chen, Xue Wang

Publicado 2026-06-12

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Jialin Gan, Xin Qiu, Guangzhe Chen, Xue Wang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um assistente muito inteligente, mas ligeiramente sobrecarregado (o Large Language Model ou LLM), que está tentando entender duas coisas muito diferentes ao mesmo tempo: um relatório meteorológico longo e complexo (a Série Temporal) e um conjunto de instruções escritas em um post-it (o Prompt).

Normalmente, esse assistente trata cada palavra do relatório meteorológico e cada palavra das instruções como igualmente importantes. Eles processam tudo na mesma velocidade, uma por uma. O artigo argumenta que isso é um desperdício de tempo e energia.

Aqui está a divisão simples do que os autores descobriram e construíram:

1. O Problema: "Um Tamanho Serve para Todos" é Desperdiçador

Os autores perceberam que os dois tipos de informação se comportam de maneira muito diferente:

O Relatório Meteorológico (Série Temporal): É cheio de padrões. Algumas partes são apenas ruído de fundo ou loops repetitivos (como o sol nascendo todos os dias). Outras partes são as "reviravoltas" críticas (como uma tempestade repentina). Tratar os loops repetitivos com a mesma intensidade que a tempestade é ineficiente.
O Post-it (Prompt): As instruções são cruciais logo no início para dizer ao assistente o que fazer. Mas, à medida que o assistente começa a pensar e analisar os dados, ele não precisa continuar lendo todo o post-it repetidamente. As instruções são "absorvidas" rapidamente, e mantê-las na memória de trabalho pelo resto do processo é apenas um estorvo.

2. A Solução: "TokenDecouple"

A equipe construiu um novo sistema chamado TokenDecouple que lida com essas duas entradas de forma diferente, como um gerente de tráfego inteligente direcionando dois tipos diferentes de carros.

Parte A: Comprimindo o Relatório Meteorológico (Fusão no Domínio da Frequência)

Em vez de olhar para o relatório meteorológico segundo a segundo (domínio do tempo), o sistema o observa como um equalizador de música (domínio da frequência).

A Analogia: Imagine uma música. Na maior parte do tempo, é apenas uma batida de tambor constante (redundante). Ocasionalmente, há um solo de guitarra (informação crítica).
A Correção: O sistema escaneia o "equalizador". Ele vê que muitas "notas" (tokens) são apenas repetindo a mesma batida de tambor. Ele agrupa essas notas repetitivas e as funde em uma única nota representativa. Ele mantém os "solos de guitarra" (as frequências críticas) separados e intocados.
O Resultado: O assistente tem que ler uma versão muito mais curta e limpa do relatório meteorológico, mas não perdeu os detalhes importantes.

Parte B: Encolhendo o Post-it (Decaimento Piramidal)

O sistema também percebeu que as instruções não precisam continuar grandes para sempre.

A Analogia: Pense nas instruções como um mapa grande que você usa para iniciar uma jornada. Uma vez que você conhece o destino e a rota, não precisa manter o mapa gigante inteiro aberto sobre a mesa; você só precisa de um cantinho dele para se lembrar da curva.
A Correção: À medida que o assistente se aprofunda em seu processo de pensamento (através das camadas do modelo), o sistema encolhe agressivamente o post-it.
- Camada 1: Mapa completo (100% das instruções).
- Camada 2: Um quarto do mapa (25%).
- Camada 3: Um cantinho minúsculo (6%).
- Camadas Profundas: Quase nada (menos de 1%).
O Resultado: O assistente para de gastar energia cerebral relendo instruções que já compreendeu.

3. O Resultado: Mais Rápido e Mais Inteligente

Ao fazer essas duas coisas separadamente (desacoplando-as), o sistema alcançou resultados impressionantes:

Velocidade: Tornou o assistente 7,68 vezes mais rápido em alguns casos.
Precisão: Surpreendentemente, não apenas ficou mais rápido; ele também ficou melhor em tarefas em cerca de 78% dos testes.
Tarefas: Eles testaram em previsão do futuro (forecasting), detecção de anomalias (anomaly detection), preenchimento de dados ausentes (imputation) e classificação de categorias (classification).

Resumo

O artigo está essencialmente dizendo: "Pare de tratar cada pedaço de dado da mesma forma."

Para números (série temporal), agrupe as partes chatas e repetitivas para que você foque apenas nos padrões interessantes.
Para texto (prompt), leia as instruções uma vez, aprenda-as e depois deixe-as desaparecer enquanto você realiza o trabalho real.

Esta abordagem permite que a IA seja muito mais eficiente sem perder sua inteligência, tornando possível rodar esses modelos poderosos em hardware mais rápido e barato.

Resumo Técnico: Além de Tokens Uniformes: Compressão Adaptativa para Modelos de Linguagem de Séries Temporais

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) têm sido cada vez mais aplicados à análise de séries temporais (TS) ao modelar observações numéricas e prompts textuais através de uma interface de tokens compartilhada. No entanto, as abordagens existentes tratam os tokens de TS e os tokens de prompt de forma uniforme, ignorando suas diferenças estruturais fundamentais. Esse processamento uniforme leva à ineficiência por duas razões principais:

Informação Redundante de TS: Os tokens de TS frequentemente exibem contribuições espectrais altamente desiguais. Grandes grupos de tokens compartilham padrões de frequência redundantes, enquanto apenas um pequeno subconjunto carrega evidências temporais críticas. A fusão padrão no domínio do tempo falha em separar esses componentes funcionais de forma eficaz.
Retenção Ineficiente de Prompts: Os prompts de texto fornecem orientação de alto nível, mas sua influência atenua rapidamente conforme a profundidade do modelo aumenta. Reter o conjunto completo de tokens de prompt em todas as camadas acarreta um custo computacional substancial sem ganhos proporcionais de desempenho, pois a informação textual é tipicamente absorvida e transferida para os tokens de TS dentro das primeiras camadas rasas.

Metodologia: TokenDecouple

Os autores propõem o TokenDecouple, um framework unificado que desacopla as estratégias de compressão para tokens de TS e tokens de prompt com base em suas distintas estruturas de informação.

1. Fusão de Tokens de TS no Domínio da Frequência

Em vez de fundir tokens com base na proximidade no domínio do tempo, o método opera no domínio da frequência para identificar e remover a redundância espectral.

Análise Espectral: Os tokens de TS de entrada são transformados via Transformada de Fourier Discreta (DFT). O método identifica que sinais de TS do mundo real concentram energia em bandas de frequência específicas, ao contrário do ruído branco, que possui um espectro uniforme.
Seleção de Tokens Ativos: Para cada componente de frequência, o algoritmo seleciona um subconjunto mínimo de tokens cuja magnitude espectral cumulativa representa pelo menos 95% da energia total.
Orçamento de Fusão Adaptativo: A granularidade da fusão é determinada pela identificabilidade espectral, estimada usando a Informação de Fisher. Tokens que permitem picos mais nítidos ou padrões periódicos de baixo ruído contribuem mais para a compreensão do modelo. Um orçamento adaptativo é calculado para determinar quantos tokens devem ser fundidos para cada banda de frequência.
Grafo de Afinidade Local: Dentro do conjunto ativo selecionado, os tokens são agrupados em clusters locais baseados na similaridade espectral. Uma média ponderada é computada para cada grupo para gerar representantes fundidos, que são então transformados de volta para o domínio do tempo via IDFT (Transformada Inversa de Fourier Discreta).

2. Compressão de Tokens de Prompt Piramidal

O framework introduz uma estratégia de "decaimento piramidal" para os tokens de prompt, reconhecendo que sua utilidade diminui com a profundidade do modelo.

Decaimento por Camada: O número de tokens de prompt é reduzido geometricamente em cada camada (especificamente, $P_{l+1} = \lceil 0.25 P_l \rceil$ ).
Preservação de Resíduos: Para evitar a perda de informação durante a compressão, o método computa um resumo residual global (via MeanPool) dos tokens de prompt em cada camada e o adiciona à representação comprimida passada para a próxima camada.
Resultado: Na quarta camada, o número de tokens de prompt torna-se negligenciável (caindo para ~0,4% do original), reduzindo drasticamente os custos de atenção nas camadas mais profundas.

Principais Contribuições

Perspectiva do Domínio da Frequência: O artigo fornece a primeira análise sistemática de tokens de TS sob uma perspectiva de domínio de frequência, revelando que diferentes componentes de frequência contribuem de forma desigual para a informação ao nível de token, justificando a fusão baseada em frequência.
Efeito de Decaimento Piramidal: Os autores descobrem que a influência do token de prompt decai rapidamente com a profundidade do modelo, demonstrando que a retenção total do prompt é desnecessária e que a compressão agressiva nas camadas iniciais é segura.
Framework TokenDecouple: Eles propõem um framework de compressão desacoplado que funde simultaneamente tokens de TS via estrutura de domínio de frequência e comprime tokens de prompt via decaimento piramidal. Esta abordagem alcança ganhos significativos de eficiência mantendo ou melhorando o desempenho.

Resultados Experimentais

O framework foi avaliado em quatro modelos avançados de LLM para TS (OFA, TimeLLM, CALF, S2IP) e 27 conjuntos de dados cobrindo sete tarefas: imputação, classificação, detecção de anomalias, previsão e três níveis de raciocínio (determinístico simples, determinístico complexo e probabilístico).

Desempenho: O TokenDecouple superou os modelos originais em 78% das configurações avaliadas. Nos casos em que o desempenho caiu, a degradação foi mínima (por exemplo, aumento máximo de MAE de 0,008 em imputação, queda de 1,3% na precisão em classificação).
Eficiência: O método alcançou até 7,68× aceleração de inferência (especificamente para o modelo TimeLLM). Em todos os modelos e tarefas, os aumentos de velocidade médios variaram de 3,43× a 7,68×.
Redução de Tokens: Mesmo para as tarefas mais desafiadoras, pelo menos 50% dos tokens de TS puderam ser fundidos. O overhead dos tokens de prompt foi reduzido em aproximadamente 89% em modelos de 12 camadas e 94% em modelos de 24 camadas.
Comparação: O TokenDecouple superou significativamente os métodos de baseline de fusão de tokens (fusão global, local e dinâmica) tanto na retenção de desempenho quanto na aceleração de inferência.

Significância e Alegações

O artigo afirma que o TokenDecouple oferece uma solução escalável para modelos de fundação de TS ao abordar as ineficiências específicas de tratar séries temporais e texto de forma uniforme. Os autores enfatizam que sua abordagem não é uma compressão arbitrária, mas uma redução de redundância baseada em princípios, fundamentada na estrutura espectral e no fluxo de informação por camada.

O trabalho destaca que:

Compromisso Eficiência-Desempenho: É possível reduzir drasticamente os custos computacionais (latência de inferência e memória) sem sacrificar e, muitas vezes, ao mesmo tempo melhorar o desempenho do modelo.
Robustez da Tarefa: O método permanece eficaz através de diversas dinâmicas temporais, incluindo variados níveis de estacionaridade, sazonalidade e ruído, sugerindo que não é excessivamente dependente de padrões estatísticos específicos de conjuntos de dados.
Princípio de Design: As descobertas defendem um design "consciente de tokens" na integração de TS-linguagem, onde as estratégias de compressão são adaptadas à estrutura de informação específica da modalidade de dados (domínio da frequência para TS, dependência de profundidade para prompts).

Os autores notam modestamente limitações, afirmando que o estudo não avalia sistematicamente a aplicabilidade sob condições altamente não estacionárias ou de amostragem irregular, nem examina interações com outras técnicas de eficiência, como quantização ou poda estruturada. Eles recomendam o uso do método como um componente de aumento de eficiência, em vez de um sistema de tomada de decisão autônomo para aplicações críticas de segurança.