🤖 machine learning

Tail-Replay: Escaping the Curse of Linear Attention in Prefix Caching for Hybrid LLMs

O Tail-Replay é um mecanismo de cache de prefixo para modelos de linguagem de grande escala híbridos que permite o reuso irrestrito de nível de token através da reconstrução de estados de atenção linear ao reproduzir apenas um sufixo curto e recente de prefixos correspondentes, eliminando assim a necessidade de checkpoints de estado recorrente enquanto alcança uma retenção de qualidade quase perfeita e aumentos significativos na velocidade de inferência.

Autores originais: Yirui Liu, Ruoling Qi, Xuaner Wu, Penghang Liu, Jian Chen

Publicado 2026-09-01✓ Author reviewed ⓘ

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yirui Liu, Ruoling Qi, Xuaner Wu, Penghang Liu, Jian Chen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da inteligência artificial moderna, os grandes modelos de linguagem tornaram-se os motores por trás de tudo, desde assistentes de escrita até análises de dados complexas. Esses sistemas funcionam processando vastas quantidades de texto, token por token, para prever o que vem a seguir. No entanto, à medida que esses modelos são solicitados a lidar com conversas ou documentos cada vez mais longos, eles enfrentam um gargalo significativo: o custo de lembrar tudo o que leram até agora. Para resolver isso, pesquisadores desenvolveram duas estratégias principais. Uma abordagem envolve alterar a arquitetura interna do modelo para ser mais eficiente, utilizando uma mistura de camadas de memória padrão e camadas especializadas e simplificadas que resumem a informação em vez de armazenar cada detalhe individual. A outra estratégia é um truque de sistema chamado cache de prefixo (prefix caching), que reconhece que diferentes usuários frequentemente iniciam suas solicitações com as mesmas palavras. Em vez de reler essas frases iniciais idênticas todas as vezes, o sistema salva o resultado dessa primeira passagem e o reutiliza. Embora essas duas estratégias funcionem bem isoladamente, combiná-las provou ser difícil porque as camadas de memória simplificadas não podem ser facilmente pausadas e reiniciadas em qualquer ponto, ao contrário de suas contrapartes padrão.

Essa incompatibilidade criou um problema específico para engenheiros que tentam construir sistemas de IA mais rápidos e eficientes. Quando uma camada de memória padrão é reutilizada, o sistema pode saltar diretamente para qualquer ponto do texto salvo. Mas as camadas simplificadas, que são projetadas para comprimir informações, mantêm um estado contínuo que não pode ser revertido para um ponto inicial arbitrário sem perder seu significado. Soluções anteriores tentaram contornar isso salvando instantâneos (snapshots) do estado do sistema em intervalos fixos, mas isso significava que o sistema só poderia reutilizar o texto se a parte compartilhada terminasse exatamente em um desses instantâneos. Se a solicitação de um usuário compartilhasse uma longa sequência de palavras que terminasse logo após um instantâneo, o sistema teria que descartar a correspondência e começar do zero, desperdiçando os ganhos de eficiência.

Pesquisadores do Instituto de Inteligência Artificial da China Telecom e da Universidade Jiao Tong de Xangai desenvolveram um novo método chamado Tail-Replay para resolver este problema. A abordagem deles permite que o sistema reutilize o texto compartilhado em qualquer ponto, independentemente de onde os instantâneos foram tirados. A ideia central baseia-se em uma propriedade específica das camadas de memória simplificadas: elas são projetadas para dar mais peso às informações recentes do que às informações antigas. À medida que o sistema processa um texto longo, a influência das primeiríssimas palavras desaparece gradualmente, enquanto as palavras mais recentes dominam o estado atual. Os pesquisadores perceberam que, para recriar o estado de um prefixo correspondente, o sistema não precisa reproduzir todo o histórico daquele texto. Em vez disso, ele só precisa reproduzir o segmento mais recente e curto desse texto compartilhado.

O novo método funciona salvando a memória exata e detalhada das camadas padrão para cada palavra, enquanto omite os instantâneos para as camadas simplificadas. Quando uma nova solicitação chega compartilhando um longo início com uma anterior, o sistema recupera a memória padrão salva para a parte correspondente. Para as camadas simplificadas, em vez de tentar encontrar um instantâneo perfeito, o sistema pega a memória detalhada salva das últimas poucas palavras do texto compartilhado e as executa através das camadas simplificadas do zero. Essa reprodução curta (replay) reconstrói o estado necessário com alta precisão. Como o sistema só precisa reproduzir uma pequena "cauda" (tail) do texto, o processo é rápido e não exige o armazenamento dos pesados instantâneos intermediários que anteriormente limitavam a flexibilidade.

A equipe testou este método em três modelos de linguagem híbridos diferentes usando benchmarks padrão projetados para medir o desempenho em documentos longos e tarefas de raciocínio complexo. Eles descobriram que, ao reproduzir apenas cinco a dez por cento do texto correspondente, o sistema manteve entre 92,8 e 99,9 por cento da qualidade que teria alcançado se tivesse processado todo o texto desde o início. Na prática, isso significa que o sistema pode pular o trabalho pesado de reler milhares de palavras sem sacrificar a precisão de suas respostas. Os resultados mostraram que o método funciona consistentemente em diferentes tipos de tarefas, desde responder perguntas sobre histórias longas até recuperar fatos específicos de conjuntos de dados massivos.

Além da precisão, o método entregou melhorias dramáticas na velocidade. Quando o sistema foi solicitado a processar solicitações com prefixos compartilhados de 8.000, 16.000 ou 32.000 palavras, o tempo necessário para gerar a primeira resposta caiu significativamente. Para os textos mais longos, o novo método foi até 14,3 vezes mais rápido do que a abordagem tradicional de reler tudo. O aumento de velocidade tornou-se maior conforme o texto ficava mais longo, demonstrando que os ganhos de eficiência são mais valiosos quando o contexto é mais exigente. Os pesquisadores também desenvolveram otimizações para reduzir ainda mais o tempo gasto movendo dados entre a memória e o processador, garantindo que o processo de reprodução não se torne um novo gargalo.

Este trabalho demonstra que as limitações de combinar arquiteturas de modelos eficientes com sistemas de cache inteligentes podem ser superadas sem comprometer o desempenho. Ao compreender que a influência da informação antiga naturalmente desaparece nessas camadas simplificadas, os pesquisadores transformaram uma restrição em uma oportunidade. O método Tail-Replay permite que os sistemas reutilizem o texto compartilhado livremente, determinado apenas pelas palavras, e não por pontos de verificação arbitrários. Este avanço sugere um caminho para serviços de IA mais responsivos e eficientes que podem lidar com as crescentes demandas de aplicações de contexto longo sem exigir aumentos massivos no poder computacional.

Resumo Técnico: Tail-Replay

Problema: A Maldição da Atenção Linear no Cache de Prefixo

Modelos de Linguagem de Grande Escala (LLMs) híbridos intercalam camadas de atenção total (FA) com camadas de atenção linear para reduzir o custo computacional da inferência de contexto longo. Embora esta arquitetura ofereça eficiência, ela cria um descompasso fundamental com os mecanismos existentes de cache de prefixo.

Em modelos FA padrão, o estado reutilizável consiste em pares chave-valor (KV) indexados por token, permitendo que o sistema recupere e reutilize o estado em qualquer fronteira arbitrária de token. Em contraste, as camadas de atenção linear (como o Gated DeltaNet) resumem o prefixo processado em estados recorrentes por meio de atualizações in-place. Uma vez que esses estados avançam, eles não podem ser retrocedidos para representar um prefixo anterior arbitrário.

Sistemas de cache de prefixo híbridos existentes (por exemplo, Marconi, Sparse Prefix Caching) tentam resolver isso armazenando checkpoints de estado recorrente. No entanto, esta abordagem restringe a reutilização de prefixos ao nível de token a um conjunto discreto de fronteiras alinhadas com esses checkpoints. Esta limitação, denominada "maldição da atenção linear", impede a reutilização flexível e de grão fino de prefixos compartilhados que é possível em modelos puramente FA.

Metodologia: Tail-Replay

Os autores propõem o Tail-Replay, um mecanismo de cache de prefixo projetado para permitir a reutilização de prefixo ao nível de token sem restrições em LLMs híbridos, sem depender de checkpoints de estado recorrente. A ideia central é que os mecanismos de atenção linear atuam como uma compressão estruturada e com perda (lossy) do prefixo de entrada: atualizações recorrentes com portão (gated) atenuam progressivamente as contribuições das entradas anteriores. Consequentemente, o estado recorrente no final de um prefixo correspondente pode ser aproximado com precisão ao reproduzir (replaying) apenas um sufixo curto e recente (a "cauda" ou tail) desse prefixo.

Mecanismos Principais

Cache Seletivo: O Tail-Replay armazena os pares chave-valor exatos de FA e os estados ocultos (hidden states) de saída de FA para cada token. Ele omite explicitamente o armazenamento de checkpoints de estado recorrente.
Reconstrução de Estado Independente: Após um acerto de cache (cache hit), o sistema recupera o KV de FA para o prefixo correspondente. Para as camadas de atenção linear, ele reconstrói o estado recorrente:
- Recuperando apenas os $k$ tokens mais recentes (a cauda) dos estados ocultos de FA armazenados.
- Inicializando o estado de reprodução (replay state) em zero no início desta cauda.
- Reproduzindo as equações de recorrência do Gated DeltaNet nesta cauda curta para gerar o estado na fronteira do prefixo.
- Este processo é realizado independentemente para cada grupo de camadas de atenção linear que segue uma camada FA, garantindo que os estados ocultos de entrada correspondam exatamente ao prefill original.
Otimizações para Eficiência:
- Pulo de FFN da Cauda (Tail-FFN Skip): Como a saída da FFN ao final de um grupo reproduzido não é necessária para a reconstrução do estado (o próximo grupo começa a partir do estado oculto de FA armazenado), a computação da FFN é ignorada durante a reprodução.
- Sobreposição de Transferência/Reprodução (Transfer/Replay Overlap): Como o Tail-Replay não depende do KV de FA armazenado durante a computação da reprodução, a transferência do KV de FA da memória do host para o dispositivo pode ocorrer simultaneamente com a reprodução em um fluxo (stream) separado, ocultando os custos de movimentação de dados.

Resultados

Os autores avaliaram o Tail-Replay em três modelos híbridos baseados em Gated DeltaNet (OLMo-Hybrid-7B, Qwen3.5-4B e Qwen3.27B) utilizando os benchmarks LongBench e RULER.

Retenção de Qualidade: Com um orçamento de reprodução de apenas 5–10% (reproduzindo os últimos 5–10% do prefixo correspondente), o Tail-Replay retém de 92,8% a 99,9% da qualidade do prefill total no LongBench e RULER. Isso supera significativamente a linha de base "Zero-Only" (que reutiliza o KV de FA mas zera os estados lineares), que apresentou degradação substancial de qualidade.
Eficiência de Serviço (TTFT): O método alcança acelerações significativas no Tempo de Primeiro Token (Time-to-First-Token - TTFT), que escalam com o comprimento do prefixo correspondente.
- Em um contexto de 32K, as acelerações atingiram de 9,1× a 14,3× em relação ao prefill total.
- A otimização "Overlap + Skip" reduziu ainda mais o TTFT em 18–42% em comparação com transferências serializadas do host para o dispositivo em 32K.
- Aumentar o orçamento de reprodução de 5% para 10% teve impacto mínimo na qualidade, mas aumentou ligeiramente o TTFT em contextos mais longos, onde a reprodução se tornou o custo dominante.

Significância e Contribuições

O artigo afirma que o Tail-Replay é o primeiro mecanismo de cache de prefixo híbrido a permitir a reutilização de prefixo ao nível de token sem restrições, sem ser limitado pelas localizações de checkpoints de estado recorrente. Sua significância reside em:

Desacoplamento da Reutilização dos Checkpoints: Ele desloca a fronteira de reutilização das localizações discretas de checkpoints para as fronteiras reais dos tokens compartilhados, maximizando o potencial de reutilização de prefixo.
Reconstrução de Estado Eficiente: Introduz um mecanismo de reprodução que troca um custo computacional pequeno e controlado (reproduzir uma cauda curta) pela eliminação do armazenamento e gerenciamento de checkpoints dispendiosos.
Viabilidade Prática: A avaliação demonstra que uma inferência de alta qualidade pode ser mantida com um orçamento de reprodução mínimo (5–10%), tornando a abordagem prática para cenários de serviço do mundo real, onde latência e memória são restrições críticas.

O trabalho sugere que, para modelos híbridos que utilizam Gated DeltaNet, a natureza "com perda" (lossy) do mecanismo de atenção linear pode ser aproveitada como uma característica, em vez de um defeito, permitindo estratégias de cache eficientes e flexíveis que anteriormente eram consideradas incompatíveis com arquiteturas de estado recorrente.