🤖 machine learning

DeltaLog: Deferred Materialization of Recurrent States for Linear Attention Decoding

DeltaLog é um esquema de decodificação de estado recorrente que acelera modelos de atenção linear ao adiar a materialização total do estado em favor da anexação de atualizações compactas a um log limitado e de fundi-las periodicamente, reduzindo significativamente o tráfego de memória e melhorando a velocidade de atendimento de ponta a ponta.

Autores originais: Junqing Lin, Jingwei Sun, Guangzhong Sun

Publicado 2026-08-18

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Junqing Lin, Jingwei Sun, Guangzhong Sun

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Os sistemas modernos de inteligência artificial que geram texto, desde chatbots até assistentes de escrita criativa, dependem de um processo fundamental chamado decodificação autorregressiva. Nesse processo, o computador prevê a próxima palavra em uma frase uma de cada vez, usando as palavras que já gerou para informar seu próximo palpite. Durante anos, os modelos mais poderosos utilizaram um mecanismo conhecido como atenção para decidir quais palavras anteriores são mais importantes para a previsão atual. Embora essa abordagem seja incrivelmente eficaz, ela cria um gargalo crescente: à medida que a conversa fica mais longa, o sistema deve armazenar e recuperar constantemente uma lista em constante expansão de cada palavra vista até agora, consumindo vastas quantidades de memória de computador e diminuindo o tempo de resposta. Para resolver isso, pesquisadores desenvolveram uma nova classe de modelos que substituem a lista em expansão por um resumo de tamanho fixo, ou estado, que se atualiza com cada nova palavra. Essa mudança elimina a necessidade de lembrar de cada único token passado, mas introduz um problema diferente: o sistema ainda precisa reescrever constantemente todo esse resumo toda vez que uma nova palavra é adicionada, criando um pesado congestionamento no tráfego da memória do computador.

Uma equipe de pesquisadores da Universidade de Ciência e Tecnologia da China identificou essa reescrita constante como uma grande ineficiência e concebeu uma solução que chamam de DeltaLog. Em vez de forçar o computador a reescrever todo o resumo da conversa após cada única palavra, o DeltaLog permite que o sistema mantenha uma versão estável e completa do resumo e simplesmente anexe uma nota pequena e compacta descrevendo a mudança mais recente. O sistema só reescreve o resumo completo ocasionalmente, após ter acumulado um certo número dessas pequenas notas. Essa abordagem é como manter um livro de registro mestre e uma pilha de notas adesivas; em vez de reescrever todo o livro de registro cada vez que uma nova transação ocorre, você apenas adiciona a transação à pilha e atualiza o livro de registro apenas quando a pilha fica muito alta. Ao fazer isso, os pesquisadores descobriram que poderiam reduzir drasticamente a quantidade de dados que o computador precisa movimentar, o que é frequentemente a parte mais lenta do processo.

Os pesquisadores testaram este método em vários tipos diferentes de modelos de linguagem modernos, incluindo Gated DeltaNet, Kimi Delta Attention e RWKV6. Em seus experimentos, eles mediram quanto tempo o computador levou para gerar uma única palavra e quanto tráfego de memória foi envolvido. Eles descobriram que, ao adiar a reescrita completa do resumo, poderiam acelerar o cálculo central que atualiza a memória do modelo em até 1,86 vezes em placas gráficas de alto desempenho. Mais importante ainda, observaram que a quantidade de dados escritos na memória de alta velocidade do computador caiu em até 7,83 vezes. Essa redução no tráfego é significativa porque, nesses tipos de modelos, a velocidade é frequentemente limitada não pela rapidez com que o computador pode calcular, mas pela rapidez com que ele pode mover dados para dentro e para fora de sua memória.

Quando os pesquisadores integraram este método em um sistema completo projetado para atender muitos usuários simultaneamente, os benefícios se traduziram em tempos de resposta mais rápidos para o usuário final. Em testes com grandes modelos contendo dezenas de bilhões de parâmetros, o sistema gerou palavras entre 5% e 20% mais rápido do que antes. A melhoria foi mais perceptível quando o sistema estava lidando com muitas solicitações simultâneas, um cenário comum para aplicações do mundo real. Os pesquisadores confirmaram que esse aumento de velocidade não ocorreu à custa da precisão; o texto gerado pelo sistema modificado permaneceu matematicamente equivalente ao original, o que significa que a qualidade do conteúdo foi preservada enquanto a entrega se tornou muito mais eficiente.

A ideia central por trás deste trabalho é que a maneira como um computador armazena e atualiza fisicamente a informação não precisa sempre coincidir com os passos lógicos que o modelo executa. Embora o modelo atualize logicamente seu estado com cada palavra, o hardware físico não precisa reescrever imediatamente todo o estado para refletir essa mudança. Ao separar o histórico estável das mudanças recentes e fundi-los periodicamente, o DeltaLog reduz o "imposto de atualização de estado", um termo que os autores usam para descrever o tráfego excessivo de memória causado por atualizações imediatas e ansiosas. Esta estratégia não altera o modelo subjacente ou seus pesos; ela simplesmente altera o cronograma de como o computador lida com os dados. Os resultados sugerem que, para modelos de linguagem de grande escala, otimizar o movimento físico de dados é tão crítico quanto melhorar os próprios algoritmos matemáticos, oferecendo um caminho claro para uma inteligência artificial mais rápida e eficiente.

Resumo Técnico: DeltaLog

Problema: O Imposto de Atualização de Estado na Decodificação de Atenção Linear

Modelos de atenção linear (ex: GDN, KDA, RWKV6) oferecem uma alternativa convincente à atenção softmax ao substituir o cálculo quadrático de prefixo e o cache de Chave-Valor (KV) de crescimento de contexto por atualizações de estado recorrente de tamanho fixo. Nesses modelos, o estado $S_t$ é uma matriz densa de tamanho $d_k \times d_v$ , independente do comprimento da sequência.

No entanto, as implementações de decodificação existentes sofrem de uma ineficiência significativa denominada imposto de atualização de estado (state-update tax). Embora a atualização lógica contribuída por um único token seja compacta (representada por vetores de tamanho $O(d_k + d_v)$ ), as implementações "eager" padrão materializam imediatamente essa atualização na forma do estado denso completo e escrevem o tensor $[B, H, d_k, d_v]$ inteiro de volta para a Memória de Alta Largura de Banda (HBM) após cada geração de token.

Descompasso de Tráfego de Memória: Para um tamanho de lote $B$ e $H$ cabeças, a informação real adicionada é $O(BH(d_k + d_v))$ , mas o tráfego físico envolve a leitura e escrita de $O(BH d_k d_v)$ elementos.
Gargalo Limitado pela Memória: Essa materialização eager cria uma intensidade aritmética de aproximadamente 0,5–1,0 FLOPs/byte, o que está muito abaixo do balanço de máquina de GPUs modernas (ex: ~208 FLOPs/byte para H200). Consequentemente, a manutenção do estado recorrente torna-se uma fonte primária de tráfego de memória, dominando a latência de decodificação, especialmente à medida que os tamanhos de lote e de estado aumentam. Medições mostram que isso pode consumir até 44,6% da latência de decodificação em cenários de grandes lotes.

Metodologia: Materialização Adiada via DeltaLog

O artigo propõe o DeltaLog, um esquema de decodificação que desacopla a recorrência lógica da materialização física do estado. O DeltaLog não altera os pesos do modelo ou a recorrência matemática; ele apenas altera o cronograma físico das atualizações de estado.

Mecanismo Central: Base + Log

O DeltaLog representa o estado recorrente vivo como dois componentes:

Estado Base Denso ( $\bar{S}$ ): Uma matriz densa que armazena o histórico acumulado até o último ponto de "fusão" (merge).
Log de Atualização Limitado: Um buffer que armazena fatores de atualização compactos recentes ( $a_t, b_t$ ) e seus metadados de log-decay associados ( $\Lambda$ ).

O ciclo de decodificação opera em duas fases:

Fase de Anexo (Caso Comum): Para $M-1$ passos, o sistema não escreve de volta o estado denso completo. Em vez disso, ele anexa os fatores de atualização compactos e o snapshot atual de log-decay ao buffer de log. A base densa $\bar{S}$ permanece inalterada.
Fase de Fusão (Periódica): A cada $M$ passos, o sistema materializa o estado lógico acumulado (base + entradas de log reproduzidas) de volta para a base densa $\bar{S}$ , redefine o log e limpa as atualizações adiadas.

O intervalo de fusão ideal $M$ equilibra o custo do aumento do tráfego de reprodução (replay) com a economia da redução de escritas densas.

Implementação de Kernel

Para implementar isso eficientemente em GPUs, os autores empregam uma decomposição de kernel tileada:

Paralelismo de Tile de Valor: O estado é particionado ao longo da dimensão do valor ( $d_v$ ). Cada unidade de trabalho lida com uma fatia da base densa e o respectivo shard do log do lado do valor.
Metadados Compartilhados: Os fatores do lado da chave e os metadados de log-decay são compartilhados entre os tiles de valor para evitar computação redundante.
Execução em Estágios: O kernel é dividido em um estágio de "ReplayPrep" compartilhado (computando coeficientes uma vez por slot-head) e estágios "AppendDecode" paralelos para os tiles de valor.

O método é instanciado para três operadores com diferentes granularidades de decaimento e semânticas de atualização:

GDN (Gated DeltaNet): Decaimento escalar por cabeça; usa correção de regra Delta.
KDA (Kimi Delta Attention): Decaimento por chave; usa correção de regra Delta.
RWKV6: Decaimento por chave; usa atualizações de valor bruto (sem correção de regra Delta).

Contribuições Principais

Identificação do Imposto de Atualização de Estado: O artigo caracteriza o overhead por token causado pela materialização densa eager na implementação de serviço de atenção linear em grandes lotes, identificando-o como um gargalo de largura de banda de memória distinto do custo da recorrência lógica.
Estratégia de Execução DeltaLog: Uma abordagem de materialização adiada que representa o estado como uma base densa aumentada com um log limitado de atualizações compactas, permitindo que a maioria dos passos realize anexos leves em vez de reescritas completas de estado.
Implementação de Sistema e Avaliação: Uma implementação completa para três operadores com diferentes granularidades de decaimento e semânticas de atualização, integrada em uma pilha de serviço baseada em vLLM, demonstrando que a otimização preserva a equivalência aritmética exata (dentro da tolerância de ponto flutuante) enquanto melhora o desempenho.

Resultados

Experimentos foram conduzidos em GPUs NVIDIA H200 e RTX 4090 através de vários tamanhos de lote e comprimentos de contexto.

Desempenho ao Nível de Kernel:
- O DeltaLog acelera o kernel de atualização de estado recorrente em 1,19× a 1,86× em comparação com a linha de base altamente otimizada Fast Linear Attention (FLA).
- Reduz o tráfego de escrita de estado recorrente perfilado em até 7,83×.
- O GDN beneficia-se mais devido aos seus metadados de decaimento escalar compactos, enquanto o RWKV6 e o KDA mostram ganhos significativos apesar dos metadados por chave mais pesados.
Desempenho de Serviço de Ponta a Ponta:
- Integrado em uma pilha de serviço protótipo, o DeltaLog alcança acelerações de ponta a ponta de 1,05× a 1,20× sobre as bases densas recorrentes em modelos como Qwen3.6-35B e Kimi-Linear-48B.
- Os ganhos são menores do que as melhorias ao nível de kernel devido à Lei de Amdahl, já que a atualização recorrente é apenas um componente do passo de decodificação completo (que inclui MLP, normalização e agendamento).
Corretude Numérica:
- O método mantém a equivalência numérica com a decodificação eager, com erros relativos máximos de saída bem dentro das tolerâncias padrão do repositório (ex: < 0,005 para todos os operadores testados).

Significância

O artigo argumenta que a materialização do estado recorrente é um gargalo crítico e frequentemente negligenciado na decodificação de atenção linear, particularmente para o serviço de grandes lotes. Ao otimizar o cronograma físico das atualizações de estado em vez da própria recorrência algorítmica, o DeltaLog demonstra que ganhos significativos de eficiência podem ser alcançados sem modificar as arquiteturas de modelos.

O trabalho destaca que, embora a atenção linear remova a dependência do comprimento do contexto dos caches KV, ela introduz um novo custo de manutenção de estado fixo que é fortemente limitado pela memória. O DeltaLog fornece uma solução prática para este "imposto de atualização de estado", mostrando que adiar as escritas densas é uma estratégia viável para melhorar o throughput de inferência para modelos de atenção linear recorrente. Os autores observam que os benefícios são mais pronunciados em regimes onde a escrita de volta do estado recorrente constitui uma parte dominante do tráfego de memória (grandes lotes, grandes tamanhos de estado).