🤖 AI

LaCache: Exact Caching and Precision-Adaptive Inference for Diffusion Large Language Models

O LaCache é um framework de aceleração livre de treinamento para Diffusion Large Language Models que alcança acelerações significativas ao empregar memoização de estado sem perdas para cache de resultados intermediários invariantes e ao utilizar quantização FP8 por grupo para reduzir gargalos de largura de banda de memória.

Autores originais: Xingru Chen, Zelang Liang, Yongjia Ma, Jiqing Zhan, Shuling Yang, Lian Wen, Kun Zhan

Publicado 2026-07-21

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Xingru Chen, Zelang Liang, Yongjia Ma, Jiqing Zhan, Shuling Yang, Lian Wen, Kun Zhan

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde os computadores não apenas leem palavras uma por uma, como uma pessoa virando as páginas de um livro, mas podem olhar para uma frase inteira de uma só vez e adivinhar as partes que faltam todos juntos. Isso é a magia dos "Modelos de Linguagem de Difusão Grande" (Diffusion Large Language Models), um novo tipo de IA que constrói texto começando com uma bagunça de símbolos e limpando-a lentamente, passo a passo, até que uma história clara surja. É como um escultor esculpindo um bloco de mármore, mas em vez de pedra, ele está esculpindo o ruído para revelar uma frase. O problema é que esse processo pode ser incrivelmente lento e faminto por energia. Cada vez que a IA dá um passo para limpar o texto, ela frequentemente recalcula as partes da frase que ainda não mudaram, desperdiçando uma quantidade massiva de tempo e eletricidade. É como um chef que, toda vez que adiciona um novo ingrediente a um ensopado, decide picar novamente todos os vegetais que já estavam perfeitamente picados e sentados na tigela.

Entre o LaCache, um framework inteligente projetado para interromper esse desperdício sem mudar o sabor final do prato. Os pesquisadores por trás deste projeto perceberam que, nesses modelos de IA, a maior parte do texto permanece exatamente a mesma enquanto apenas um pequeno pedaço está sendo atualizado. Em vez de refazer a matemática de toda a frase toda vez, o LaCache atua como um bibliotecário super eficiente. Ele mantém um registro "lossless" (perfeitamente preciso) das partes que não mudaram, para que a IA possa pular o trabalho repetitivo e entediante e focar apenas nos novos fragmentos. Eles também introduziram uma maneira de realizar o trabalho pesado com um pouco menos de precisão — como usar uma régua ligeiramente menor para medições que não precisam ser perfeitas ao milímetro — o que acelera as coisas ainda mais. O resultado? A IA roda muito mais rápido, às vezes até 40 vezes mais rápida quando combinada com outros truques, mas ainda entrega as mesmas respostas corretas.

O Problema: O Ciclo de "Releitura"

Para entender por que o LaCache é tão importante, primeiro precisamos olhar para como esses modelos de difusão funcionam. Imagine que você está tentando resolver um quebra-cabeça onde tem que preencher uma frase longa, mas só pode consertar algumas palavras de cada vez. O modelo trabalha em "blocos". Ele escolhe uma pequena seção da frase, tenta consertar as palavras dentro dela e depois segue em frente. Mas aqui está o detalhe: enquanto ele está ocupado consertando essa pequena seção, o resto da frase (o início e o fim) permanece exatamente o mesmo.

Apesar disso, a maneira antiga de fazer as coisas forçava o computador a recalcular a frase inteira do zero toda vez que dava um passo. Era como se, enquanto você estivesse corrigindo um erro de digitação no meio de uma carta, o computador insistisse em reescrever a carta inteira, incluindo as partes que você ainda não havia tocado. Isso criava uma enorme quantidade de "computação redundante" — esforço desperdiçado. Os pesquisadores descobriram que esse desperdício acontecia em três lugares específicos:

O Passo de Tradução: Converter palavras em números (Embedding).
O Passo de Posicionamento: Entender onde as palavras se situam na frase (RoPE).
O Passo de Atenção: Decidir quais palavras importam umas para as outras (FlashAttention).

A Solução: Os Três Caches Mágicos

O LaCache resolve isso introduzindo um sistema chamado Memoização de Estado Sem Perdas (Lossless State Memoization - LSM). Pense em "memoização" como uma folha de dicas. Se você já resolveu um problema matemático, você escreve a resposta para não ter que resolvê-lo novamente. O LaCache cria três folhas de dicas específicas para a IA:

EmbedCache (O Dicionário de Palavras): Este cache lembra a tradução numérica para qualquer palavra que não tenha mudado. Se a palavra "maçã" está no início da frase e permanece lá, o computador não precisa traduzir "maçã" para números novamente. Ele apenas pega o número salvo.
RoPECache (O Mapa de Posição): Este cache lembra a "matemática de posição" para as palavras inalteradas. É como lembrar que a primeira palavra é sempre a "primeira", então você não precisa recalcular sua posição toda vez que corrige uma palavra no meio.
FACache (A Folha de Dicas de Atenção): Este é o mais complexo. Ele salva as "estatísticas de atenção" para as partes da frase que não estão sendo tocadas. Imagine um holofote que brilha nas palavras para as quais a IA está olhando. Se a IA está olhando apenas para o meio da frase, o holofote não precisa recalcular como ele brilha nas palavras do início e do fim. O FACache salva esses cálculos para que a IA possa pulá-los inteiramente.

Ao usar esses três caches, a IA pode pular o trabalho pesado para as partes do texto que já estão perfeitas. Ela só faz o trabalho duro no bloco específico de palavras que está tentando consertar no momento.

O Impulso de Velocidade: Um Truque de Precisão

Pular o trabalho é ótimo, mas os pesquisadores queriam ir mais rápido. Eles notaram que o "cérebro" da IA (especificamente as partes chamadas camadas FFN) às vezes usa números que são muito precisos, mas que não precisam ser tão precisos para obter a resposta correta. É como medir um quarto para um tapete com uma régua a laser que mede até um bilionésimo de polegada, quando uma fita métrica padrão seria perfeitamente adequada.

O LaCache utiliza uma técnica chamada quantização per-group FP8. Esta é uma maneira sofisticada de dizer que eles mudam para uma "régua menor" (FP8) para grupos específicos de cálculos. Eles fazem isso cuidadosamente, apenas nas partes do modelo que conseguem lidar com isso sem ficarem confusos. Isso permite que o hardware do computador trabalhe muito mais rápido porque pode processar esses números menores de forma mais eficiente. É como trocar o transporte de blocos de pedra pesados por blocos de espuma leves; você pode movê-los muito mais rápido e, desde que a espuma tenha o formato correto, o edifício ainda ficará de pé perfeitamente.

Os Resultados: Rápido, Preciso e Pronto para Ir

A equipe testou o LaCache em vários modelos e tarefas de IA diferentes, desde resolver problemas matemáticos até escrever código. Os resultados foram impressionantes:

Velocidade: Por si só, o LaCache tornou a IA cerca de 1,3 vezes mais rápida do que a versão padrão. Mas quando combinaram com outros truques existentes de aceleração, a IA tornou-se até 40,2 vezes mais rápida.
Precisão: A parte mais importante é que a IA não ficou "mais burra". Os pesquisadores descobriram que as respostas eram quase idênticas à versão original, mais lenta. Em alguns casos, como escrever código, o aumento de velocidade até ajudou a IA a gerar respostas ligeiramente melhores porque ela pôde explorar mais opções no mesmo intervalo de tempo.
Versatilidade: Funcionou bem em diferentes tipos de tarefas, incluindo raciocínio (resolver quebra-cabeças) e geração de código (escrever programas de computador).

O artigo também menciona algumas limitações. O cache "perfeito" só funciona na primeiríssima camada do cérebro da IA; as camadas mais profundas são mais complexas e podem precisar de truques ligeiramente diferentes. Além disso, este aumento de velocidade depende de possuir chips de computador modernos que sejam bons em lidar com esses números menores (FP8). Se você tiver um computador antigo, ele pode ainda não ser capaz de usar este truque.

Por Que Isso Importa

No mundo da IA, velocidade e custo são tudo. Se uma IA demora muito para pensar, é caro para rodar e frustrante para usar. O LaCache mostra que nem sempre precisamos de computadores maiores e mais poderosos para obter resultados mais rápidos; às vezes, só precisamos parar de fazer o mesmo trabalho duas vezes. Ao lembrar o que já sabemos e usar ferramentas mais inteligentes para o restante, podemos fazer esses modelos de IA poderosos rodarem em velocidade relâmpago sem perder a inteligência. É um lembrete de que, na corrida pela inteligência artificial, ser eficiente é tão importante quanto ser poderoso.

Resumo Técnico: LaCache

Declaração do Problema

Os Modelos de Linguagem de Grande Escala baseados em Difusão (DLLMs) oferecem uma alternativa promissora aos modelos autorregressivos ao permitir a geração paralela através da decodificação Semi-Autorregressiva (SAR). Neste paradigma, a geração de texto é formulada como um processo de denoising iterativo onde os tokens dentro de um bloco são atualizados simultaneamente, enquanto a atenção bidirecional aproveita o contexto completo. No entanto, os atuais DLLMs de código aberto sofrem de uma severa redundância ao nível de operador.

Durante os múltiplos passos de denoising necessários para gerar um único bloco SAR, os IDs dos tokens para o prompt (prefixo) e o sufixo mascarado permanecem invariantes. Apesar disso, a inferência padrão executa um forward pass completo em cada passo, recomputando redundantemente os estados intermediários para esses tokens inalterados. Esta redundância manifesta-se em:

Operadores por token: Lookups de embedding, normalização, projeções QKV e Rotary Position Embeddings (RoPE).
Mecanismos de atenção: Especificamente, o cálculo em blocos (tiled calculation) dentro da primeira camada do FlashAttention, onde os mesmos blocos de Key-Value (KV) são processados repetidamente para queries inalteradas.

Técnicas de aceleração existentes, como o cache de KV aproximado ou o pruning de contexto (ex: DPad), reduzem primariamente o número de passos de denoising ou o comprimento efetivo do contexto, mas não eliminam diretamente a computação redundante de tokens invariantes dentro de um bloco SAR.

Metodologia

Os autores propõem o LaCache, um framework de aceleração livre de treinamento projetado para eliminar esta redundância através de Memoização de Estado Sem Perdas (LSM) e inferência de precisão mista.

1. Memoização de Estado Sem Perdas (LSM)

O LaCache armazena três tipos específicos de resultados intermediários para tokens que permanecem inalterados ( $U$ ) dentro de um bloco SAR, permitindo que o modelo pule computações redundantes nos passos subsequentes, garantindo simultaneamente saídas matematicamente equivalentes:

EmbedCache: Armazena as saídas de embedding para os tokens na região invariante $U$ .
RoPECache: Armazena os estados pré-atenção por token da primeira camada para tokens em $U$ . Isso inclui os estados ocultos normalizados após as projeções QKV e a aplicação de RoPE.
FACache (FlashAttention Cache): Armazena as estatísticas de softmax online para o FlashAttention da primeira camada. Especificamente, armazena o máximo contínuo ( $m$ $m$ ), o normalizador ( $\ell$ $ℓ$ ) e o acumulador de saída não normalizado ( $\tilde{O}$ $\tilde{O}$ ) para blocos de query que não se sobrepõem ao bloco de geração atual.
- Mecanismo: Em passos subsequentes, se um bloco de query e um bloco de KV pertencem ambos à região invariante, o cálculo é totalmente ignorado e o estado em cache é reutilizado. Se apenas o bloco de KV for invariante, o estado em cache inicializa os registradores, pulando a acumulação redundante.

2. Estratégia de Precisão Mista

Para abordar os gargalos de largura de banda de memória e acelerar ainda mais as camadas intensivas de computação, o LaCache emprega uma estratégia de quantização por grupo FP8 para as camadas de Rede de Feed-Forward (FFN) (camadas lineares Gate-Up e FF-Out).

Granularidade: A estratégia utiliza uma abordagem fina por grupo (1x128 para ativações, 128x128 para pesos) para se adaptar às diversas distribuições de ativação observadas através de diferentes passos de denoising e camadas.
Seleção de Camada: A quantização é aplicada a todas as camadas, exceto a primeira. A primeira camada é mantida em FP16 porque a aplicação de quantização ali causa uma degradação significativa de precisão devido à sensibilidade dos embeddings iniciais.
Otimização: As operações de quantização e desquantização são fundidas com os operadores circundantes (AddNorm e Swiglu) para minimizar o overhead de acesso à memória e aproveitar os Tensor Cores de FP8.

3. Fluxo de Trabalho de Inferência

O framework opera particionando a sequência em blocos. Para o primeiro passo de denoising de um bloco, o modelo computa os forward passes completos e atualiza os caches. Para os passos subsequentes dentro do mesmo bloco, o modelo:

Recupera os embeddings em cache e os estados de RoPE para tokens invariantes.
Inicializa o FlashAttention com as estatísticas de softmax em cache para regiões invariantes.
Computa apenas as operações necessárias para os tokens que estão mudando no bloco atual.
Aplica a quantização FP8 às camadas FFN para o restante da computação.

Principais Contribuições

Identificação de Redundância: O artigo identifica e quantifica a redundância de operador na inferência SAR, destacando especificamente a repetição de operadores por token e o tiling do FlashAttention em tokens invariantes.
Mecanismo de Cache Sem Perdas: A introdução de três componentes de cache especializados (EmbedCache, RoPECache e FACache) que permitem pular computações redundantes sem alterar a distribuição de saída do modelo.
Precisão Mista Adaptativa: Uma estratégia de quantização FP8 por grupo adaptada para a dinâmica de ativação específica de DLLMs, que acelera as camadas lineares enquanto mantém a precisão.
Componibilidade: O framework é projetado para ser livre de treinamento e composível com métodos de aceleração existentes (ex: decodificação baseada em confiança, suffix dropout).

Resultados Experimentais

Os experimentos foram conduzidos em GPUs NVIDIA H200 utilizando modelos LLaDA (base, instruct e 1.5) em benchmarks de raciocínio (GSM8K, MATH) e geração de código (HumanEval, MBPP).

Aceleração (Speedup):
- Standalone: O LaCache sozinho alcança aproximadamente 1.3× de aceleração end-to-end sobre a inferência vanilla de DLLM.
- Combinado: Quando combinado com métodos de aceleração existentes (Fast-dLLM e DPad), o LaCache alcança até 40.2× de aceleração end-to-end em tarefas de contexto longo.
- Comparação com Baseline: Em sequências padrão, entrega acelerações de 3–12×.
Precisão: O método mantém uma precisão de tarefa comparável ao backbone vanilla. Em alguns casos (ex: HumanEval), a precisão melhorou ligeiramente, atribuído ao fato de o modelo gerar formatos de saída mais completos devido à tendência da estratégia de baixa precisão em atrasar levemente os tokens de fim de sequência.
Ablação: Remover a quantização FP8 (usando apenas o cache) ainda resulta em um speedup de ~3%, confirmando a eficácia do mecanismo de cache isoladamente.

Significância e Alegações

O artigo afirma que o LaCache fornece uma solução geral, livre de treinamento e complementar para o deployment eficiente de DLLMs. Sua principal significância reside no endereçamento de uma fonte de ineficiência específica e anteriormente negligenciada: a computação redundante de tokens invariantes dentro do loop de decodificação SAR.

Ao memoizar estritamente os estados intermediários, o LaCache alcança uma aceleração sem perdas, garantindo que o ganho de velocidade não ocorra às custas da qualidade da geração. Os autores enfatizam que esta abordagem é distinta de métodos que aproximam o modelo ou reduzem o comprimento do contexto; em vez disso, ela otimiza a execução das mesmas operações matemáticas exatas ao evitar sua repetição. O framework é apresentado como um habilitador prático para o deployment de DLLMs em cenários sensíveis à latência sem exigir retreinamento do modelo ou mudanças arquiteturais.

Limitações

Os autores reconhecem duas limitações principais:

Restrição de Camada: O cache sem perdas é teoricamente restrito à primeira camada. Implementar um cache semelhante em camadas mais profundas é difícil devido à propagação bidirecional dos estados ocultos, o que exigiria métodos aproximados que poderiam degradar a qualidade.
Dependência de Hardware: A estratégia de precisão mista depende de aceleradores modernos com suporte nativo a FP8 (ex: NVIDIA H200). O deployment em hardware mais antigo que carece de motores de matriz de baixa precisão otimizados é restrito.