Resumo Técnico: VeriCache

Declaração do Problema

A rápida expansão dos comprimentos de contexto dos Modelos de Linguagem de Grande Escala (LLM) (excedendo um milhão de tokens) criou um gargalo severo no atendimento de inferência devido ao tamanho do cache Chave-Valor (KV). Esse gargalo manifesta-se de duas formas:

1. Sobrecarga dentro da solicitação: As etapas de decodificação exigem a leitura de todo o cache KV da Memória de Largura de Banda Elevada (HBM) da GPU, criando um gargalo de largura de banda de memória que escala linearmente com o comprimento do contexto. Caches grandes também reduzem o tamanho de lote que cabe na memória da GPU.
2. Sobrecarga entre solicitações: Reutilizar caches KV pré-computados para prefixos compartilhados (por exemplo, prompts de sistema) requer transferir grandes volumes de dados do armazenamento ou através de redes, dominando frequentemente a latência da solicitação.

Para abordar isso, diversos métodos de compressão de cache KV (descarte de tokens e quantização) foram propostos. No entanto, esses métodos são inerentemente com perdas. Embora possam preservar métricas em nível de token (por exemplo, perplexidade, pontuação F1) para saídas curtas, eles introduzem um viés sistemático na distribuição do próximo token. À medida que a geração prossegue, esse viés se acumula, fazendo com que a saída se desvie significativamente da linha de base de KV completo. Isso leva a "falhas catastróficas" em aplicações que exigem correção funcional estrita, como geração de código (erros de sintaxe) e chamada de ferramentas (argumentos incorretos), tornando a compressão tradicional inadequada para essas tarefas críticas.

Metodologia: VeriCache

O VeriCache é um framework de inferência projetado para alcançar os benefícios de throughput da compressão de cache KV enquanto garante saídas sem perdas idênticas à decodificação com KV completo. Ele reaproveita métodos de compressão com perdas como uma camada de execução especulativa, em vez de um mecanismo de atendimento direto.

Algoritmo Central

O VeriCache opera em um loop de rascunho e verificação:

1. Rascunho: O modelo gera uma sequência de tokens candidatos ($x$) usando o cache KV comprimido ($KV_{comp}$). Esta etapa é rápida e eficiente em termos de memória.
2. Verificação: O sistema realiza uma única passagem forward usando o cache KV completo ($KV_{full}$) para verificar os tokens rascunhados em paralelo.
3. Aceitação: Os tokens são aceitos até a primeira incompatibilidade. Se todos os tokens rascunhados corresponderem à previsão com KV completo, um token adicional de "bônus" é aceito. O processo repete-se a partir do último token aceito.

Inovações Principais do Sistema

Para evitar que a sobrecarga de verificação anule os ganhos de throughput da compressão, o VeriCache introduz dois designs críticos em nível de sistema:

1. Intercalação de Recursos Cruzados (P1)
A decodificação especulativa tradicional frequentemente opera em sincronia estrita (todo o rascunho, depois toda a verificação), causando contenção de recursos. O VeriCache explora o fato de que o rascunho e a verificação têm gargalos de recursos complementares:

• Rascunho é limitado pela largura de banda da HBM da GPU (leitura de KV comprimido e pesos).
• Verificação é limitada pela largura de banda da interconexão (carregamento de KV completo da CPU/Armazenamento) e limitada por computação.
• Mecanismo: O agendador de tempo de execução intercala solicitações de modo que, enquanto algumas solicitações estão em rascunho (usando HBM), outras estão em verificação (carregando KV completo via PCIe/Rede). Isso permite que o sistema sobreponha a transferência de dados com a computação, mantendo tanto a interconexão quanto a HBM da GPU utilizadas sem interrupções.

2. Período de Verificação Estendido via Altas Taxas de Aceitação (P2)
Diferentemente da decodificação especulativa tradicional, que usa um modelo menor e diferente como rascunhador (levando a uma rápida divergência de distribuição e comprimentos de aceitação curtos), o VeriCache usa o mesmo modelo alvo com KV comprimido.

• Como os pesos do modelo e os padrões de atenção dominantes são preservados, o rascunhador com KV comprimido mantém uma alta taxa de aceitação mesmo para longos comprimentos de rascunho (por exemplo, 25–40 tokens por rodada versus 2–3 para rascunhadores de modelos pequenos).
• Essa alta taxa de aceitação amortiza o custo da verificação cara com KV completo, permitindo que o sistema verifique com menos frequência enquanto mantém a correção.

Suporte de Arquitetura

O VeriCache suporta dois cenários principais de implantação:

• Decodificação de Longo Contexto: O KV comprimido reside na HBM da GPU, enquanto o KV completo é armazenado na memória da CPU. A verificação envolve o carregamento do KV completo da CPU para a GPU através do link PCIe.
• Cache de Prefixo Remoto: O KV comprimido é transmitido por um link de rede lento para uma GPU remota para rascunho. O KV completo é carregado por um link local rápido para uma GPU local para verificação. Isso desacopla a transferência lenta de armazenamento da computação da GPU remota.

O framework expõe uma interface de compressor uniforme, permitindo que ele se integre a vários métodos existentes de descarte de tokens e quantização (por exemplo, KVzip, KIVI, SnapKV) sem modificar a lógica de agendamento ou verificação.

Contribuições Principais

1. Inferência sem Perdas com Compressão: O VeriCache é o primeiro framework a habilitar inferência de LLM sem perdas usando técnicas de compressão de KV inerentemente com perdas, garantindo identidade de saída com a decodificação com KV completo.
2. Design de Sistema para Sobrecarga de Verificação: Introduz intercalação de recursos cruzados e períodos de verificação estendidos para ocultar a latência de carregamento de caches KV completos, resolvendo a degradação de throughput tipicamente associada à verificação especulativa.
3. Interface Unificada: Fornece uma interface genérica que suporta uma ampla família de métodos de compressão (tanto descarte de tokens quanto quantização), ao contrário de sistemas anteriores que codificam compressores específicos.
4. Suporte a Cenários Duplos: Aborda tanto a decodificação de longo contexto (gargalo de HBM) quanto o cache de prefixo remoto (gargalo de rede/armazenamento).

Resultados Experimentais

Avaliado em modelos incluindo Mistral-24B, Qwen-32B e Llama-70B em várias cargas de trabalho (geração de código, chamada de ferramentas, raciocínio matemático):

• Throughput: O VeriCache alcança até 4× maior throughput do que a inferência com KV completo na decodificação de longo contexto e até 2× no cache de prefixo remoto.
• Correção: Produz saídas idênticas à inferência com KV completo (sob decodificação gulosa), enquanto as linhas de base com perdas sofrem quedas significativas na precisão funcional (por exemplo, a validade da sintaxe do código cai para quase zero com compressão 4× nas linhas de base).
• Compromisso Qualidade-Throughput: Enquanto as linhas de base com perdas forçam um compromisso onde maior compressão leva a menor qualidade, o VeriCache mantém a qualidade total enquanto opera nos níveis de throughput da inferência comprimida.
• Composição: O VeriCache pode ser composto com decodificação especulativa tradicional (por exemplo, EAGLE), alcançando até 4,35× de aceleração ideal atacando gargalos ortogonais (tamanho de lote via compressão, velocidade de token via rascunho de modelo pequeno).

Significado

O artigo argumenta que a dicotomia atual — escolher entre compressão com perdas de alto throughput (arriscando falha funcional) ou inferência com KV completo de baixo throughput — é desnecessária. O VeriCache demonstra que a compressão não deve substituir o cálculo exato, mas sim acelerá-lo. Ao aproveitar as altas taxas de aceitação do rascunho comprimido do mesmo modelo e a intercalação sofisticada de recursos, o VeriCache permite a implantação de LLMs de longo contexto em aplicações críticas (codificação, fluxos de trabalho de agentes) sem sacrificar a correção funcional exigida para essas tarefas.