🤖 machine learning

InferScale: GPU-Native KV Injection for Personalized LLM Serving

O InferScale é um sistema de memória nativo de GPU que acelera o serviço de LLMs personalizados ao pré-computar e injetar estados KV reutilizáveis diretamente no cache do vLLM, desacoplando assim a latência do primeiro token (time-to-first-token) do tamanho do contexto recuperado, enquanto mantém uma alta precisão.

Autores originais: Peter Li, Prashant Pandey

Publicado 2026-07-30

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Peter Li, Prashant Pandey

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar toda a história da sua vida para um robô superinteligente para que ele possa responder perguntas sobre você. Toda vez que você faz uma pergunta ao robô, você tem que colar toda a sua biografia no cérebro dele antes que ele possa pensar. Se a sua biografia for curta, o robô pensa rápido. Mas se a sua biografia for longa — repleta de anos de memórias, piadas internas e aventuras passadas — o robô tem que reler e reprocessar cada palavra dessa biografia apenas para responder a um simples "Qual é a minha cor favorita?". Esse processo de releitura é lento e caro, como um bibliotecário que tem que recolocar todas as estantes de livros na biblioteca antes de te entregar apenas um. Este é o estado atual da IA "personalizada": quanto mais memórias você dá a ela, mais lenta ela fica para falar com você.

O artigo que você está prestes a ler aborda este problema usando um truque inteligente do mundo da ciência da computação chamado "Cache de Chave-Valor" (Key-Value caching). Pense no cérebro do robô como um quadro branco gigante onde ele escreve as partes mais importantes do que leu até agora, para não ter que reler o texto original. Normalmente, se você mudar a ordem dos livros na estante, o robô tem que reescrever todo o quadro branco. Mas e se o robô pudesse apenas pegar as notas pré-escritas de uma gaveta e colá-las no quadro branco instantaneamente, não importa para onde você as queira levar? Essa é a ideia central desta pesquisa: em vez de forçar o robô a reler suas memórias toda vez, nós pré-calculamos as "notas" para cada memória e as armazenamos no drive interno super-rápido do robô. Então, quando você faz uma pergunta, nós apenas jogamos essas notas diretamente no cérebro do robô.

O Problema: A Armadilha da "Releitura"
Hoje, quando você usa um assistente de IA com um longo histórico de conversas, o sistema tem que encontrar as memórias mais relevantes e colá-las na sua nova pergunta. Isso é chamado de "injeção de prompt" (prompt injection). Imagine que você está pedindo um conselho a um amigo, mas toda vez que você fala, você tem que ler em voz alta as últimas 50 páginas do seu diário antes de poder dizer sua pergunta real. Quanto mais páginas você lê, mais tempo leva para chegar ao conselho. Mesmo que você faça exatamente a mesma pergunta dez vezes, o amigo tem que ler essas 50 páginas dez vezes. Isso faz com que a IA pareça lenta, especialmente conforme sua memória pessoal cresce.

A Solução: InferScale
Os pesquisadores, Peter Li e Prashant Pandey, construíram um novo sistema chamado InferScale. Em vez de fazer a IA reler as memórias, o InferScale faz o trabalho pesado uma única vez antes mesmo de você começar a falar. Ele pega cada fato de memória (como "Eu amo pizza" ou "Meu cachorro se chama Rex") e calcula suas "notas cerebrais" (chamadas de estados KV) antecipadamente. Essas notas são armazenadas diretamente na placa de vídeo (GPU), que é o cérebro super-rápido do computador.

Quando você faz uma pergunta, o sistema não envia o texto das suas memórias para a IA. Em vez disso, ele encontra as "notas cerebrais" corretas da GPU e as injeta diretamente na memória de trabalho da IA. É como ter uma biblioteca onde, em vez de te entregar os livros, o bibliotecário cola instantaneamente os parágrafos exatos que você precisa na sua mesa. A IA nunca precisa reler o texto de origem; ela apenas usa as notas.

Os Truques Mágicos
Para fazer isso funcionar, a equipe teve que resolver dois enigmas complicados:

O Problema do "Alvo Móvel" (Chunked RoPE):
Normalmente, essas "notas cerebrais" estão ligadas a um lugar específico no texto. Se você mover uma memória do início de uma história para o meio, as notas se tornam erradas. Os pesquisadores inventaram uma técnica chamada Chunked RoPE. Imagine que as notas são escritas em um tipo especial de papel que pode ser rotacionado. Não importa onde você coloque o papel na mesa, você pode girá-lo para corresponder perfeitamente à nova posição. Isso permite que o sistema pegue uma memória armazenada em um lugar e a deposite em qualquer lugar da sua conversa sem quebrar a matemática.
O Problema do "Contexto" (Context-Window Encoding):
Se você pegar apenas uma frase isolada como "Ele foi à loja", a IA pode não saber quem é "Ele". Se você armazenar a memória isoladamente, você perde o contexto. Para corrigir isso, o sistema armazena a memória junto com uma pequena janela das frases que vieram antes dela (como "João foi à loja"). No entanto, ele salva apenas as "notas cerebrais" para a parte específica da memória, não a janela inteira. Dessa forma, a IA entende o contexto ("Ele" é João) sem ter que reler todo o parágrafo toda vez.

O Que Eles Descobriram
Os resultados são impressionantes. Os pesquisadores testaram isso em três modelos diferentes de IA (Llama-3.1-8B, Mistral-7B e Qwen2.5-7B) usando um conjunto de dados de conversas longas.

Velocidade: No método antigo (Mem0), conforme aumentavam o número de memórias recuperadas de 5 para 50, o tempo para a IA começar a falar (Time-to-First-Token) saltou 106% (de 33,2 ms para 68,3 ms). Com o InferScale, esse mesmo aumento causou apenas um desaceleramento de 4% (de 16,6 ms para 17,3 ms).
Throughput (Vazão): Quando 100 pessoas usaram o sistema ao mesmo tempo, o InferScale lidou com 3,7 a 4,5 vezes mais perguntas por segundo do que o sistema antigo.
Precisão: Como o sistema às vezes armazena memórias separadamente, havia o risco de a IA ficar confusa. No entanto, ao usar o truque da "Janela de Contexto", eles recuperaram quase toda a precisão. Na carga de memória mais alta, o InferScale acertou 60,3% das respostas, o que é muito próximo dos 63,3% do sistema antigo, mas muito mais rápido.

Por Que Isso Importa
Este artigo prova que você não precisa escolher entre uma IA inteligente e rica em memória e uma IA rápida. Ao mover o armazenamento de memória para a GPU e injetar as "notas cerebrais" diretamente, eles desacoplaram a velocidade da IA do tamanho da sua memória. O sistema não requer nenhum retreinamento dos modelos de IA e nenhuma mudança no mecanismo subjacente, tornando-o uma atualização prática para o futuro dos assistentes de IA personalizados. Mesmo que os dados de memória sejam grandes demais para caber na GPU rápida, eles mostraram que transferir esse processamento para a memória regular do computador ainda mantém o sistema significativamente mais rápido do que os métodos atuais.

Resumo Técnico: InferScale

Definição do Problema

Aplicações de grandes modelos de linguagem (LLMs) dependem cada vez mais de contexto persistente e personalizado (ex: memórias acumuladas de usuários ou históricos de conversas longos) compartilhado entre múltiplas requisições. Os sistemas de memória atuais (ex: Mem0, MemGPT, Zep) abordam o custo quadrático de prefill de contextos longos recuperando um subconjunto relevante de fatos de memória ( $k$ ) e injetando-os como texto no prompt.

No entanto, essa abordagem de "injeção de prompt" acarreta um custo de serviço significativo: cada fato recuperado deve ser re-prefillado em cada requisição. Consequentemente, o Tempo para o Primeiro Token (TTFT) cresce de forma linear ou quadrática com o orçamento de recuperação ( $k$ ), mesmo quando a memória subjacente é idêntica entre as requisições. As técnicas existentes de reuso de KV, como o cache de prefixo, falham aqui porque assumem que os tokens reutilizados ocupam posições fixas, enquanto os sistemas de memória montam dinamicamente diferentes subconjuntos de fatos para cada requisição, violando essa premissa.

Metodologia

O InferScale propõe uma arquitetura de recuperação e injeção nativa de GPU que substitui o prefill repetido de prompts pela injeção direta de KV. Em vez de enviar o texto recuperado para a GPU para recomputação, o InferScale pré-computa as representações de Key-Value (KV) dos fatos de memória e as injeta diretamente no cache de atenção.

O sistema é implementado como um plugin para o motor de serviço vLLM através de sua interface de conector de KV, não exigindo ajuste fino (fine-tuning) do modelo ou modificações no motor. A arquitetura consiste em duas fases:

1. Fase Offline: Codificação de Janela de Contexto

Para abordar a perda de contexto entre fatos ao codificar fatos de forma independente, o InferScale emprega a Codificação de Janela de Contexto.

Processo: Cada fato de memória é codificado juntamente com uma janela configurável ( $w$ ) de turnos de conversa precedentes.
Otimização: Apenas os tensores KV correspondentes ao fato alvo são retidos; os tokens de contexto são descartados.
Resultado: A representação KV armazenada captura o contexto de desambiguação necessário (ex: resolução de pronomes) sem exigir que os tokens de contexto sejam re-prefillados no momento do serviço.

2. Fase Online: RoPE em Blocos e Injeção de KV

Para permitir o reuso de estados KV em posições arbitrárias de prompt (já que os fatos recuperados são montados dinamicamente), o InferScale introduz o RoPE em Blocos (Chunked RoPE).

Armazenamento Pré-RoPE: Durante a codificação offline, as chaves são interceptadas antes da aplicação das Embeddings de Posição Rotativas (Roppary/RoPE). Essas chaves pré-rotacionadas e os valores brutos são armazenados na GPU.
Rotação Dinâmica: No momento do serviço, os fatos recuperados são compostos em um segmento contíguo. O sistema aplica a rotação RoPE apropriada às chaves pré-armazenadas com base em suas novas posições de tempo de serviço.
Garantia Teórica: O artigo prova (Teorema 6) que esta re-rotação é matematicamente exata sob RoPE, garantindo que os escores de atenção sejam idênticos aos produzidos se os fatos tivessem sido prefillados nessas posições.
Injeção: Os tensores KV compostos são copiados via scatter-copy diretamente para o cache de KV paginado do vLLM. O modelo então apenas realiza o prefill dos tokens de query, atendendo à memória injetada como se ela tivesse sido computada.

Principais Contribuições

Inferência de Recuperação-e-Injeção: Os autores demonstram que a memória recuperada não precisa ser re-prefillada. Eles provam (Teorema 3) que injetar estados KV pré-computados diretamente no cache de atenção é exatamente equivalente à injeção de prompt para decoders causais de transformers, desde que a memória seja injetada nas posições pretendidas.
RoPE em Blocos (Chunked RoPE): Um mecanismo inovador para reuso de KV independente de posição. Ao armazenar as chaves antes da codificação rotativa e re-rotacioná-las no momento da injeção, o sistema permite que fatos codificados uma única vez sejam injetados em posições arbitrárias sem aproximação (Teorema 6).
Codificação de Janela de Contexto: Uma técnica para recuperar a precisão perdida pela codificação independente de fatos. Ao codificar fatos com uma janela de contexto precedente durante a fase offline, o sistema preserva as interações entre fatos sem incorrer em custos de recomputação no tempo de serviço.
Design de Sistema Nativo de GPU: O InferScale integra a recuperação semântica residente na GPU (usando o índice Jasper) com o armazenamento de KV reutilizável. Isso mantém tanto o índice de recuperação quanto o armazenamento de KV na GPU, eliminando a transferência de texto recuperado via PCIe e o prefill repetido.

Resultados

Avaliado no benchmark LoCoMo em três modelos de pesos abertos (Llama-3.1-8B, Mistral-7B, Qwen2.5-7B) contra o estado da arte, o sistema Mem0:

Latência (TTFT): O InferScale desacopla a latência de serviço do orçamento de recuperação. À medida que $k$ aumenta de 5 para 50, o TTFT do InferScale permanece quase constante (aumentando apenas ~4% para Llama-3.1-8B), enquanto o TTFT do Mem0 aumenta em 106%. Em $k=50$ , o InferScale alcança uma aceleração de 3,6–4,8× no TTFT em comparação ao Mem0.
Throughput: Sob carga concorrente (até 100 usuários), o InferScale exibe escalonamento quase linear, alcançando um throughput 3,7–4,5× maior que o Mem0. O Mem0 satura precocemente devido ao gargalo computacional do prefill repetido.
Precisão: A codificação independente ( $w=0$ ) inicialmente degrada a precisão. No entanto, com a Codificação de Janela de Contexto ( $w \ge 20$ ), o InferScale recupera quase toda a precisão perdida, atingindo 60,3% no Llama-3.1-8B em comparação aos 63,3% do Mem0. A lacuna de precisão é primariamente restrita a tarefas de raciocínio multi-salto que exigem atenção complexa entre fatos.
Escalabilidade: O sistema escala para modelos maiores (Qwen3-14B) com benefícios de latência semelhantes. O armazenamento de KV pode ser movido para a DRAM do host para superar os limites de capacidade de memória da GPU, adicionando apenas ~3 ms ao TTFT, mantendo uma vantagem de latência end-to-end de 2,3× sobre o Mem0.

Significância e Alegações

O artigo afirma que o InferScale muda fundamentalmente o primitivo de serviço para LLMs personalizados. Ao mover-se da injeção de camada de tokens para a injeção de camada de atenção, ele elimina o custo quadrático de prefill associado ao contexto recuperado.

Os autores enfatizam que:

Exatidão: O mecanismo de injeção de KV (com Chunked RoPE) não é uma aproximação, mas uma equivalência exata à injeção de prompt para as posições da query.
Zero Overhead: O sistema não requer ajuste fino do modelo, não requer modificações no motor e não exige mudanças nos pipelines de recuperação existentes.
Desacoplamento: Ele desacopla com sucesso a latência de serviço condicionada pela memória do tamanho do contexto recuperado, permitindo o serviço personalizado de alta vazão e baixa latência, mesmo com grandes orçamentos de recuperação.

O trabalho distingue-se dos sistemas de memória de produção (que ainda pagam custos de prefill) e das técnicas existentes de reuso de KV (que dependem de layouts de prompt fixos). Ele posiciona a injeção de camada de atenção como um primitivo padrão para condicionar LLMs em contextos estáticos ou semi-estáticos.