Adaptive Multi-Objective Tiered Storage Configuration for KV Cache in LLM Service

O artigo apresenta o Kareto, um otimizador que utiliza poda guiada por retornos decrescentes e ajuste adaptativo para gerenciar dinamicamente a configuração de armazenamento em camadas do cache KV em serviços de LLM, permitindo identificar configurações na fronteira de Pareto que melhoram significativamente o throughput, reduzem a latência ou diminuem os custos em comparação com estratégias estáticas.

O essencial

Imagine que você está operando uma pizzaria de alta tecnologia onde os clientes (as pessoas usando o chatbot) pedem pizzas (perguntas) e a cozinha (o computador) precisa prepará-las instantaneamente.

Para fazer isso rápido, a cozinha tem uma estante de prateleiras super-rápidas (a memória do computador, chamada GPU) onde guarda os ingredientes que usa o tempo todo. Mas, aqui está o problema: essa estante é muito pequena e muito cara. Se você tiver muitos clientes pedindo pizzas ao mesmo tempo, a estante enche e você precisa jogar ingredientes fora para fazer espaço para os novos pedidos. Isso faz a cozinha ter que ir até o armazém principal (que é mais lento e fica longe) buscar os ingredientes de novo, atrasando tudo.

A solução comum é colocar um armário intermediário (memória RAM) e um depósito no porão (disco rígido) perto da cozinha. O desafio é: quanto espaço você deve alugar em cada um desses lugares?

Se você alugar um armário gigante, gasta muito dinheiro e pode não usar tudo. Se alugar um depósito minúsculo, a cozinha fica parada esperando ingredientes, e você perde clientes. Fazer essa conta manualmente é um pesadelo porque o número de pedidos muda a cada hora, a cada dia da semana.

O que é o "Kareto"?

O Kareto é como um gerente de pizzaria superinteligente e futurista que resolve esse problema para você. Ele não tenta adivinhar; ele usa uma simulação de realidade virtual para testar milhares de cenários antes de você abrir a loja no dia seguinte.

Aqui está como ele funciona, passo a passo:

1. O Simulador de "Mundo Paralelo"

Em vez de gastar dinheiro real alugando armários gigantes e depois descobrir que foi um erro, o Kareto cria um mundo virtual. Ele pega os pedidos que a pizzaria fez na semana passada e "roda" o dia seguinte mil vezes no computador, testando diferentes tamanhos de estantes, armários e depósitos.

• A analogia: É como um piloto de avião que usa um simulador de voo para treinar para tempestades sem nunca sair do chão. O Kareto treina a configuração da sua memória sem gastar um centavo extra.

2. O Equilíbrio Perfeito (A Fronteira de Pareto)

O Kareto não busca apenas "o melhor" em uma coisa; ele busca o equilíbrio perfeito entre três coisas que brigam entre si:

• Velocidade: Quão rápido a pizza sai? (Latência)
• Quantidade: Quantas pizzas você consegue fazer por hora? (Vazão/Throughput)
• Preço: Quanto você gasta alugando os armários? (Custo)

Imagine que você tem um gráfico onde o eixo X é o dinheiro e o eixo Y é a velocidade. O Kareto desenha uma linha mágica (a "Fronteira de Pareto") que mostra: "Se você quiser gastar 10% a mais, você ganha 20% de velocidade. Mas se quiser gastar mais 10% além disso, você só ganha 1% de velocidade." Ele encontra o ponto exato onde vale a pena gastar e onde é desperdício.

3. O "Poda Inteligente" (Não perca tempo no óbvio)

Testar todas as combinações possíveis levaria anos. O Kareto usa uma técnica chamada "Poda de Retornos Decrescentes".

• A analogia: Imagine que você está regando uma planta. As primeiras garrafas de água fazem a planta crescer muito. Mas depois de um certo ponto, jogar mais água só faz a planta afogar e você gasta água à toa. O Kareto sabe exatamente quando parar de "jogar água" (aumentar a memória) porque percebeu que o crescimento parou de valer a pena. Ele pula as configurações inúteis e foca apenas nas áreas onde a mágica acontece.

4. O "Etiquetador Personalizado" (TTL por Grupo)

Aqui está a parte mais genial. Normalmente, os sistemas tratam todos os ingredientes da mesma forma: "Se não foi usado há 1 hora, jogue fora". Mas o Kareto percebe que nem todos os ingredientes são iguais.

• A analogia: Na sua pizzaria, a mussarela é usada em 90% das pizzas (é um ingrediente "quente"). O alho é usado apenas em 1 pizza por dia (é um ingrediente "frio").
  • Um sistema burro joga o algo fora rápido e a mussarela também, ou mantém tudo por muito tempo.
  • O Kareto cria grupos. Ele diz: "A mussarela fica na prateleira rápida para sempre. O alho vai para o armário intermediário. O tempero exótico vai direto para o porão e só é trazido se alguém pedir especificamente."
  • Ele analisa o histórico de pedidos e descobre que certos "pedidos de pizza" (como frases de sistema ou prompts comuns) sempre voltam, então ele mantém esses ingredientes vivos por mais tempo, enquanto joga fora o que ninguém mais quer.

O Resultado na Vida Real

Quando os autores testaram o Kareto em dados reais de servidores de inteligência artificial:

• Eles conseguiram fazer mais pizzas (aumentar a velocidade de resposta) em até 9,3%.
• Conseguiram atender os clientes muito mais rápido (reduzir o atraso) em até 58,3%.
• Ou, se preferissem, economizaram até 20,2% no aluguel dos armários, mantendo a mesma qualidade.

Resumo Final

O Kareto é um sistema que para de adivinhar quanto de memória você precisa para rodar Inteligência Artificial. Em vez de usar uma configuração fixa e cara (como "compre sempre 1 TB de memória"), ele observa o comportamento dos clientes, simula o futuro e ajusta automaticamente onde guardar os dados: o que é usado muito fica na memória rápida e cara; o que é usado pouco vai para o disco lento e barato.

É como ter um gerente de estoque que nunca dorme, nunca erra e sabe exatamente quanto de cada ingrediente você precisa para não desperdiçar dinheiro nem deixar o cliente esperando.

Resumo técnico

Título: Kareto: Otimização Adaptativa de Armazenamento em Níveis para KV Cache em Serviços LLM

1. O Problema

A inferência de Grandes Modelos de Linguagem (LLMs) depende criticamente do KV Cache (Cache de Chave e Valor) para acelerar a geração de tokens, evitando recálculos redundantes. No entanto, o tamanho do KV Cache cresce linearmente com a concorrência e o comprimento da sequência, frequentemente excedendo a capacidade da memória de alta largura de banda (HBM) das GPUs.

Para resolver isso, sistemas modernos utilizam armazenamento em níveis (tiered storage), descarregando dados para DRAM do host ou disco (SSD). Embora isso expanda a capacidade, surgem desafios críticos:

• Gestão Dinâmica Complexa: Equilibrar custo, vazão (throughput) e latência sob cargas de trabalho variáveis é difícil.
• Provisionamento Estático Ineficiente: Abordagens atuais (como vLLM, SGLang) geralmente usam alocações fixas (ex: 1TB de DRAM por 8 GPUs). Isso leva a over-provisioning (custo excessivo) ou under-provisioning (degradação de desempenho), sem adaptação às características dinâmicas da carga de trabalho.
• Trade-offs Não Lineares: A relação entre capacidade de armazenamento e desempenho não é analítica; exibe acoplamento complexo de variáveis e descontinuidades (ex: preços em "cliff" na nuvem, saturação de hit rate), tornando impossível encontrar soluções ótimas via fórmulas fechadas.

2. Metodologia: O Framework Kareto

Os autores propõem o Kareto, um otimizador de gerenciamento de recursos adaptativo para KV Cache. O sistema muda o paradigma de provisionamento estático para uma orquestração elástica e consciente da carga de trabalho.

O framework baseia-se em três pilares principais:

A. Formulação do Problema como Otimização Multi-Objetivo
O problema é definido como a busca pela Frente de Pareto entre três objetivos conflitantes:

1. Latência (ex: TTFT - Time to First Token).
2. Vazão (Tokens por segundo).
3. Custo Operacional (OPEX) (Custo de GPU + Custo de Armazenamento/Rede).
   Devido à não convexidade e acoplamento não linear das variáveis (padrão de carga, configuração de hardware, políticas de gerenciamento), a solução analítica é inviável.

B. Simulador de Alta Fidelidade
Para contornar a falta de modelos analíticos, os autores desenvolveram um simulador de ponta a ponta que:

• Replaca traços históricos de produção (padrões de chegada de requisições, comprimentos de tokens, hashes de blocos KV).
• Modela a hierarquia de armazenamento (HBM, DRAM, Disco) e as políticas de evicção (LRU, TTL).
• Captura interações não lineares, como o impacto de taxas de acerto (hit rate) na utilização da GPU e em tempos de espera (stall) de I/O.
• Incorpora estruturas de preços reais da nuvem (ex: custos escalonados de IOPS em volumes AWS EBS).

C. Estratégias de Otimização Adaptativa
Para navegar no espaço de configuração vasto sem custo computacional proibitivo, o Kareto utiliza duas técnicas inovadoras:

1. Busca Pareto Adaptativa (Adaptive Pareto Search):

   • Em vez de uma busca em grade exaustiva (que seria muito lenta), o sistema utiliza um método de poda guiado por retornos decrescentes.
   • Realiza uma exploração inicial em grade grossa e identifica regiões onde o ganho de desempenho marginal cai abaixo de um limiar (região de "longa cauda").
   • Refina apenas as regiões de alta curvatura (onde os trade-offs são críticos), reduzindo drasticamente o número de simulações necessárias.

2. Afinamento Adaptativo de TTL por Grupo (ROI-Aware Group TTL):

   • Abandona a política de "tamanho único" (TTL fixo para todos os blocos).
   • Utiliza uma análise de árvore de prefixos para agrupar blocos KV com padrões de reutilização semelhantes.
   • Atribui configurações de Time-to-Live (TTL) específicas para cada grupo, maximizando a taxa de reutilização (hit rate) dentro de um orçamento de custo.
   • Resolve um problema de otimização não convexa usando Programação de Mínimos Quadrados Sequenciais (SLSQP) para ajustar os TTLs baseados em estatísticas históricas.

3. Principais Contribuições

• Formalização do Problema: Demonstra que a otimização de KV Cache é um problema de Pareto não convexo e sem solução analítica fechada, exigindo abordagem baseada em simulação.
• Simulador de Alta Fidelidade: Criação de uma ferramenta capaz de modelar com precisão o comportamento do motor de inferência e as estruturas de custos da nuvem.
• Algoritmo de Busca Eficiente: Introdução de uma estratégia de busca que detecta retornos decrescentes para reduzir o espaço de busca mantendo a qualidade da Frente de Pareto.
• Gestão de Cache Granular: Proposta de uma política de TTL baseada em grupos (subárvores de prefixos) que supera estratégias estáticas, adaptando-se aos padrões de reutilização específicos de cada grupo de requisições.

4. Resultados Experimentais

O Kareto foi avaliado usando traços reais de produção (chatbots interativos, chamadas de API e aplicações de agentes) e escalas de cluster (1 instância e 4 instâncias), comparado a uma configuração base fixa de 1024 GB de DRAM.

• Desempenho vs. Custo:
  • Vazão (Throughput): Melhoria de até 9,3% em cenários limitados por computação (1 instância).
  • Latência: Redução de até 58,3% no TTFT (Time to First Token) ao encontrar configurações de armazenamento otimizadas.
  • Custo: Redução de até 20,2% nos custos operacionais ao evitar o over-provisioning de DRAM e disco.
• Eficácia da Busca Adaptativa: O método adaptativo encontrou fronteiras de Pareto de qualidade comparável à busca em grade completa, mas com um número significativamente menor de pontos de avaliação (simulações), economizando tempo computacional.
• Impacto do TTL por Grupo: Em cargas de trabalho com padrões de reutilização regulares (como APIs e agentes), o TTL por grupo aumentou a taxa de reutilização e melhorou o desempenho/custo em comparação ao TTL fixo. Em cargas altamente estocásticas (chatbots), o ganho foi marginal.
• Precisão do Simulador: O simulador mostrou alta fidelidade em comparação com hardware real, com desvios máximos de 19,2% no TTFT e 6,5% na vazão total, validando sua utilidade para exploração arquitetural.

5. Significância e Conclusão

O trabalho Kareto representa um avanço significativo na operação de serviços de LLM em escala de produção. Ele demonstra que a gestão de memória para inferência não deve ser estática, mas sim dinâmica e orientada por dados.

Ao automatizar a descoberta de configurações ótimas de armazenamento em níveis (GPU, DRAM, Disco) e políticas de retenção (TTL), o Kareto permite que provedores de nuvem e operadores de LLM:

1. Reduzam custos operacionais sem sacrificar a qualidade do serviço (SLA).
2. Adaptem-se automaticamente a flutuações na demanda e padrões de uso.
3. Superem as limitações das ferramentas atuais que exigem expertise manual profunda para configurar o provisionamento de recursos.

Em suma, o Kareto oferece um caminho viável para a gestão autônoma e consciente de custo-desempenho do KV Cache, essencial para a viabilidade econômica de serviços de LLM de alta escala.