Resumo Técnico: VASE (Evicção de Cache KV Estocástica Consciente do Valor) para Modelos de Raciocínio

1. Definição do Problema

Modelos de raciocínio (ex: Qwen3, OpenAI's o1) alcançam alta precisão ao gerar cadeias de pensamento estendidas antes de produzir uma resposta final. No entanto, essa capacidade cria um gargalo significativo de memória e computação durante a fase de decodificação. À medida que o comprimento da sequência cresce, o cache de Chave-Valor (KV) necessário para armazenar representações de cada token passado incorre em um overhead substancial.

As soluções existentes dividem-se em duas categorias:

• Métodos baseados em seleção: Estes mantêm o cache KV completo, mas ativam apenas um subconjunto esparso de tokens durante o cálculo da atenção. Embora precisos, seu footprint de memória escala linearmente com o comprimento da sequência ($O(T)$), falhando em resolver o gargalo de memória.
• Métodos baseados em evicção: Estes descartam permanentemente pares KV de baixa importância assim que um orçamento predefinido é atingido, oferecendo um footprint de memória estático e melhor throughput. Contudo, os métodos de evicção atuais sofrem uma degradação significativa de precisão em tarefas de raciocínio em comparação com alternativas baseadas em seleção, frequentemente causando loops de raciocínio repetitivos ou gerando saídas sem sentido.

O artigo identifica que as estratégias de evicção atuais não levam em conta dois fatores críticos: a influência desproporcional de estados de valor de grande magnitude e a necessidade de diversidade estocástica nos tokens retidos.

2. Metodologia: VASE

Os autores propõem a Evicção de Cache KV Estocástica Consciente do Valor (VASE), um framework de evicção livre de treinamento (training-free) projetado para reduzir a lacuna entre eficiência e precisão. O VASE opera dentro de um framework de evicção periódica (usando um orçamento persistente $K$ e um buffer recente $B$) e introduz dois mecanismos centrais:

A. Proteção de Estados de Valor de Grande Magnitude

Os autores observam que os estados de valor em modelos de raciocínio exibem uma distribuição fortemente enviesada, onde uma pequena fração de tokens possui vetores de magnitude anormalmente grandes (medida pela amplitude $Range(v) = \max(v) - \min(v)$).

• Descoberta: Evictar esses valores de alta magnitude causa um colapso catastrófico na precisão (ex: caindo de ~88% para 14% no GSM8K) e induz loops repetitivos onde o modelo reexamina incessantemente o contexto sem chegar a uma conclusão.
• Mecanismo: O VASE reserva uma parte específica do orçamento de tokens ($N_v$) para reter incondicionalmente os $N_v$ tokens com as maiores magnitudes de valor. Isso garante que os vetores de valor mais influentes nunca sejam descartados.

B. Introdução de Estocasticidade

Os métodos de evicção atuais frequentemente utilizam seleção top-$k$ determinística, o que pode levar a uma falta de diversidade no cache retido.

• Descoberta: A introdução de estocasticidade melhora a precisão ao garantir uma cobertura mais representativa de todo o contexto.
• Mecanismo: Em vez de selecionar deterministicamente os tokens de maior pontuação, o VASE emprega amostragem estocástica ponderada.
  • VASE-AttnV: Combina a reserva consciente do valor com amostragem estocástica baseada em escores de atenção (derivados do SnapKV).
  • VASE-DKV: Adapta o método CurDKV (que utiliza leverage scores de decomposição de matriz CUR) ao reamostrar a matriz de projeção Gaussiana $G$ em cada etapa de evicção. Isso evita que tokens com representações específicas sejam consistentemente atribuídos a pontuações baixas e permanentemente evictados.

3. Principais Contribuições

1. Identificação de Fatores Críticos: O artigo estabelece que (1) estados de valor de grande magnitude são cruciais para manter a progressão do raciocínio e prevenir loops repetitivos, e (2) a estocasticidade nas decisões de evicção aumenta significativamente a precisão ao aumentar a diversidade do cache.
2. Framework VASE: Uma nova receita de evicção livre de treinamento que integra proteção de magnitude de estado de valor e amostragem estocástica. É o primeiro método de evicção que combina pontuação baseada em chave, pontuação baseada em valor e promoção de diversidade.
3. Conexão com Quantização: Os autores demonstram que estados de valor de grande amplitude também são a principal fonte de erro de reconstrução na quantização de cache KV por token, sugerindo que os insights do VASE se generalizam para outras técnicas de compressão.

4. Resultados Experimentais

Os autores avaliaram o VASE no Qwen3-4B e Qwen3-14B em seis tarefas de raciocínio (AIME25/26, HMMT25, GPQA-Diamond, MATH, LiveCodeBench-v6) com uma razão de compressão de cache KV de 4×.

• Precisão vs. Métodos de Seleção: O VASE-AttnV alcançou uma precisão média superior ao método de seleção mais forte (SeerAttention-R) em ambos os tamanhos de modelo, mantendo um footprint de memória estático.
  • Qwen3-4B: VASE-AttnV (59,09%) superou o SeerAttention-R (58,81%) e a base de evicção mais forte R-KV (54,69%) em 4,4%.
  • Qwen3-14B: VASE-AttnV (65,81%) igualou o SeerAttention-R (65,37%) e superou o R-KV (60,90%) em 4,9%.
• Estudos de Ablação:
  • Consciência de Valor: Reservar slots para valores de grande magnitude melhorou a precisão no GSM8K em até 16,2% sobre as bases.
  • Estocasticidade: Adicionar amostragem estocástica ao CurDKV melhorou a precisão em 9,2% no Qwen3-14B.
• Eficiência: O VASE-DKV alcançou o maior throughput (3,1× mais rápido que o baseline do modelo completo em 16K tokens) e o menor uso de memória de pico entre todos os métodos testados.
• Geração de Código: No LiveCodeBench, os métodos VASE superaram significativamente o SeerAttention-R baseado em seleção, que teve dificuldades com mudanças de domínio.

5. Significância e Alegações

O artigo afirma que o VASE consegue preencher a lacuna de eficiência-precisão que historicamente assolou os métodos de evicção de cache KV. Ao priorizar estados de valor de grande magnitude e introduzir estocasticidade, o VASE permite que modelos de raciocínio operem com um footprint de memória estático sem sacrificar a precisão tipicamente associada às abordagens de cache total ou baseadas em seleção.

Os autores enfatizam que suas descobertas sobre a importância da magnitude do estado de valor têm implicações mais amplas além da evicção, especificamente para a quantização de cache KV, onde valores de grande amplitude são identificados como uma fonte primária de erro. Eles sugerem que futuros métodos de inferência eficientes em termos de memória devem considerar abordagens de precisão mista que protejam esses estados críticos de alta magnitude.

Em última análise, o VASE fornece uma receita simples, eficaz e livre de treinamento para suportar o FlashAttention2 e permitir a inferência escalável para modelos de raciocínio de cadeia longa.