Resumo Técnico: Irminsul: Cache Independente de Posição Nativo para MLA para Atendimento de LLMs Agentes

1. Declaração do Problema

O atendimento atual de LLMs em produção depende fortemente de cache de prefixo (por exemplo, RadixAttention do SGLang, PagedAttention do vLLM), que armazena em cache estados Chave-Valor (KV) com base em prefixos exatos de sequências de tokens. Embora eficaz para a troca de turnos conversacionais padrão, esse mecanismo falha catastróficamente em cargas de trabalho agenticas.

Em sistemas agentes (por exemplo, uso de ferramentas, geração aumentada por recuperação, orquestração multi-agente), os prompts são montados dinamicamente a partir de instruções de sistema estáticas, documentos recuperados e saídas de ferramentas. Mesmo que o conteúdo de um documento ou esquema de ferramenta permaneça idêntico entre os turnos, sua posição dentro do prompt muda devido a:

• Inserção dinâmica de documentos recuperados.
• Reordenação de saídas de ferramentas.
• Prompts de sistema ou cabeçalhos de metadados de comprimento variável.

Como caches de prefixo padrão exigem alinhamento idêntico em bytes a partir da posição 0, um único deslocamento de byte na estrutura do prompt invalida todo o cache para tokens subsequentes. Operadores relatam regressões severas, incluindo taxas de acerto no cache caindo de 100% para 35% e picos de Tempo até o Primeiro Token (TTFT) de 10–16 segundos em conteúdo inalterado.

Sistemas anteriores de Cache Independente de Posição (PIC) (por exemplo, CacheBlend, EPIC) tentam resolver isso para arquiteturas de Atenção com Consulta Agrupada (GQA) corrigindo o tensor Chave completo de dimensão $d_K$ via rotação inversa. No entanto, isso incorre em um custo arquitetônico significativo: a correção deve ser aplicada a toda a linha KV por token, tornando-a computacionalmente cara e frequentemente anulando os benefícios do cache.

2. Metodologia: A Abordagem Irminsul

O Irminsul propõe um sistema de cache endereçado por conteúdo especificamente projetado para arquiteturas de Atenção Latente Multi-Cabeça (MLA) (usadas em DeepSeek-V2/V3/R1, Kimi-K2, GLM-5, Mistral Large 3).

2.1 Insight Estrutural: Decomposição MLA

O habilitador central para o Irminsul é a decomposição estrutural do par KV em modelos MLA. Diferentemente da GQA, onde a posição é inseparavelmente fundida no tensor Chave completo, a MLA fatora o KV de cada token em:

1. $cKV$ (Latente de Conteúdo): Um vetor latente livre de posição de 512 dimensões. Este componente é reutilizável verbatim em qualquer posição absoluta.
2. $k_r$ (Chave Rotacional): Um vetor pequeno de 64 dimensões carregando a informação posicional (RoPE).

O Irminsul explora o fato de que $cKV$ constitui 89% da linha KV e requer zero correção quando reutilizado. Apenas o slice $k_r$ (11%) requer ajuste, que pode ser corrigido em forma fechada via uma única rotação $\delta$ (onde $\delta$ é o deslocamento de posição).

2.2 Design do Sistema

O Irminsul estende o cache radix do SGLang com os seguintes mecanismos:

• Chavamento por Hash de Conteúdo com CDC: Em vez de hashar blocos fixos, o Irminsul usa Fragmentação Definida por Conteúdo (CDC) baseada em um hash Gear rolante sobre janelas de 64 tokens. Fragmentos são emitidos quando o hash cai abaixo de um limiar, garantindo que as fronteiras dos fragmentos se alinhem com o conteúdo e não com deslocamentos arbitrários de bytes. Cada fragmento é identificado por impressão digital usando xxHash64.
• Consulta ao Registro: O registro de cache mapeia hashes de conteúdo para $(cKV, k_r, base\_pos)$ armazenados.
• Regra de Rotação $\delta$: Ao ocorrer um acerto no cache, o sistema calcula o deslocamento de posição $\delta = p_{target} - p_{source}$. Ele recupera o $cKV$ armazenado e aplica uma matriz de rotação $R(\delta)$ ao $k_r$ armazenado para gerar a chave posicional correta para o novo local. Esta operação é fundida no kernel FlashMLA, incorrendo em latência negligenciável.
• Recorte do Primeiro Fragmento: Para lidar com o fenômeno de "sumidouro de atenção" (onde o modelo atende pesadamente ao início da sequência), o Irminsul preenche previamente os primeiros 32 tokens de qualquer fragmento via preenchimento padrão se o fragmento começar na posição absoluta 0. Isso evita a necessidade de re-computação de fronteira em fragmentos subsequentes, pois o sumidouro é local ao início da sequência, não ao início do fragmento.
• Estratégias Híbridas (S1/S2):
  • S2 (Prevenir via Cooperação): Em ambientes controlados, o montador de prompts insere um marcador de fronteira de 64 tokens ao redor de regiões compartilhadas para forçar fronteiras CDC determinísticas.
  • S1 (Detectar e Recuperar): Para tráfego não controlado, um mecanismo de fallback subdivide falhas de CDC em janelas fixas de 128 tokens para recuperar reutilização parcial.

3. Contribuições Principais

1. Sistema Irminsul: O primeiro sistema PIC nativo para MLA. Ele alcança rotação $\delta$ de alta precisão com um erro L2 relativo de $4.7 \times 10^{-3}$ em bf16, o que é uma ordem de magnitude mais rigoroso que a quantização KV FP8 padrão.
2. Prova de Viabilidade (Análise ROC): O artigo fornece um estudo ROC sem limiar demonstrando que o componente $cKV$ da MLA é altamente invariante à posição (AUC $\approx$ 0,77), enquanto os vetores K brutos em GQA/MHA são emaranhados à posição (AUC < 0,5). Isso valida que a reutilização endereçada por conteúdo é estruturalmente sólida para MLA, mas não para arquiteturas puras de softmax sem correção.
3. Estudo de Eficiência Energética: Uma análise cruzada de arquiteturas mostrando que, enquanto a atenção baseada em softmax (GQA, MLA, MHA) economiza 63–86% da energia de preenchimento por acerto no cache, arquiteturas híbridas SSM/lineares (Mamba2, GDN, KDA) economizam ~0% porque seu estado recorrente não é indexado por token, tornando "acertos no cache" indefinidos na camada recorrente.
4. Métricas de Recuperação: Avaliação em três implantações nativas MLA-MoE (DeepSeek-V2-Lite, Kimi Moonlight-16B, JoyAI-Flash) mostrando que o Irminsul recupera até ~83% dos tokens do prompt acima da correspondência exata de prefixo em tráfego agentico, comparado a uma recuperação próxima de zero para caches de prefixo padrão em conteúdo deslocado.

4. Resultados

• Recuperação de Cache: Em tráfego agentico com "variação precoce" (por exemplo, cabeçalhos de metadados de agente deslocados), o Irminsul recupera 77,2% (DeepSeek-V2-Lite) e 82,7% (JoyAI-48B) dos tokens que, de outra forma, seriam re-computados. O cache de prefixo padrão captura apenas ~1,5% nestes cenários.
• Economia de Energia: Por acerto no cache, o Irminsul entrega 63% de economia de energia de preenchimento em modelos MLA (comparado a 86% em GQA). Isso confirma que o benefício principal do PIC é realizado em arquiteturas baseadas em softmax.
• Consistência de Saída: Em quatro conjuntos de dados (QA, GovReport, NIAH) e três modelos, as trajetórias gananciosas do Irminsul igualam ou superam a reutilização ingênua. Na tarefa "Agulha no Palheiro" (NIAH) com JoyAI-48B, o PIC iguala exatamente o recall de preenchimento completo (0,820) enquanto reduz a divergência KL em 22% comparado à reutilização ingênua.
• Latência: O sistema opera dentro de orçamentos de latência de produção. A rotação $\delta$ é fundida no caminho de carregamento HBM-para-SRAM, evitando uso extra de largura de banda HBM.

5. Significado e Alegações

O artigo argumenta que o cache endereçado por conteúdo deve ser um primitivo de primeira classe na pilha de atendimento de LLMs, em vez de uma adaptação sobre correspondência de prefixo.

• Estrutural vs. Algorítmico: O artigo postula que a incapacidade dos sistemas PIC anteriores de resolver completamente o problema para GQA é uma limitação estrutural (fundir posição no tensor Chave completo), e não apenas uma falha de engenharia. A fatorização da posição ($k_r$) do conteúdo ($cKV$) pela MLA é a chave que torna possível um PIC eficiente e de baixa sobrecarga.
• Cargas de Trabalho Agenticas: À medida que sistemas agentes se tornam dominantes, a "re-codificação de token" de contexto compartilhado (documentos, esquemas) representa uma enorme ineficiência. O Irminsul reencarna essa redundância não como um problema de computação, mas como um problema de memória, permitindo que a pilha de atendimento cobre pela reutilização de memória em vez de re-computação.
• Escopo: Os autores limitam explicitamente suas alegações de segurança às arquiteturas MLA (especificamente a forma de matmul absorvida usada em produção). Eles observam que, embora a GQA possa teoricamente suportar PIC, o custo de correção é alto. Eles também observam que modelos híbridos SSM (como Mamba2) não se beneficiam do PIC devido à sua estrutura de estado recorrente.
• Trabalho Futuro: O artigo reconhece que a "Atenção Fortemente Comprimida" (HCA) do DeepSeek-V4 agrega tokens, o que dissolve a identidade por token necessária para a fragmentação do Irminsul. Adaptar o primitivo de fragmentação ao cronograma de agregação da HCA é identificado como o próximo passo imediato.

Em resumo, o Irminsul demonstra que, ao aproveitar as propriedades algébricas específicas da MLA, é possível armazenar em cache o conteúdo independentemente de sua posição no prompt, recuperando custos significativos de computação e energia no atendimento de LLMs agentes sem comprometer a qualidade da saída.