QKVShare: Quantized KV-Cache Handoff for Multi-Agent On-Device LLMs

Resumo Técnico: QKVShare

Declaração do Problema
Sistemas de Modelos de Linguagem de Grande Escala (LLM) multiagente implantados em dispositivos de borda enfrentam um gargalo crítico: quando um agente passa contexto para um agente a jusante, o agente receptor tipicamente deve reconstruir o estado latente do zero via um pré-preenchimento completo. Esse processo é intensivo em latência. Por outro lado, compartilhar o cache de Chave-Valor (KV) em precisão total (FP16) é proibitivo em termos de memória em dispositivos com RAM limitada, pois o tamanho do cache escala linearmente com o comprimento do contexto. Soluções existentes desperdiçam ou latência (pré-preenchimento) ou memória (compartilhamento FP16), enquanto os métodos de quantização atuais focam na inferência de agente único e não abordam a interação de caches quantizados através das fronteiras dos agentes.

Metodologia
O QKVShare propõe um framework para transferência de cache KV quantizado entre agentes, centrado em três componentes:

1. Alocação de Bits Consciente da Topologia: O sistema estende o controlador "Não Desperdice Bits" para incluir características entre agentes. Ele atribui larguras de bits por token (de {2, 4, 8, FP16}) com base em uma pontuação combinada:
   • Importância Local ($I(t)$): Derivada de frequência, pontuação de qualidade, variância de atenção e entropia.
   • Transferibilidade ($T(t)$): Um novo sinal que estima a demanda a jusante, calculado via priores em nível de segmento (por exemplo, prompts de sistema compartilhados) e sobreposição de âncoras de atenção com tokens previamente compartilhados.
2. Representação CacheCard: Um artefato compacto que empacota grupos KV quantizados, atribuições de largura de bits em nível de token e metadados (comprimento da sequência, ID do modelo, deslocamentos de posição) para transferência entre agentes.
3. Caminho de Injeção: Para compatibilidade com o HuggingFace Transformers, o protótipo atual reconstrói past_key_values em FP16 a partir do CacheCard quantizado antes da passagem forward do agente receptor. Isso permite a medição de latência enquanto adia o desenvolvimento de um kernel de atenção totalmente fundido quantizado para trabalhos futuros.

Principais Contribuições

• Pontuação de Tokens entre Agentes: Um controlador estendido que aloca bits com base tanto na fidelidade local quanto nas necessidades específicas do próximo agente na topologia.
• Protocolo de Transferência Quantizada: Definição do formato CacheCard e um mecanismo de injeção no lado do receptor que permite a transferência de estado quantizado.
• Análise de Protótipo Medido: Uma avaliação ponta a ponta no Llama-3.1-8B-Instruct cobrindo a precisão de raciocínio multi-hop e o Tempo até o Primeiro Token (TTFT) da transferência, incluindo uma decomposição de latência em nível de estágio.

Resultados Experimentais
A avaliação utiliza 150 problemas GSM8K com cadeias de agentes sequenciais (2–5 saltos) e benchmarks de contexto sintético (1K–8K tokens) em uma GPU para Laptop NVIDIA RTX 5070 Ti de 12 GB.

• Precisão (Multi-Hop):
  • Quantização Uniforme: Mostra instabilidade conforme a profundidade do salto aumenta, particularmente na precisão de 4 bits.
  • Quantização Adaptativa: Demonstra ganhos claros sobre a quantização uniforme em configurações de saltos mais profundos e orçamentos maiores (por exemplo, em ~8 bits, a alocação adaptativa consciente da topologia atingiu 82,67% de precisão em 5 saltos versus 71,33% para Q8 uniforme).
  • Topologia vs. Local: Em ~4 bits, o controlador consciente da topologia mostrou uma vantagem líquida marginal (+2 vitórias) sobre um controlador adaptativo apenas local, mas não o superou consistentemente. O artigo trata a vantagem consciente da topologia como uma hipótese aberta em vez de uma vitória estabelecida em orçamentos agressivos de bits.
• Latência (TTFT):
  • O QKVShare reduz significativamente o TTFT em comparação com o pré-preenchimento completo em todos os contextos testados. Para um contexto de 8K, o QKVShare alcançou 397,1 ms versus 1029,7 ms para o pré-preenchimento.
  • Análise de Gargalo: O cronograma de estágio revela que a latência atual é dominada pela geração pós-injeção (a passagem forward do receptor), e não pela criação ou injeção do CacheCard em si.

Significado e Alegações
O artigo posiciona o QKVShare como uma direção promissora de sistemas para inferência multiagente em dispositivos, argumentando que a transferência de KV quantizada evita a alta latência do pré-preenchimento enquanto gerencia as restrições de memória.

No entanto, os autores mantêm uma postura modesta em relação às evidências atuais:

• O protótipo esclarece que evitar o pré-preenchimento melhora materialmente o TTFT.
• A alocação adaptativa de precisão mista é promissora sob transferência repetida, mas o valor específico de características conscientes da topologia sobre a adaptação apenas local ainda não está conclusivamente isolado, particularmente em orçamentos de 4 bits.
• Os resultados atuais são direcionais devido a pilhas de tempo de execução mistas (PyTorch/HuggingFace vs. llama.cpp) e à dependência de um passo de dequantização para injeção.
• O artigo identifica explicitamente a necessidade de ablações de controlador mais fortes e comparações de tempo de execução "maçã com maçã" (por exemplo, um kernel nativo fundido Q4->Q4) para validar plenamente as alegações conscientes da topologia.