QKVShare: Quantized KV-Cache Handoff for Multi-Agent On-Device LLMs

Resumen Técnico: QKVShare

Enunciado del Problema
Los sistemas de Modelos de Lenguaje (LLM) multiagente desplegados en dispositivos de borde enfrentan un cuello de botella crítico: cuando un agente pasa contexto a un agente aguas abajo, el agente receptor típicamente debe reconstruir el estado latente desde cero mediante un re-llenado completo. Este proceso es intensivo en latencia. Por el contrario, compartir la memoria caché de claves-valores (KV) en precisión completa (FP16) es prohibitivo en términos de memoria en dispositivos con RAM limitada, ya que el tamaño de la memoria caché escala linealmente con la longitud del contexto. Las soluciones existentes desperdician ya sea latencia (re-llenado) o memoria (compartición FP16), mientras que los métodos de cuantización actuales se centran en la inferencia de un solo agente y no abordan la interacción de memorias caché cuantizadas a través de los límites entre agentes.

Metodología
QKVShare propone un marco para la transferencia de memoria caché KV cuantizada entre agentes, centrado en tres componentes:

1. Asignación de Bits Consciente de la Topología: El sistema extiende el controlador "No Desperdicies Bits" para incluir características entre agentes. Asigna anchos de bits por token (de {2, 4, 8, FP16}) basándose en una puntuación combinada:
   • Importancia Local ($I(t)$): Derivada de la frecuencia, puntuación de calidad, varianza de atención y entropía.
   • Transferibilidad ($T(t)$): Una nueva señal que estima la demanda aguas abajo, calculada mediante priores a nivel de segmento (por ejemplo, prompts de sistema compartidos) y superposición de anclajes de atención con tokens compartidos previamente.
2. Representación CacheCard: Un artefacto compacto que empaqueta grupos KV cuantizados, asignaciones de ancho de bits a nivel de token y metadatos (longitud de secuencia, ID del modelo, desplazamientos de posición) para la transferencia entre agentes.
3. Ruta de Inyección: Para compatibilidad con HuggingFace Transformers, el prototipo actual reconstruye past_key_values en FP16 a partir de la CacheCard cuantizada antes del paso hacia adelante del agente receptor. Esto permite la medición de latencia mientras se pospone el desarrollo de un núcleo de atención cuantizado totalmente fusionado para trabajos futuros.

Contribuciones Clave

• Puntuación de Tokens entre Agentes: Un controlador extendido que asigna bits basándose tanto en la fidelidad local como en las necesidades específicas del siguiente agente en la topología.
• Protocolo de Transferencia Cuantizada: Definición del formato CacheCard y un mecanismo de inyección en el lado del receptor que permite la transferencia de estado cuantizado.
• Análisis de Prototipo Medido: Una evaluación de extremo a extremo en Llama-3.1-8B-Instruct que cubre la precisión del razonamiento multi-salto y el Tiempo hasta el Primer Token (TTFT) de la transferencia, incluyendo un desglose por etapas de la latencia.

Resultados Experimentales
La evaluación utiliza 150 problemas de GSM8K con cadenas de agentes secuenciales (2–5 saltos) y benchmarks de contexto sintético (1K–8K tokens) en una GPU portátil NVIDIA RTX 5070 Ti de 12 GB.

• Precisión (Multi-Salto):
  • Cuantización Uniforme: Muestra inestabilidad a medida que aumenta la profundidad del salto, particularmente a una precisión de 4 bits.
  • Cuantización Adaptativa: Demuestra ganancias claras sobre la cuantización uniforme en configuraciones de saltos más profundos y presupuestos más altos (por ejemplo, a ~8 bits, la asignación consciente de la topología adaptativa alcanzó un 82.67% de precisión a 5 saltos frente al 71.33% para Q8 uniforme).
  • Topología vs. Local: A ~4 bits, el controlador consciente de la topología mostró una ventaja neta marginal (+2 victorias) sobre un controlador adaptativo solo local, pero no lo superó consistentemente. El artículo trata la ventaja consciente de la topología como una hipótesis abierta en lugar de una victoria resuelta en presupuestos de bits agresivos.
• Latencia (TTFT):
  • QKVShare reduce significativamente el TTFT en comparación con el re-llenado completo en todos los contextos probados. Para un contexto de 8K, QKVShare logró 397.1 ms frente a 1029.7 ms para el re-llenado.
  • Análisis de Cuello de Botella: La temporización por etapas revela que la latencia actual está dominada por la generación post-inyección (el paso hacia adelante del receptor), y no por la creación de la CacheCard ni por la inyección en sí misma.

Significado y Afirmaciones
El artículo posiciona a QKVShare como una dirección prometedora de sistemas para la inferencia multiagente en dispositivos, argumentando que la transferencia de KV cuantizada evita la alta latencia del re-llenado mientras gestiona las restricciones de memoria.

Sin embargo, los autores mantienen una postura modesta respecto a la evidencia actual:

• El prototipo aclara que evitar el re-llenado mejora materialmente el TTFT.
• La asignación adaptativa de precisión mixta es prometedora bajo transferencias repetidas, pero el valor específico de las características conscientes de la topología sobre la adaptación solo local aún no está aislado concluyentemente, particularmente en presupuestos de 4 bits.
• Los resultados actuales son direccionales debido a pilas de tiempo de ejecución mixtas (PyTorch/HuggingFace vs. llama.cpp) y la dependencia de un paso de de-cuantización para la inyección.
• El artículo identifica explícitamente la necesidad de ablaciones de controlador más sólidas y comparaciones de tiempo de ejecución "de manzana con manzana" (por ejemplo, un núcleo nativo fusionado Q4->Q4) para validar completamente las afirmaciones conscientes de la topología.