Resumen Técnico: Knowledge Packs: Zero-Token Knowledge Delivery via KV Cache Injection

Este documento presenta un resumen detallado del artículo de investigación "Knowledge Packs: Zero-Token Knowledge Delivery via KV Cache Injection", escrito por Andrey Pustovit. La propuesta introduce una metodología para entregar conocimiento a modelos de lenguaje grandes (LLM) sin el costo de tokens asociado a la inyección de texto en el prompt (RAG), aprovechando la equivalencia de las memorias de clave-valor (KV Cache).

1. El Problema: La Ineficiencia de Tokens en RAG

El enfoque actual de Retrieval-Augmented Generation (RAG) resuelve el problema del conocimiento insertando texto recuperado directamente en el prompt del modelo. Aunque una sola búsqueda es económica, los agentes que realizan búsquedas repetitivas pagan un "impuesto lineal" de tokens:

• 5 búsquedas pueden consumir más de 700 tokens solo en hechos.
• Esto agota rápidamente el presupuesto de contexto (context window) y aumenta los costos en APIs de pago por token.
• Existe una necesidad crítica de entregar conocimiento con un costo de tokens $O(1)$ en lugar de $O(n)$.

2. Metodología: Knowledge Packs y Equivalencia KV-Prefix

La propuesta central son los Knowledge Packs: memorias KV precalculadas que se inyectan en el modelo durante la inferencia, eliminando la necesidad de enviar el texto de origen.

2.1. Equivalencia KV-Prefix (KV-Prefix Equivalence)

El fundamento teórico se basa en la propiedad de los transformadores con máscara causal (decoder-only):

• La memoria KV generada por un pase forward independiente sobre un texto de hechos $F$ es bit-identica a las entradas KV que $F$ produciría en un pase conjunto sobre la concatenación $F \circ q$ (hechos + pregunta).
• Esto se debe a que el token $x_i$ solo atiende a posiciones $j \leq i$. Por lo tanto, la presencia de tokens de consulta posteriores no altera los estados KV de los tokens anteriores.
• Resultado: Se puede precalcular el KV de los hechos una vez (fase offline) y reutilizarlo para cualquier pregunta (fase online), logrando una entrega de conocimiento con costo cero de tokens.

2.2. El Requisito Crítico: Plantillas de Chat (Chat Templates)

El estudio identifica un error crítico en trabajos previos que reportaron resultados superiores del KV sobre RAG:

• El problema: Los modelos ajustados a instrucciones (instruction-tuned) esperan tokens especiales específicos (ej. system, <|start_header_id|>) al inicio de la entrada.
• La consecuencia: Si se calcula el KV a partir de texto "crudo" (sin la plantilla de chat), el modelo recibe una distribución fuera de su entrenamiento (OOD), degradando la precisión en 6–7 puntos porcentuales (pp).
• La solución: El texto de los hechos debe formatearse estrictamente como un mensaje de sistema dentro de la plantilla de chat del modelo antes de calcular el KV. Con el formato correcto, la precisión es idéntica a la de RAG.

2.3. Escalabilidad y Composición

• Enrutamiento Bancado (Banked Routing): Para escalar más allá de una ventana de contexto, los hechos se agrupan en "bancos" mediante clustering (k-means). En la consulta, se selecciona el banco más cercano y se recalcula el KV de los hechos top on-the-fly (aprox. 5 ms).
• Composición de Caches: Para combinar múltiples paquetes de conocimiento, no se pueden concatenar simplemente (lo que rompería la codificación posicional RoPE). En su lugar, se debe procesar el paquete B utilizando el KV del paquete A como prefijo, asegurando que las posiciones continúen secuencialmente.

3. Contribuciones Clave

1. Prueba de Equivalencia: Demostración teórica y empírica (0 divergencias en 700 preguntas en Qwen3-8B y Llama-3.1-8B) de que KV injection y RAG son idénticos si se respeta el formato de plantilla.
2. Ahorro Masivo de Tokens: Reducción de hasta un 95% en el uso de tokens en flujos de trabajo de múltiples pasos (ej. 5 búsquedas).
3. Estiramiento de Comportamiento (Value Steering): Descubrimiento de que los deltas contrastivos aplicados a los valores (V) del KV cache (sin tocar las claves) pueden modificar el estilo de generación del modelo.
   • Las claves (K) no pueden modificarse aritméticamente debido a la rotación RoPE, lo que destruiría la coherencia.
   • Los valores (V) no son rotados, permitiendo operaciones aritméticas seguras.
   • El efecto se localiza en las capas medias (33–66%) del modelo.
4. Arquitectura de Doble Canal: Capacidad de entregar conocimiento (vía KV completo) y dirigir el comportamiento (vía deltas de V en capas medias) simultáneamente sin interferencia, manteniendo la precisión factual.

4. Resultados Experimentales

4.1. Precisión y Costo (HotpotQA)

• Equivalencia Exacta: En 700 comparaciones (Qwen y Llama), KV-chat y RAG produjeron salidas byte-identicas.
• Impacto del Formato: El uso de texto crudo (sin plantilla) causó una caída de 5.5% a 6.0% en precisión, concentrada en preguntas de "puente" (que requieren cruzar múltiples hechos).
• Escalado: En 5 pasos de búsqueda, RAG consume ~700 tokens adicionales, mientras que KV se mantiene en ~35 tokens (solo la pregunta).

4.2. Estiramiento de Comportamiento (Value Steering)

• Se probaron pares de ejemplos contrastivos (código "defensivo" vs. "sloppy").
• Resultados: Al aplicar deltas de valores en las capas medias con un coeficiente $\alpha \leq 0.7$, se logra un cambio medible en el estilo (formalidad, manejo de errores) sin sacrificar la precisión factual.
• Composabilidad: Diferentes direcciones de estiramiento (ej. "defensivo" y "documentado") son casi ortogonales ($\cos \approx 0$) y se pueden combinar sin interferencia.
• Limitación: El efecto de estiramiento es aproximadamente la mitad de fuerte que inyectar texto directamente en el prompt, pero con costo cero de tokens adicionales.

4.3. Doble Canal (Conocimiento + Estiramiento)

• Es posible inyectar conocimiento factual (vía KV completo) y estirar el comportamiento (vía deltas de V) al mismo tiempo.
• Para $\alpha \leq 0.7$, la precisión factual se mantiene intacta (72-73% EM) mientras se mejora la formalidad y la longitud de la respuesta.

5. Significado y Limitaciones

Significado

• Optimización sin Pérdida: Knowledge Packs ofrecen una sustitución "sin pérdida" (lossless) para la inyección de prompts en RAG, ideal para APIs de pago por token y flujos de trabajo de agentes.
• Nueva Capacidad de Control: Revela que el espacio de valores (V) en las capas medias de los LLM es un canal accesible para el control de comportamiento en tiempo de inferencia, sin necesidad de reentrenar o modificar pesos.
• Corrección de la Literatura: Aclara que las discrepancias previas entre KV y RAG se debieron a errores de formateo de plantillas, no a una superioridad inherente del método KV.

Limitaciones

• Acoplamiento de Arquitectura: Los caches KV son específicos de un modelo y no son transferibles entre arquitecturas diferentes (ej. un cache de Llama no funciona en Qwen).
• Fuerza del Estiramiento: El control de comportamiento vía KV es menos potente que el uso de texto en el prompt.
• Escala: Las pruebas de estiramiento se limitaron a tareas de codificación y estilos específicos; la generalización a tono o factibilidad requiere más investigación.
• Interferencia en Doble Canal: Aunque los subespacios parecen ortogonales, el coeficiente $\alpha$ debe reducirse cuando se combina con entrega de conocimiento, indicando una interacción sutil.

En conclusión, el trabajo establece que el conocimiento puede entregarse de forma eficiente y controlable mediante la manipulación directa de la memoria interna del modelo, superando las limitaciones de costo de los métodos tradicionales de RAG.