Resumen Técnico: Irminsul: Caché Independiente de Posición Nativa de MLA para la Atención de LLMs Agentes

1. Declaración del Problema

La atención actual de LLMs en producción depende en gran medida de la caché de prefijos (por ejemplo, RadixAttention de SGLang, PagedAttention de vLLM), que almacena en caché los estados de Clave-Valor (KV) basándose en prefijos exactos de secuencias de tokens. Aunque es efectiva para el intercambio de turnos conversacional estándar, este mecanismo falla catastróficamente en cargas de trabajo de agentes.

En sistemas de agentes (por ejemplo, uso de herramientas, generación aumentada por recuperación, orquestación de múltiples agentes), los prompts se ensamblan dinámicamente a partir de instrucciones estáticas del sistema, documentos recuperados y salidas de herramientas. Incluso si el contenido de un documento o esquema de herramienta permanece idéntico entre turnos, su posición dentro del prompt se desplaza debido a:

• Inserción dinámica de documentos recuperados.
• Reordenamiento de las salidas de las herramientas.
• Prompts del sistema o encabezados de metadatos de longitud variable.

Dado que las cachés de prefijos estándar requieren una alineación idéntica en bytes desde la posición 0, un solo desplazamiento de byte en la estructura del prompt invalida toda la caché para los tokens posteriores. Los operadores reportan regresiones graves, incluidas tasas de acierto en caché que caen del 100% al 35% y picos en el Tiempo hasta el Primer Token (TTFT) de 10–16 segundos en contenido inalterado.

Los sistemas anteriores de Caché Independiente de Posición (PIC) (por ejemplo, CacheBlend, EPIC) intentan resolver esto para arquitecturas de Atención de Consulta Agrupada (GQA) corrigiendo el tensor completo de Claves de dimensión $d_K$ mediante rotación inversa. Sin embargo, esto incurre en un costo arquitectónico significativo: la corrección debe aplicarse a toda la fila de KV por token, lo que la hace computacionalmente costosa y a menudo anula los beneficios de la caché.

2. Metodología: El Enfoque de Irminsul

Irminsul propone un sistema de caché direccionada por contenido diseñado específicamente para arquitecturas de Atención Latente Multi-Cabeza (MLA) (utilizadas en DeepSeek-V2/V3/R1, Kimi-K2, GLM-5, Mistral Large 3).

2.1 Insight Estructural: Descomposición de MLA

El habilitador central para Irminsul es la descomposición estructural del par KV en modelos MLA. A diferencia de GQA, donde la posición se fusiona inseparablemente en el tensor completo de Claves, MLA factoriza el KV de cada token en:

1. $cKV$ (Latente de Contenido): Un vector latente libre de posición de 512 dimensiones. Este componente es reutilizable verbatim en cualquier posición absoluta.
2. $k_r$ (Clave Rotatoria): Un vector pequeño de 64 dimensiones que porta la información posicional (RoPE).

Irminsul explota el hecho de que $cKV$ constituye 89% de la fila de KV y requiere cero corrección al reutilizarse. Solo el segmento $k_r$ (11%) requiere ajuste, lo cual puede corregirse en forma cerrada mediante una única rotación $\delta$ (donde $\delta$ es el desplazamiento de posición).

2.2 Diseño del Sistema

Irminsul extiende la caché radix de SGLang con los siguientes mecanismos:

• Clave de Hash de Contenido con CDC: En lugar de hash de bloques fijos, Irminsul utiliza Fragmentación Definida por Contenido (CDC) basada en un hash de rodadura Gear sobre ventanas de 64 tokens. Los fragmentos se emiten cuando el hash cae por debajo de un umbral, asegurando que los límites de los fragmentos se alineen con el contenido y no con desplazamientos arbitrarios de bytes. Cada fragmento se identifica mediante xxHash64.
• Búsqueda en Registro: El registro de la caché mapea hashes de contenido a $(cKV, k_r, base\_pos)$ almacenados.
• Regla de Rotación $\delta$: Al producirse un acierto en la caché, el sistema calcula el desplazamiento de posición $\delta = p_{target} - p_{source}$. Recupera el $cKV$ almacenado y aplica una matriz de rotación $R(\delta)$ a la $k_r$ almacenada para generar la clave posicional correcta para la nueva ubicación. Esta operación se fusiona en el núcleo FlashMLA, incurriendo en una latencia negligible.
• Extracción del Primer Fragmento: Para manejar el fenómeno de "sumidero de atención" (donde el modelo atiende fuertemente al inicio de la secuencia), Irminsul pre-llena los primeros 32 tokens de cualquier fragmento mediante pre-llenado estándar si el fragmento comienza en la posición absoluta 0. Esto evita la necesidad de recomputación de límites en fragmentos subsiguientes, ya que el sumidero es local al inicio de la secuencia, no local al inicio del fragmento.
• Estrategias Híbridas (S1/S2):
  • S2 (Prevenir mediante Cooperación): En entornos controlados, el ensamblador de prompts inserta un marcador de límite de 64 tokens alrededor de regiones compartidas para forzar límites CDC deterministas.
  • S1 (Detectar y Recuperar): Para tráfico no controlado, un mecanismo de respaldo subdividirá los fallos de CDC en ventanas fijas de 128 tokens para recuperar reutilización parcial.

3. Contribuciones Clave

1. Sistema Irminsul: El primer sistema PIC nativo de MLA. Logra una rotación $\delta$ de alta precisión con un error L2 relativo de $4.7 \times 10^{-3}$ en bf16, lo cual es un orden de magnitud más estricto que la cuantización estándar de KV en FP8.
2. Prueba de Factibilidad (Análisis ROC): El artículo proporciona un estudio ROC sin umbrales que demuestra que el componente $cKV$ de MLA es altamente invariante a la posición (AUC $\approx$ 0.77), mientras que los vectores K crudos en GQA/MHA están entrelazados con la posición (AUC < 0.5). Esto valida que la reutilización direccionada por contenido es estructuralmente sólida para MLA, pero no para arquitecturas puras de softmax sin corrección.
3. Estudio de Eficiencia Energética: Un análisis transversal de arquitecturas que muestra que, mientras que la atención basada en softmax (GQA, MLA, MHA) ahorra entre 63–86% de energía de pre-llenado por acierto en caché, las arquitecturas híbridas SSM/lineales (Mamba2, GDN, KDA) ahorran ~0% porque su estado recurrente no está indexado por token, haciendo que los "aciertos en caché" estén indefinidos en la capa recurrente.
4. Métricas de Recuperación: Evaluación en tres despliegues nativos MLA-MoE (DeepSeek-V2-Lite, Kimi Moonlight-16B, JoyAI-Flash) que muestra que Irminsul recupera hasta ~83% de los tokens del prompt por encima de la coincidencia exacta de prefijos en tráfico de agentes, en comparación con una recuperación cercana a cero para las cachés de prefijos estándar en contenido desplazado.

4. Resultados

• Recuperación de Caché: En tráfico de agentes con "variación temprana" (por ejemplo, encabezados de metadatos de agentes desplazados), Irminsul recupera 77.2% (DeepSeek-V2-Lite) y 82.7% (JoyAI-48B) de los tokens que de otro modo se volverían a calcular. La caché de prefijos estándar captura solo ~1.5% en estos escenarios.
• Ahorros Energéticos: Por acierto en caché, Irminsul entrega 63% de ahorro de energía de pre-llenado en modelos MLA (comparado con 86% en GQA). Esto confirma que el beneficio principal de PIC se realiza en arquitecturas basadas en softmax.
• Consistencia de Salida: En cuatro conjuntos de datos (QA, GovReport, NIAH) y tres modelos, las trayectorias codiciosas de Irminsul igualan o superan la reutilización ingenua. En la tarea "Aguja en un Pajero" (NIAH) con JoyAI-48B, PIC iguala exactamente el recuerdo de pre-llenado completo (0.820) mientras reduce la divergencia KL en un 22% comparado con la reutilización ingenua.
• Latencia: El sistema opera dentro de los presupuestos de latencia de producción. La rotación $\delta$ se fusiona en la ruta de carga de HBM a SRAM, evitando el uso adicional de ancho de banda de HBM.

5. Significado y Afirmaciones

El artículo argumenta que la caché direccionada por contenido debería ser un primitivo de primera clase en la pila de atención de LLMs, en lugar de una adaptación sobre la coincidencia de prefijos.

• Estructural vs. Algorítmico: El artículo postula que la incapacidad de los sistemas PIC anteriores para resolver completamente el problema para GQA es una limitación estructural (fusionar la posición en el tensor completo de Claves), no solo una deficiencia de ingeniería. La factorización de la posición ($k_r$) desde el contenido ($cKV$) en MLA es la clave que hace posible un PIC eficiente y de bajo costo.
• Cargas de Trabajo de Agentes: A medida que los sistemas de agentes se vuelven dominantes, la "re-codificación de tokens" del contexto compartido (documentos, esquemas) representa una ineficiencia masiva. Irminsul reencuadra esta redundancia no como un problema de computación, sino como un problema de memoria, permitiendo que la pila de atención cobre por la reutilización de memoria en lugar de la recomputación.
• Alcance: Los autores limitan explícitamente sus afirmaciones de seguridad a arquitecturas MLA (específicamente la forma de matmul absorbida utilizada en producción). Señalan que, aunque GQA puede teóricamente soportar PIC, el costo de corrección es alto. También notan que los modelos híbridos SSM (como Mamba2) no se benefician de PIC debido a su estructura de estado recurrente.
• Trabajo Futuro: El artículo reconoce que la "Atención Fuertemente Comprimida" (HCA) de DeepSeek-V4 agrupa tokens, lo que disuelve la identidad por token requerida para la fragmentación de Irminsul. Adaptar el primitivo de fragmentación al programa de agrupación de HCA se identifica como el siguiente paso inmediato.

En resumen, Irminsul demuestra que, aprovechando las propiedades algebraicas específicas de MLA, es posible almacenar en caché el contenido independientemente de su posición en el prompt, recuperando costos significativos de computación y energía en la atención de LLMs agentes sin comprometer la calidad de la salida.