Resumen Técnico: Still: Compresión Amortizada de la Caché KV en una Sola Pasada Directa (Forward Pass)

1. Planteamiento del Problema

La caché KV (Key-Value) es el principal cuello de botella de memoria para el despliegue de modelos de lenguaje extensos (LLMs) en horizontes largos, tales como agentes de codificación de varios días o razonamiento a escala de repositorio. Las estrategias de despliegue actuales enfrentan una elección de "todo o nada":

• Caché sin pérdida (Lossless Caching): La caché crece linealmente con la longitud del contexto, alcanzando eventualmente los límites de memoria.
• Alternativas con pérdida (Lossy Alternatives): Métodos como el ajuste fino (fine-tuning), la generación aumentada por recuperación (RAG) o los resúmenes de documentos abandonan la estructura y la fidelidad de la representación interna del modelo.

Los métodos actuales de compresión de la caché KV se dividen en dos categorías, cada una con limitaciones significativas:

1. Métodos de Selección: Estos puntúan tokens y eliminan un subconjunto (p. ej., H2O, SnapKV). Son ligeros pero están estructuralmente vinculados al subconjunto de tokens originales, lo que significa que no pueden sintetizar nueva información y se degradan rápidamente bajo presupuestos de compresión estrictos.
2. Métodos de Síntesis: Estos combinan contenido para crear nuevas representaciones compactas (p. ej., Attention Matching, Cartridges). Aunque son expresivos, típicamente requieren una optimización por contexto (ajuste/fitting) en el momento de la inferencia, lo que los hace computacionalmente costosos e impracticables para trayectorias iterativas de largo horizonte donde la compresión debe ocurrir repetidamente.

El artículo identifica la brecha para un método que sea amortizado (entrenado una vez, aplicado repetidamente sin optimización por contexto), sintético (capaz de mezclar información más allá de la simple selección) y lo suficientemente ligero como para ejecutarse durante la inferencia.

2. Metodología: Still

Los autores presentan Still, un primitivo aprendido para la compresión de la caché KV diseñado para modelos preentrenados congelados.

Arquitectura

Still consiste en un módulo Perceiver pequeño por capa, entrenado contra un modelo base congelado.

• Entrada: Para cada capa del transformador, el compactador recibe la caché KV completa ($K, V$) del prefijo por capa. Las llaves son primero "des-rotadas" para eliminar los Embeddings de Posición Rotatorios (RoPE), situándolas en un marco libre de posición.
• Consultas Latentes (Latent Queries): El compactador mantiene un banco de $t$ consultas latentes aprendidas ($Z$) por capa. Estas consultas realizan una atención cruzada (cross-attention) hacia la caché KV completa.
• Procesamiento: Los latentes pasan por bloques de pre-normación que contienen:
  1. Atención Cruzada (Cross-Attention): De los latentes hacia la caché KV completa.
  2. Auto-atención (Self-Attention): Entre los latentes.
  3. Red de Alimentación hacia Adelante (FFN): Subcapa opcional.
• Salida: El estado latente final se proyecta mediante cabezales lineales para producir llaves compactas ($C_k$) y valores ($C_v$) de tamaño $t \times d$, donde $t \ll T$ (la longitud de la secuencia original).
• Manejo de Posición: Las llaves compactas resultantes se re-rotan en posiciones de salida elegidas antes de ser escritas de nuevo en la caché. Los valores permanecen sin rotar.
• Canal de Sesgo (Bias Channel): Se soporta un cabezal de sesgo opcional ($\beta$), pero se desactiva ($\beta=0$) en todos los resultados reportados para simplificar el despliegue.

Entrenamiento

• Objetivo: El compactador se entrena utilizando la divergencia KL hacia adelante entre un "maestro" (el modelo base congelado con la caché completa sin comprimir) y un "estudiante" (el mismo modelo usando la caché compacta). La pérdida se enmascara únicamente para los tokens del lado de la respuesta.
• Datos: El entrenamiento utiliza un conjunto de datos de preguntas de opción múltiple extractivas de cuatro dominios (Finanzas, Proyecto Gutenberg, Legal, Código).
• Eficiencia: Los pesos del modelo base permanecen congelados; solo se entrenan los parámetros del compactador. El compactador añade aproximadamente un 1% al conteo de parámetros del modelo base (p. ej., ~50M de parámetros para Qwen3-4B).

Modos Operativos

1. Compresión de Pasada Única (Single-Pass Compaction): El modelo ejecuta un prefill completo para generar la caché completa, la cual es luego comprimida por Still. La generación continúa utilizando la caché compacta.
2. Compresión por Bloques Iterativa (Iterative Chunked Compaction): Para contextos de largo horizonte que llegan a lo largo del tiempo, Still soporta un esquema recurrente. El modelo procesa bloques de tokens y, tras cada bloque, la caché acumulada se comprime a un tamaño fijo. Esto permite al sistema manejar contextos que exceden con creces el horizonte de entrenamiento, siempre que el compactador haya sido entrenado en horizontes iterativos suficientemente largos.

3. Contribuciones Clave

• Síntesis Amortizada: Still demuestra que la síntesis amortizada (aprender un codificador una vez) es superior a la selección amortizada (aprender un puntaje una vez) para la compresión de contexto largo. Evita la limitación de "subconjunto-vinculado" de los métodos de selección y el costo de "optimización por contexto" de los métodos de síntesis.
• Pasada Directa (Single Forward Pass): A diferencia de los métodos de síntesis por contexto que requieren pasos de optimización para cada nuevo contexto, Still realiza la compresión en una sola pasada directa a través de un módulo aprendido.
• Capacidad de Largo Horizonte Iterativo: Debido a que la compresión es una pasada directa, Still puede aplicarse iterativamente a medida que llega nuevo contexto, permitiendo un régimen de largo horizonte que no está disponible para los métodos de ajuste por contexto.
• Generalización: El método se transfiere a través de escalas de modelos (4B a 32B), arquitecturas (densas y MoE) y mecanismos de atención (global y de ventana deslizante).

4. Resultados

El artículo evalúa Still a través de ratios de compresión de 8× a 200× y longitudes de contexto de 8k a 128k.

• Frontera Velocidad-Calidad: En los modelos Qwen y Gemma, Still ocupa el lado favorable de la frontera velocidad-calidad. Se mantiene preciso y rápido a través de toda la matriz, mientras que los métodos basados en selección se degradan bajo presupuestos estrictos, y los métodos de síntesis por contexto son demasiado lentos.
• Benchmark RULER: En configuraciones de entrenamiento emparejado en el benchmark RULER, Still supera al basel de selección amortizada más fuerte (KV-Distill) por 8–22 puntos de precisión en 16 de 18 celdas.
• Desempeño de Transferencia: En configuraciones de transferencia zero-shot (entrenamiento en MCQ de dominio mixto, prueba en RULER), Still mantiene una ventaja significativa sobre KV-Distill, aunque los márgenes son menores debido al desajuste entre entrenamiento y prueba.
• Resumen (Summarization): Still soporta la síntesis de texto libre. En HELMET (multi_lexsum), preserva entre el 74% y el 95% de la ganancia de contexto completo en contextos de 8k–64k, superando a Attention Matching y KV-Distill. En LongBench v1, gana el 60% de las comparaciones por pares contra KV-Distill.
• Compresión Iterativa: Still permite la compresión por bloques iterativa. Aunque el desempeño se degrada si el horizonte de entrenamiento es demasiado corto respecto al horizonte de despliegue (p. ej., un compactador entrenado en 8k colapsando en 128k), entrenar en horizontes iterativos más largos (16k, 32k) permite al modelo absorber contexto muchas veces su capacidad física.

5. Significado y Reivindicaciones

El artículo afirma que la amortización hace que la compresión de la caché de contexto largo sea tratable, y que la síntesis hace que el estado compacto sea útil en la compresión extrema.

• Tractabilidad: Al aprender el optimizador (el compactador) una sola vez, el sistema evita los costos de ajuste compuestos de los métodos por contexto, haciendo factible el despliegue iterativo de largo horizonte.
• Expresividad: La síntesis permite que la caché compacta mezcle información de arbitrariamente muchas posiciones, superando el techo de densidad de información de la selección de tokens.
• Practicidad: Still es lo suficientemente ligero como para ser llamado repetidamente durante la inferencia, permitiendo tanto la selección de respuestas como la generación de texto libre sin modificar los pesos del modelo base.

Limitaciones Reconocidas por los Autores

• No es sin pérdida (Not Lossless): La inferencia con contexto completo sigue siendo superior en los escenarios más difíciles de 128k.
• Restricción del Horizonte de Entrenamiento: La compresión iterativa no es una extrapolación gratuita; el desempeño del compactador está limitado por el horizonte de entrenamiento. Entrenar para soportar 1M de tokens requiere entrenar en horizontes proporcionalmente más largos, lo cual es costoso.
• Recuperación Exacta: La recurrencia actual es débil en tareas de recuperación exacta y de "aguja en un pajar" (needle-in-a-haystack), incluso cuando preserva evidencia semántica para tareas de MCQ más amplias.
• Memoria vs. Latencia: En el modo de pasada única, Still reduce el tamaño de la caché retenida, pero no elimina la latencia inicial del prefill de contexto completo.
• Requisitos de Despliegue: Cada checkpoint del modelo base requiere su propio compactador entrenado, lo que añade sobrecarga de parámetros y de datos de entrenamiento.