💻 computer science

Tamarin (HSQ): Reversible Hierarchical KV-Cache Compression for LLM Inference

Tamarin (HSQ) introduce un esquema de compresión de caché KV jerárquico de tres niveles y reversible que enruta los tokens hacia un nivel focal, vectores de resumen aprendidos y un archivo basado en CPU para lograr una reducción de memoria GPU de 12 a 28 veces para la inferencia de LLM de contexto largo, manteniendo una perplejidad y precisión de recuperación cercanas a la línea base.

Autores originales: Alikhan Bazakov, Kirill Kiselev

Publicado 2026-07-10

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Alikhan Bazakov, Kirill Kiselev

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando leer un libro masivo de 32.000 páginas en una tableta diminuta. El problema no es el texto del libro; es que la memoria de tu tableta se llena instantáneamente con solo sostener las páginas que ya has leído. En el mundo de la IA, esta "memoria" se llama caché KV, y para los modelos grandes, consume toda la potencia de tu computadora, obligándote a desechar las páginas viejas para hacer espacio para las nuevas.

La mayoría de las soluciones actuales son como un bibliotecario que, cuando el estante se llena, decide desechar los libros que cree que no necesitarás. Pueden conservar las primeras páginas y las últimas, pero si de repente haces una pregunta sobre un detalle en medio del libro, esa página se ha ido para siempre. El artículo llama a esto "evicción" (expulsión), y argumenta que esto es un fallo fatal porque no puedes predecir qué le preguntará un usuario a continuación.

La Gran Idea: El Índice Mágico, No el Cubo de la Basura

Los autores de este artículo, de Siamang Labs, proponen un enfoque diferente llamado Tamarin (técnicamente conocido como HSQ). En lugar de tirar las páginas, tratan la memoria como un índice gigante y buscable.

Así es como funciona su sistema de tres niveles, utilizando una analogía de una biblioteca:

El Estante "VIP" (L1): Una sección pequeña y de alta velocidad en tu tableta (GPU) contiene las páginas más importantes y las más recientes. Estas se mantienen con todo su detalle, solo que un poco reducidas (precisión de 4 bits).
Las "Tarjetas de Pistas" (L2): Para el resto del libro, el sistema crea diminutas "tarjetas de pistas" de 3 bits para cada grupo de 8 a 16 páginas. Estas tarjetas no contienen la historia; solo contienen un resumen de de qué tratan las páginas. Viven en tu tableta también.
El "Archivo Profundo" (L3): El texto original completo de cada una de las páginas se almacena en un enorme almacén al otro lado de la calle (CPU RAM), también reducido a una precisión de 4 bits.

Cómo Funciona en Tiempo Real

Cuando la IA está leyendo y de repente necesita responder una pregunta, no adivina. Primero mira las Tarjetas de Pistas (L2). Una IA "lectora", pequeña y astuta, califica estas tarjetas para ver qué grupos de páginas son relevantes para la pregunta actual.

Si una tarjeta parece prometedora, el sistema corre instantáneamente al Archivo Profundo (L3), toma las páginas originales y las trae de vuelta a la tableta justo antes de que la IA tome su decisión.

El artículo demuestra que este enfoque de "indexación" es la clave. En una prueba donde desactivaron el paso de "recuperar desde el archivo", la capacidad del sistema para encontrar información oculta (llamada búsqueda de "aguja en un pajar") cayó al 0%. Esto confirma que las tarjetas de pistas son solo para la ruta; el contenido real vive en el archivo.

Los Resultados: Ahorros Masivos con Casi Ningún Costo

El artículo midió esto en varios modelos (específicamente la familia Qwen3, que va desde 0,6 mil millones hasta 14 mil millones de parámetros). Esto es lo que encontraron:

Ahorro de Memoria: Con una longitud de contexto de 32.000 tokens, Tamarin reduce el uso de memoria de la GPU entre 12 y 28 veces. Por ejemplo, un modelo que normalmente necesita 4,5 GiB de memoria para el caché a 32K tokens solo necesita unos 172 MiB en la GPU. El resto vive en la memoria RAM de la CPU.
Calidad: Para modelos más grandes (4B y 8B de parámetros), la calidad es casi idéntica a la versión sin comprimir. La "perplejidad" (una medida de cuánto se confunde la IA) solo aumenta entre un 0,1% y un 0,4%. La IA está de acuerdo con la versión original en el 96% al 97% de las palabras que elige.
Recuperación: En pruebas con 500 intentos para encontrar un código oculto en diferentes profundidades del texto, el modelo de 8B encontró el código 500 de 500 veces, igualando estadísticamente a la línea base sin comprimir.

Lo que el Artículo Descarta y Donde Falla

Los autores son muy claros sobre lo que esto no es y dónde tiene dificultades:

No es una mejora de velocidad: El artículo establece explícicamente que Tamarin no hace que la IA sea más rápida. De hecho, debido a que tiene que recuperar datos del archivo de la CPU, la velocidad a 32K tokens cae a aproximadamente el 17–18% de la velocidad normal. El intercambio es capacidad (meter más texto) por velocidad.
No funciona perfectamente en modelos diminutos: Para el modelo más pequeño probado (0,6 mil millones de parámetros), el costo de calidad es mayor. El artículo señala un aumento del 6–10% en la perplejidad cuando se usan pesos de 4 bits, lo cual se considera un fallo para ese tamaño específico.
No es una solución mágica para todas las familias de IA: El método funciona muy bien en los modelos Qwen3, pero cuando lo probaron en una familia diferente (Mistral-7B), los resultados fueron desordenados, con una caída de 20 puntos porcentuales en la precisión en ciertas profundidades. Los autores sospechan que esto se debe a que Mistral carece de un paso específico de "normalización" que Qwen posee, lo que hace que las "tarjetas de pistas" sean más difíciles de leer.
Un punto de control específico "frágil": Incluso en el modelo de 14B, hubo dos puntos específicos en el texto donde el sistema tuvo dificultades para encontrar la aguja oculta, cayendo al 80,4% de precisión. El artículo atribuye esto a un fallo específico en el entrenamiento de ese modelo, no al método en sí.

La Conclusión

El artículo sugiere que, para modelos grandes (4B en adelante), Tamarin es una forma probada de meter cantidades masivas de texto en una memoria limitada sin borrar la información permanentemente. Convierte el problema de "quedarse sin espacio" en un problema de "gestionar un índice". Aunque ralentiza las cosas y requiere un ajuste cuidadoso para diferentes tipos de IA, resuelve con éxito el cuello de botella de la memoria para tareas de contexto largo donde mantener cada pieza de información es crítico.

Resumen Técnico: Tamarin (HSQ) – Compresión Jerárquica Reversible del KV-Cache

1. El Problema

En la inferencia de modelos de lenguaje de gran tamaño (LLM) autorregresivos, el caché de Clave-Valor (KV) es el consumidor dominante de la memoria GPU, particularmente en escenarios de contexto largo. A diferencia de los pesos del modelo, que pueden cuantizarse una vez, el caché KV crece linealmente con la longitud del contexto. Por ejemplo, un modelo Qwen3-8B en fp16 requiere aproximadamente 4.5 GiB de VRAM para un contexto de 32K tokens, lo que a menudo excede la capacidad de las GPUs estándar.

Las soluciones existentes enfrentan una dicotomía con un punto ciego compartido:

Cuantización de KV: Comprime todas las entradas a baja precisión (2–4 bits). Aunque es seguro, la relación de compresión está limitada (típicamente ~4× sobre fp16) y puede degradar la calidad en anchos de bits más bajos.
Evicción/Fusión de Tokens: Métodos como StreamingLLM, H2O y SnapKV descartan o fusionan permanentemente tokens considerados poco importantes durante la fase de prefill. Estos métodos logren altas relaciones de compresión pero son irreversibles. Si un token evictado tempranamente se vuelve crítico para una consulta generada en un paso de decodificación posterior, la información se pierde.

La limitación central del trabajo previo es que la importancia del token es una función de la consulta futura, y los métodos basados en la evicción deben predecir esto en el momento de la compresión sin el beneficio de ese contexto futuro.

2. Metodología: Tamarin (HSQ)

Tamarin (Cuantización Semántica Jerárquica, o HSQ) replantea la compresión del caché KV como un problema de indexación en lugar de un problema de eliminación. Mantiene tres representaciones sincronizadas del contexto, asegurando que cada token comprimido permanezca direccionable y recuperable.

La Arquitectura de Tres Niveles

L1 (Nivel Focal, GPU): Un conjunto pequeño de tokens no resumidos almacenados como vectores cuantizados de 4 bits. Esto incluye sumideros de atención (attention sinks), una ventana reciente opcional y tokens marcados explícitamente como importantes por un lector aprendido.
L2 (Nivel de Resumen, GPU): Los tokens restantes se particionan en grupos (tamaño $N \in \{8, 16\}$ ). Cada grupo se comprime en dos vectores representativos aprendidos ( $\hat{k}, \hat{v}$ ) almacenados con una precisión de 3 bits. Crucialmente, estos vectores actúan como claves de enrutamiento, no como reemplazos de contenido.
L3 (Nivel de Archivo, CPU RAM): Las claves y valores originales (cuantizados) para cada token comprimido se almacenan en la RAM de la CPU con una precisión de 4 bits. Este sirve como la fuente de verdad para el contenido.

El Proceso de Decodificación

Durante la decodificación, el proceso opera como una búsqueda de índice reversible:

Enrutamiento: Un enrutador por cabeza califica las claves de resumen de L2 contra la consulta actual.
Recuperación (Fetching): Basándose en un presupuesto de enrutamiento ( $\beta$ ), el enrutador selecciona los grupos con mayor puntuación. El sistema recupera los tokens originales correspondientes del archivo L3 en la CPU, los descuantiza en la GPU y los rota a sus posiciones semánticas.
Atención: El mecanismo de atención se ejecuta sobre la unión de los tokens de L1, los resúmenes de L2 y los originales de L3 restaurados. Los resúmenes de L2 se enmascaran para los grupos donde se recuperaron los originales para evitar el doble conteo.

Componentes Técnicos Clave

Lector (Reader): Un MLP pequeño que califica la importancia de los tokens basándose en los estados ocultos tempranos del decodificador. Dirige los tokens a L1, L2 (grupos medianos) o L2 (grupos bajos).
Compresor: Un agrupador de atención cruzada tipo Perceiver que genera las claves de enrutamiento de 3 bits. Está entrenado para clasificar grupos de manera efectiva bajo las proyecciones de consulta del modelo, no para reconstruir el contenido.
Cuantización (TurboQuant): Utiliza cuantización escalar aleatorizada con una rotación ortonormal aleatoria fija para decorrelacionar las coordenadas. L1 y L3 usan precisión de 4 bits; L2 usa precisión de 3 bits.
Implementación: Implementado como una librería de Python de ~9K líneas sobre HuggingFace Transformers, que no requiere kernels de CUDA personalizados ni modificaciones en los pesos del modelo.

3. Contribuciones Clave

Arquitectura: Una jerarquía reversible de tres niveles que separa el enrutamiento (L2) del contenido (L3), permitiendo altas relaciones de compresión sin pérdida permanente de información.
Metodología de Validación: Un marco estadístico riguroso utilizando ensayos pareados ( $n=500$ por celda), pruebas exactas de McNemar, TOST (Pruebas de un solo lado) para equivalencia en recuperación binaria, y márgenes de no inferioridad de un solo lado para la perplejidad.
Hallazgos sobre Escalamiento: El método demuestra que los costos de calidad disminuyen a medida que el tamaño del modelo aumenta, y se compone libremente con la cuantización de pesos de 4 bits para modelos $\ge$ 4B de parámetros.
Código Abierto: Lanzamiento del paquete beta HSQ bajo Apache 2.0, incluyendo adaptadores de modelo y herramientas de evaluación.

4. Resultados

Evaluado en la familia Qwen3 (0.6B–14B) con pesos en fp16, int8 e int4, y contextos de hasta 32K:

Relación de Compresión: Tamarin reduce el caché KV residente en GPU entre 12–28× (por ejemplo, Qwen3-8B a 32K cae de 4.5 GiB a 172 MiB en GPU, con 2.29 GiB en CPU).
Rendimiento de Recuperación:
- En modelos de 4B y 8B, la recuperación es estadísticamente equivalente a la línea base (equivalencia TOST) en todas las profundidades.
- Con un contexto de 32K, Qwen3-8B-int4 logra una paridad de recuperación de aguja (needle retrieval) de 500/500 con cero pares discordantes.
Sobrecarga de Perplejidad (PPL):
- Para modelos de 4B–14B, la sobrecarga de PPL es mínima (0.1–0.4%).
- En modelos de 4B, la perplejidad multilingüe fue medida por debajo de la línea base (ratio 0.9972), lo que sugiere que el costo de compresión está por debajo del umbral de medición.
- Los modelos pequeños (0.6B) incurren en costos más altos (4–6% en fp16, 6–10% en int4).
Acuerdo de Tokens: El acuerdo de tokens por método codicioso (greedy) es del 96–97% con la línea base para modelos de 4B–14B.
Velocidad:
- La sobrecarga de prefill se amortiza en contextos más largos (1.2–1.3× a 32K).
- El rendimiento de decodificación (throughput) es actualmente un cuello de botella, operando al 40–73% de la línea base para contextos de hasta 8K, y cayendo al 17–18% a 32K debido al costo de recuperación y descuantización desde la CPU.

5. Reivindicaciones y Significado

El artículo afirma que Tamarin logra cambiar el paradigma de la gestión del caché KV de la eliminación al indexación. Al diferir la decisión de qué tokens son "importantes" hasta el momento de la consulta (mediante el enrutador), el sistema evita la irreversibilidad de los métodos de evicción.

Reivindicaciones Específicas:

Capacidad sobre Latencia: Tamarin se presenta como una solución para ajustar contextos más grandes y tamaños de lote (batch sizes) en memorias GPU limitadas, no para reducir la latencia.
Reversibilidad: Cada token comprimido es direccionable; el sistema no descarta información de forma permanente.
Escalamiento del Modelo: El método se vuelve más efectivo a medida que la capacidad del modelo aumenta, con modelos de 4B y 8B mostrando una equivalencia casi perfecta con las líneas base.
Composición: Funciona sin problemas con la cuantización de pesos de 4 bits para modelos de al menos 4B de parámetros sin costo adicional mensurable.

Limitaciones y Fronteras Explícitas:

Modelos Pequeños: Los modelos por debajo de 4B parámetros (específicamente 0.6B) sufren de la acumulación de ruido, lo que conduce a una mayor sobrecarga de PPL.
Checkpoints Frágiles: El checkpoint de Qwen3-14B-int4 mostró "huecos" estrechos en la recuperación de aguja única en profundidades específicas, atribuidos a la fragilidad de la cuantización más que al método en sí.
Familias de Modelos: El método está validado estadísticamente en Qwen3. Una prueba inicial en Mistral-7B mostró un "efecto de familia" con rendimiento degradado, hipotetizado como causado por la ausencia de normalización de clave por cabeza.
Throughput: La implementación actual intercambia velocidad de decodificación por capacidad de memoria, con penalizaciones significativas de rendimiento en contextos muy largos (32K).

El artículo concluye que Tamarin ofrece un camino práctico y reversible para la inferencia de contexto largo en GPUs de consumo y centros de datos, siempre que el usuario acepte el compromiso actual de una reducción en el rendimiento de decodificación a cambio de ahorros masivos de memoria.