SemantiCache: Efficient KV Cache Compression via Semantic Chunking and Clustered Merging

Resumen Técnico: SemantiCache

1. El Problema: Fragmentación Semántica en la Compresión de KV Cache

Los Modelos de Lenguaje Grandes (LLMs) enfrentan desafíos críticos en escenarios de contexto largo debido al alto costo de la inferencia autoregresiva. El cuello de botella principal es la memoria de caché de claves y valores (KV Cache), que crece linealmente con la longitud de la secuencia, agotando los recursos de la GPU y aumentando la latencia.

Las técnicas de compresión existentes se dividen en dos categorías:

• Basadas en expulsión (Eviction): Eliminan tokens considerados menos críticos.
• Basadas en fusión (Merging): Agrupan tokens para reducir el tamaño.

La limitación fundamental: Ambos enfoques operan sobre tokens discretos o fragmentos arbitrarios (no semánticos). Esto provoca una "fragmentación semántica", donde unidades lingüísticamente coherentes (frases, cláusulas, oraciones) se rompen. Esta ruptura causa una pérdida irreversible de información semántica crítica, degradando el rendimiento del modelo, especialmente en tareas de contexto largo.

2. Metodología: SemantiCache

SemantiCache es un marco de compresión novedoso que alinea el proceso de compresión con la naturaleza jerárquica y semántica del lenguaje, imitando la estrategia cognitiva humana para memorizar textos largos. Se compone de un pipeline de tres etapas:

A. Segmentación Semántica (Semantic Chunking)

• En lugar de usar tamaños fijos, el pipeline divide la caché KV en fragmentos semánticamente coherentes utilizando delimitadores naturales del lenguaje (puntos, comas, signos de interrogación, etc.).
• Estos delimitadores se preservan sin modificar para actuar como "anclas" estructurales, asegurando que las unidades lingüísticas completas no se rompan.

B. Agrupamiento por Similitud (Similarity Clustering)

• Dentro de cada fragmento coherente, se aplica un algoritmo de agrupamiento eficiente llamado Agrupamiento Basado en Semillas Codiciosas (GSC - Greedy Seed-Based Clustering).
• Mecanismo: Recorre secuencialmente los tokens. Un token no asignado se convierte en una "semilla" para un nuevo grupo. Esta semilla absorbe greedily (de forma codiciosa) todos los tokens subsiguientes no asignados cuyas representaciones de claves (Key vectors) tengan una similitud semántica (medida por el producto punto normalizado) superior a un umbral $\tau$.
• El resultado son clusters de tokens semánticamente relacionados dentro de una misma unidad lingüística.

C. Fusión Agrupada (Clustered Merging)

• Creación de Núcleos Semánticos: Para cada cluster generado, se calcula un único vector representativo (núcleo semántico) mediante promedio (mean-pooling) de sus vectores K y V.
• Mecanismo de Atención Proporcional: Para evitar que la fusión diluya la contribución de atención de los tokens combinados, se introduce un mecanismo de reponderación. Se añade el logaritmo del tamaño del cluster ($\log s$) a los logits antes de la función softmax. Matemáticamente, esto equivale a multiplicar las puntuaciones de atención por el tamaño original del cluster, asegurando que la influencia total del grupo fusionado sea proporcional a la suma de sus partes originales.

3. Contribuciones Clave

1. Identificación y Solución de la Fragmentación: Abordan explícitamente el problema de la fragmentación semántica en métodos existentes, proponiendo una solución que respeta la estructura jerárquica del lenguaje.
2. Marco de Compresión Cognitivo: Introducen un enfoque que emula la estrategia humana de segmentar texto en unidades completas y luego destilar sus conceptos centrales.
3. Algoritmo GSC y Atención Proporcional: Diseñan un algoritmo de agrupamiento ligero y de un solo paso (GSC) para una agregación eficiente, combinado con un mecanismo de atención proporcional que mitiga la dilución de información típica en la fusión de tokens.

4. Resultados Experimentales

Los experimentos se realizaron en modelos como Llama-3-8B y Mistral-7B utilizando benchmarks como LongBench y Needle-in-a-Haystack (NIAH).

• Rendimiento (Precisión):
  • SemantiCache supera consistentemente a los métodos basados en expulsión (StreamingLLM, H2O, SnapKV) y fusión (CaM, D2O) en LongBench.
  • En tareas de recuperación de información (NIAH) con contextos de hasta 32k tokens, mantiene una alta precisión (ej. 94.38% en Llama-3-8B con contexto de 8k), superando a todos los baselines.
• Eficiencia:
  • Velocidad: Acelera la fase de decodificación (TPOT) hasta en 2.61x en comparación con la caché completa.
  • Memoria: Reduce significativamente la huella de memoria (ej. 15.94 GB frente a 24.27 GB del modelo completo en Llama-3-8B con contexto de 32k).
• Estudios de Ablación:
  • La segmentación semántica es crucial: eliminarla o usar bloques de tamaño fijo reduce drásticamente la puntuación promedio en LongBench.
  • El umbral de similitud ($\tau$) permite ajustar el equilibrio entre la tasa de compresión y la precisión.

5. Significado e Impacto

SemantiCache representa un avance significativo en la inferencia eficiente de LLMs. Al pasar de una compresión basada en tokens arbitrarios a una basada en estructuras semánticas, el método logra:

• Preservar la fidelidad semántica: Evita la pérdida de información crítica que ocurre al romper oraciones o frases.
• Optimización de recursos: Permite ejecutar modelos en hardware con memoria limitada sin sacrificar la calidad de la respuesta.
• Escalabilidad: Facilita el manejo de contextos extremadamente largos, haciendo viable la aplicación de LLMs en dominios que requieren análisis de documentos extensos, manteniendo un rendimiento comparable al modelo original no comprimido.

En conclusión, SemantiCache demuestra que alinear la compresión técnica con la lingüística natural es la clave para superar las limitaciones actuales de la inferencia de LLMs en contextos largos.