Resumen Técnico: CachePrune

Declaración del Problema

Los Modelos de Lenguaje Grande (LLM) dependen de la caché de Valores Clave (KV) para acelerar la inferencia, y los sistemas de servicio modernos a menudo comparten cachés KV entre diferentes usuarios para reducir el cómputo redundante y el uso de memoria. Sin embargo, el intercambio cruzado entre usuarios sin restricciones introduce vulnerabilidades significativas de canal lateral. Los adversarios pueden sondear el sistema con secuencias de tokens específicas; si el sistema reutiliza entradas KV en caché (detectado mediante latencia reducida o prioridad de programación), el adversario puede inferir la presencia de esos tokens en el prompt de una víctima, reconstruyendo potencialmente entradas sensibles.

Las defensas actuales suelen deshabilitar por completo el intercambio entre usuarios para prevenir la fuga de información. Este enfoque de "todo o nada" es excesivamente de gran tamaño. En la práctica, los prompts de los usuarios contienen contenido sustancialmente irrelevante para la privacidad (por ejemplo, instrucciones del sistema, plantillas públicas o pasajes recuperados en pipelines RAG), donde los tokens sensibles (como información de identificación personal) a menudo constituyen una fracción diminuta de la entrada total (por ejemplo, ~2.3% de la entrada del usuario). Deshabilitar todo el intercambio sacrifica ganancias significativas de eficiencia. Además, los mecanismos de intercambio de gran tamaño existentes (por ejemplo, CacheBlend, CacheCraft) operan a niveles de bloques fijos (por ejemplo, 512 tokens). Si un solo token sensible cae dentro de un bloque, todo el bloque debe descartarse, lo que conduce a una pérdida sustancial de contenido reutilizable.

Metodología: CachePrune

Los autores proponen CachePrune, un mecanismo de intercambio de caché KV consciente de la privacidad que habilita la reutilización de gran tamaño, a nivel de token de entradas KV no sensibles. El sistema está diseñado para romper el compromiso entre privacidad y eficiencia al compartir selectivamente solo segmentos irrelevantes para la privacidad.

Arquitectura del Sistema

CachePrune integra cinco componentes principales sobre marcos existentes como vLLM:

1. Detector de Sensibilidad: Una interfaz plug-and-play (que admite reglas definidas por el usuario, expresiones regulares o clasificadores como Presidio) que identifica tokens sensibles en un prompt y genera una máscara binaria de sensibilidad.
2. Anotador KV: Post-inferencia, este módulo analiza la matriz de puntuaciones de atención para derivar segmentos reutilizables de los tokens no sensibles. Identifica segmentos "auto-contextualizados" donde la atención intra supera a la atención inter.
3. Recuperador KV: Antes de generar una respuesta, este módulo busca en el Pool de KV segmentos que coincidan con los tokens no sensibles de la solicitud entrante utilizando un algoritmo basado en hash de desplazamiento.
4. Motor LLM: Completa la inferencia calculando las entradas KV faltantes y recomputando tokens específicos dentro de los segmentos reutilizados para mantener la calidad de generación.
5. Pool de KV: Almacena e indexa segmentos KV reutilizables, gestionando su ciclo de vida y expulsión.

Soluciones Algorítmicas Clave

El sistema aborda dos desafíos principales:

1. Derivar Eficientemente Segmentos KV Reutilizables (Desafío 1)

• Problema: Determinar la reutilizabilidad a nivel de token requiere evaluar dependencias de atención para subcadenas arbitrarias. Un enfoque ingenuo que verifica todas las subcadenas contra la matriz de atención resulta en una complejidad de $O(n^4)$, lo cual es prohibitivo.
• Solución: CachePrune emplea un algoritmo de tabla de área acumulada (imagen integral) en la matriz de puntuaciones de atención. Esto permite al sistema calcular sumas de atención intra e inter para cualquier subcadena candidata en tiempo $O(1)$ después de un paso de preprocesamiento de $O(n^2)$. Esto reduce la complejidad general de encontrar segmentos reutilizables óptimos a $O(n^2)$.
• Estrategia de Recomputación: Dentro de un segmento reutilizable, los tokens con alta atención inter (dependencia del contexto externo) se marcan para recomputación para preservar la calidad de salida.

2. Recuperar Eficientemente Segmentos de Longitud Variable (Desafío 2)

• Problema: A diferencia de los bloques de tamaño fijo, el intercambio a nivel de token produce segmentos de longitud variable. Las búsquedas directas de hash fallan porque un desplazamiento de un solo token rompe la alineación, convirtiendo la recuperación en un problema de contención de subcadenas con complejidad $O(n \times m)$ para una búsqueda ingenua.
• Solución: El sistema utiliza un algoritmo de recuperación basado en hash de desplazamiento.
  • Filtrado de Prefijos: Precomputa hashes para los primeros 128 tokens de los segmentos en caché. Las solicitudes entrantes se escanean con una ventana deslizante para encontrar coincidencias potenciales en tiempo $O(n)$.
  • Verificación Completa: Los candidatos sufren una verificación rápida de hash de prefijo seguida de una verificación de hash criptográfico (SHA-256) para garantizar la corrección sin comparación token por token.

Contribuciones Clave

1. Primer Sistema de Intercambio de Gran Tamaño Práctico: CachePrune es el primer sistema que habilita el intercambio selectivo de caché KV a nivel de token, rompiendo efectivamente el compromiso privacidad-eficiencia al reutilizar entradas no sensibles mientras bloquea las sensibles.
2. Innovaciones Algorítmicas: El artículo introduce un algoritmo adaptativo que utiliza tablas de área acumulada para la derivación eficiente de segmentos y un mecanismo de hash de desplazamiento para la recuperación de longitud variable, superando las limitaciones de los enfoques de bloques fijos.
3. Evaluación Exhaustiva: Los autores implementan CachePrune en vLLM y lo evalúan en tres conjuntos de datos (QASPER, NarrativeQA, QMSum) y múltiples modelos (Mistral-7B, Qwen2.5).

Resultados

La evaluación demuestra que CachePrune logra ganancias significativas de eficiencia sin comprometer la privacidad ni la calidad de generación:

• Privacidad:
  • Fuga Directa: Los tokens marcados como sensibles no pueden recuperarse mediante canales laterales basados en reutilización (tasa de recuperación exacta del 0%).
  • Fuga Contextual: La inferencia de contenido sensible a partir de tokens no sensibles permanece limitada (2.2% exacto y 6.4% de recuperación semántica bajo ataques SOTA).
  • Detección Imperfecta: El sistema es robusto ante errores de detección; los falsos negativos aumentan la fuga directa, mientras que los falsos positivos reducen conservadoramente la fuga contextual.
• Eficiencia:
  • Reducción de TTFT: CachePrune reduce el Tiempo hasta el Primer Token (TTFT) hasta en 4.5x en comparación con las líneas base sin intercambio.
  • Tasas de Acierto: Logra hasta un 94.57% de reutilización de caché KV.
  • Ventaja de Gran Tamaño: Incluso sin restricciones de privacidad, el intercambio a nivel de token de CachePrune mejora las tasas de acierto de caché en un 44% en comparación con los métodos de bloques fijos más avanzados (CacheCraft, CacheBlend, EPIC).
• Calidad: La calidad de generación (medida por puntuación F1 y ROUGE-L) permanece comparable a la recomputación completa, con desviación insignificante.

Significado y Afirmaciones

El artículo afirma que CachePrune proporciona una base práctica para el servicio seguro de LLM en entornos multiinquilino. Al ir más allá del fragmentado de tamaño fijo, maximiza el potencial de reutilización del contenido irrelevante para la privacidad (como prompts del sistema y datos públicos) mientras aísla estrictamente las entradas sensibles de los usuarios. Los autores enfatizan que su enfoque no requiere nuevos mecanismos de detección de privacidad, sino que se integra con los existentes para proporcionar una interfaz unificada para inferencia segura y de alto rendimiento. El trabajo destaca que la gestión KV de gran tamaño no solo es factible, sino esencial para equilibrar las demandas competitivas de privacidad y eficiencia en la infraestructura moderna de LLM.