🤖 AI

Governing the KV Cache: Preventing Timing Side-Channel Leakage in Multi-Tenant LLM Inference

Este artículo presenta KVGov, una capa de gobernanza que evita los ataques de canal lateral de tiempo en la inferencia de LLM multi-inquilino mediante el aislamiento criptográfico de las claves de la caché KV entre inquilinos a través de un salado por principal y un planificador de auditoría, eliminando así la fuga entre inquilinos mientras preserva el 93% de la eficiencia de la caché de prefijos.

Autores originales: Tejasvi C. Addagada

Publicado 2026-08-11

📖 9 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Tejasvi C. Addagada

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina una biblioteca bulliciosa y de alta tecnología donde un bibliotecario mágico (la IA) puede responder cualquier pregunta que tengas. Para ser superrápido, este bibliotecario mantiene una "hoja de referencia" con los comienzos de las historias más comunes justo en su escritorio. Si le haces una pregunta que comienza con las mismas palabras que la de otra persona, el bibliotecario no necesita volver a leer todo el libro; simplemente echa un vistazo a la hoja de referencia y salta directamente a la respuesta. Esto es increíblemente eficiente, ahorrando una enorme cantidad de tiempo. Sin embargo, en una biblioteca concurrida con muchas personas diferentes (inquilinos) usando el mismo escritorio, una persona astuta podría descubrir qué están leyendo los demás. No necesitarían ver el libro; solo tendrían que observar cuánto tiempo tarda el bibliotecario en encontrar la respuesta. Si el bibliotecario toma la respuesta instantáneamente, el astuto sabe: "¡Ah, deben haber preguntado por la misma historia que yo acabo de preguntar!". Si el bibliotecario tiene que caminar hacia los estantes del fondo, significa que la historia es nueva. Al cronometrar estos diminutos retrasos, un actor malintencionado podría reconstruir los secretos privados o los prompts de otras personas, convirtiendo una característica de velocidad en una filtración de seguridad.

Este artículo aborda exactamente ese problema en el mundo de los Grandes Modelos de Lenguaje (LLM), los chatbots de IA superinteligentes que usamos hoy en día. Estos modelos utilizan un "caché KV" (la hoja de referencia) para acelerar las respuestas recordando partes anteriores de una conversación. El autor descubrió que, en entornos compartidos, este truco de velocidad crea un "canal lateral de tiempo" (timing side channel): una señal secreta oculta en cuánto tardan las cosas. Encontró que tres grupos diferentes de hackers ya han demostrado cómo usar esta señal para robar prompts privados con un éxito cercano al 100%. El artículo propone un nuevo sistema llamado KVGov para solucionar esto. En lugar de simplemente intentar ocultar el tiempo (lo cual es difícil), KVGov cambia las reglas del juego para que la hoja de referencia sea completamente diferente para cada usuario. Es como darle a cada visitante de la biblioteca su propia tinta invisible y única que hace que su hoja de referencia específica sea ilegible para cualquier otro. El autor demuestra, mediante simulaciones y pruebas de hardware real, que este método detiene en seco los tres tipos de ataques, manteniendo la biblioteca lo suficientemente rápida como para ser útil. También introduce un sistema de "guardia de seguridad" inteligente que sabe exactamente a quién vigilar más de cerca, y calcula el punto de inflexión en el que resulta más seguro dejar de compartir la hoja de referencia por completo.

El Gran Robo del Caché

Piensa en la memoria de la IA como una pizarra gigante y compartida. Cuando le haces una pregunta a la IA, ella escribe las partes clave de tu frase en la pizarra para no tener que recalculárselas si haces una pregunta similar más tarde. Esto es el caché KV. En una configuración multi-inquilino (donde muchas empresas o usuarios diferentes comparten el mismo servidor de IA), todos comparten esta pizarra para ahorrar tiempo.

El problema es que la pizarra es demasiado obvia. Si un usuario astuto (el atacante) pregunta "¿Cuál es la capital de Francia?" y la IA responde instantáneamente, el atacante sabe: "¡Oh, alguien más debe haber preguntado eso recientemente!". Si la IA tarda un tiempo, el atacante sabe: "Nadie ha preguntado eso todavía". Al probar miles de preguntas diferentes y cronometrar las respuestas, el atacante puede mapear exactamente qué están preguntando otras personas, incluso si no pueden ver las respuestas en sí mismas. Esto se llama un ataque de canal lateral de tiempo (timing side-channel attack).

El artículo destaca tres formas específicas en las que los hackers han usado esto:

PROMPTPEEK: El hacker adivina una lista de posibles preguntas y las cronometra todas. Si su tiempo coincide con el patrón de la víctima, sabe exactamente qué preguntó la víctima.
EarlyBird: El hacker intenta adivinar la pregunta de la víctima palabra por palabra. Si la IA es rápida, sabe que adivinó la palabra correcta.
InputSnatch: Esto es para preguntas estructuradas, como completar un formulario. El hacker conoce la plantilla (por ejemplo, "Mostrar transacciones para la cuenta [NÚMERO]") y solo prueba diferentes números hasta que la IA es rápida, revelando el número de cuenta secreto.

El autor probó esto en hardware real (una GPU NVIDIA A100) y encontró que la diferencia de tiempo es enorme: una solicitud "fría" (información nueva) tomó 149.6 milisegundos, mientras que una solicitud "en caché" (información reutilizada) tomó solo 32.8 milisegundos. Ese es un ratio de 0.22, una señal masiva y fácil de detectar para un hacker.

La Solución: KVGov y la Tinta Mágica

El artículo presenta KVGov, una nueva capa de seguridad que actúa como un portero. Su truco principal es el aislamiento de espacio de nombres con clave HMAC.

Imagina que cada usuario en la biblioteca tiene un sello único y secreto (una "sal" o salt). Cuando el bibliotecario escribe una pregunta en la pizarra, primero la sella con la tinta secreta del usuario. Incluso si dos personas hacen exactamente la misma pregunta, la tinta hace que la entrada en la pizarra se vea completamente diferente para todos los demás.

Cómo funciona: El sistema toma el ID del usuario y una clave secreta para crear un código único. Este código se mezcla en el primer paso de la creación de la clave del caché.
El Resultado: Si un hacker intenta adivinar qué preguntó la víctima, su propio sello secreto no coincidirá con el de la víctima. La sonda del hacker siempre parecerá un "fallo" (lento) porque su código no coincide con el código de la víctima en la pizarra. La señal de tiempo desaparece.

El autor realizó 1,000 ensayos simulados y encontró que este "HMAC-salt" por sí solo fue suficiente para reducir la tasa de éxito del ataque del 100% al 0% para los tres tipos de ataques. Fue la única parte de su sistema que era estrictamente necesaria; las otras partes solo añadían capas adicionales de seguridad.

Manteniendo la Biblioteca Rápida (El Truco del Límite)

Podrías pensar: "Si cada uno tiene su propia pizarra secreta, ¿no se volverá lenta la biblioteca?". Si hiciéramos que cada usuario tuviera una pizarra totalmente separada, perderíamos el beneficio de velocidad de compartir preguntas comunes (como "¿Hola, cómo estás?").

El artículo ofrece un arreglo ingenioso llamado Salado de Límite (Boundary Salting).
Imagina una historia donde las primeras 2,000 palabras son iguales para todos (el preámbulo compartido) y solo las últimas 100 palabras son diferentes (la parte privada).

Forma antigua: Sellar toda la historia con tinta secreta. Nadie puede compartir las primeras 2,000 palabras.
Forma de KVGov: Dejar las primeras 2,000 palabras sin sellar para que todos puedan compartirlas. Sellar solo la primera palabra donde las historias divergen.
La Recompensa: Esto mantiene el 93% del beneficio de velocidad mientras mantiene las partes privadas en secreto. El autor estima que con una introducción compartida de 2,000 palabras y una cola privada de 119 palabras, el sistema seguiría siendo increíblemente rápido (alrededor de 41.2 ms para la parte privada), reteniendo la mayor parte de la eficiencia.

El Guardia de Seguridad Inteligente: ORIGAMI

Incluso con la tinta mágica, el autor quería asegurarse de que nadie intentara colarse. Crearon ORIGAMI, un programador de auditoría inteligente.

Imagina que el gerente de la biblioteca tiene un presupuesto limitado de guardias de seguridad. No pueden vigilar a todo el mundo todo el tiempo. ORIGAMI utiliza una estrategia matemática (llamada enfoque de llenado de agua de Stackelberg) para decidir a quién vigilar.

La Lógica: Si un usuario es muy valioso (alto riesgo) y tiene un historial de comportamiento sospechoso, recibe más guardias. Si un usuario es de bajo riesgo, recibe menos.
El Resultado: En simulaciones con 10 inquilinos y una mezcla realista de tipos de usuarios (un "coeficiente de Gini" de 0.63), este programador inteligente redujo el éxito esperado del atacante en un 12.6% en comparación con simplemente elegir personas al azar para vigilar.

Cuándo Dejar de Compartir

Finalmente, el artículo plantea una gran pregunta: "¿Cuándo es mejor dejar de compartir la pizarra por completo?".

Utilizaron un concepto llamado Estabilidad Evolutiva para encontrar un punto de inflexión. Modelaron una población de usuarios donde algunos comparten el caché (rápido pero arriesgado) y otros no (lento pero seguro).

El Hallazgo: Si el porcentaje de hackers en el sistema supera el 31.6%, matemáticamente es mejor para todos dejar de compartir el caché y volver a tener sus propias pizarras privadas. Por debajo de ese número, compartir sigue siendo la estrategia ganadora. Esto le da a los gerentes de la biblioteca una regla clara: si sospechas que más de aproximadamente 1 de cada 3 usuarios son actores malintencionados, deja de compartir el caché.

Lo Que Esto No Hace

El artículo es muy claro sobre lo que no resuelve.

No detiene a los hackers de robar el cerebro de la IA (los pesos del modelo).
No detiene a los hackers de engañar a la IA para que diga cosas malas (inyección de prompts).
No arregla los "cachés semánticos" (donde la IA coincide ideas en lugar de palabras exactas). Para esos, se necesitaría un tipo de cerradura diferente.
El ataque EarlyBird (adivinar palabra por palabra) es bloqueado en su mayoría por los motores de IA más nuevos que usan "bloques" de palabras más grandes, pero el autor advierte que para formularios estructurados (como números de cuenta), el tamaño del bloque no importa: la filtración de tiempo sigue ahí.

La Conclusión

El autor demostó que la mejora de velocidad que amamos en la IA viene con un costo oculto: una señal de tiempo que filtra información privada. Demostró que simplemente ocultar la señal no es suficiente; hay que romper el vínculo entre el usuario y el caché. Al usar una "tinta mágica" criptográfica (HMAC-salt) y aplicarla solo donde comienzan los secretos, KVGov detiene las filtraciones por completo mientras mantiene la IA rápida. Es una victoria para la privacidad que no requiere ralentizar el futuro de la IA.

Resumen Técnico: Gobernando el Caché KV (KVGov)

1. Planteamiento del Problema

Los motores de inferencia de Modelos de Lenguaje Grande (LLM) modernos (por ejemplo, vLLM, SGLang) utilizan cachés de Clave-Valor (KV) para almacenar estados de atención de prefijos de tokens previamente computados. Este mecanismo permite una optimación significativa del rendimiento al evitar la recomputación de prefijos compartidos, reduciendo el Tiempo de Primer Token (TTFT) de cientos de milisegundos a decenas de milisegundos.

En despliegues multi-inquilino (multi-tenant), este caché se comparte entre todos los inquilinos para maximizar las tasas de acierto (hit rates). Sin embargo, el artículo identifica una vulnerabilidad crítica: la distinción entre un acierto de caché (cache hit) y un fallo de caché (cache miss) es observable como una señal de tiempo. Debido a que las claves de caché se computan actualmente basándose únicamente en secuencias de tokens sin vincularlas al principal solicitante, un inquilino adversario puede sondear el caché para reconstruir los prompts privados de otro inquilino.

Tres familias de ataques independientes explotan esta señal lateral de tiempo (timing side channel):

PROMPTPEEK (Wu et al., 2025): Utiliza la huella digital del TTFT a través de un vocabulario conocido para correlacionar vectores de tiempo con huellas digitales precomputadas de la víctima, logrando una Tasa de Éxito de Ataque (ASR) de hasta el 100% en cachés de árbol radix.
EarlyBird (Song et al., 2024): Reconstruye prompts token por token observando aciertos de caché a granularidad de un solo token (tamaño de bloque=1). Aunque vLLM 0.26.0 eliminó el tamaño de bloque=1, el artículo argumenta que esta protección falla contra prompts estructurados por plantillas, donde el espacio de búsqueda está limitado por el dominio del campo en lugar del vocabulario completo.
InputSnatch (Zheng et al., 2024b): Se dirige tanto a cachés de prefijo como semánticos. Contra cachés de prefijo, reconstruye prompts estructurados campo por campo; contra cachés semánticos, explora espacios de incrustación (embeddings) mediante agrupamiento jerárquico.

La causa raíz es la ausencia de aislamiento de espacio de nombres (namespace isolation) por cada principal en la computación de la clave de caché.

2. Metodología: El Marco de Trabajo KVGov

El autor presenta KVGov, una capa de gobernanza unificada diseñada para eliminar la causa raíz de estos ataques sin modificar los pesos del modelo o los procesos de generación.

2.1 Aislamiento de Espacio de Nombres Mediante Clave HMAC

El mecanismo central vincula la resolución del caché al principal autenticado.

Mecanismo: Una sal $\sigma_p$ por cada principal se deriva utilizando una función HMAC: $\sigma_p = \text{HMACK}(\text{secret}, \text{principal id})$ .
Implementación: Esta sal siembra la cadena de hash de bloques. Para un tamaño de bloque $B$ , el primer hash de bloque se convierte en $h_0 = H(\sigma_p \parallel \text{tokens}_{0..B-1})$ . Los bloques subsecuentes se encadenan desde esta raíz.
Efecto: Debido a que la sal se deriva de un secreto del servidor desconocido para el adversario, las claves de caché para la misma secuencia de tokens se vuelven criptográficamente disjuntas entre diferentes principales. Las sondas de un adversario nunca alcanzarán las entradas de caché de una víctima, resultando en un patrón de tiempo de "todo FALLO" (all-MISS) independientemente del estado real del caché de la víctima.

2.2 Salado de Frontera (Optimización de Eficiencia)

Para abordar la posible pérdida de eficiencia del caché entre principales, el artículo propone el Salado de Frontera (Boundary Salting).

Concepto: En lugar de salar la raíz de la cadena (lo que aislaría cada bloque), la sal se inyecta únicamente en la frontera de divergencia ( $k$ ) donde termina el preámbulo compartido y comienza el contenido privado.
Lógica: Los bloques $0 $a$ k-1$ (preámbulo compartido) permanecen globalmente direccionables y compartidos. Los bloques $k$ en adelante están criptográficamente aislados.
Beneficio: Esto retiene el beneficio del caché de prefijo para la porción compartida de los prompts (por ejemplo, instrucciones del sistema) mientras evita la filtración de tiempo para la porción privada. El artículo estima que esto retiene aproximadamente el 93% del beneficio del caché de prefijo.

2.3 ORIGAMI: Programador de Auditoría Stackelberg

Para detectar comportamientos de sondeo anómalos, KVGov incorpora ORIGAMI, un programador de auditoría basado en la teoría de juegos de Stackelberg.

Mecanismo: Asigna un presupuesto de auditoría finito entre los inquilinos utilizando un algoritmo dual de "llenado de agua" (water-filling).
Objetivo: Minimizar la utilidad esperada del adversario auditando a los inquilinos con el mayor "valor en riesgo" ( $v_i$ ) en proporción a su riesgo, en lugar de auditar de forma aleatoria.
Resultado: La solución iguala la compensación (payoff) del adversario entre los objetivos auditados, evitando que se concentren en inquilinos de alto valor no monitoreados.

2.4 Análisis de Estabilidad Evolutiva

El artículo modela la selección del alcance del caché (global vs. efímero) como un juego evolutivo.

Hallazgo: Identifica un punto de inflexión al 31.6% de prevalencia del adversario. Por debajo de este umbral, el caché global es evolutivamente estable; por encima de este, el caché efímero (aislado) se convierte en la estrategia estable.

3. Contribuciones Clave

Defensa Unificada: KVGov es el primer sistema que derrota simultáneamente las tres familias de ataques (PROMPTPEK, EarlyBird e InputSnatch) al abordar la causa raíz (falta de aislamiento de espacio de nombres) en lugar de la ofuscación del tiempo.
Mecanismo Necesario y Suficiente: Un estudio de ablación demuestra que el HMAC-salt por sí solo es el componente necesario y suficiente para la garantía de privacidad, reduciendo la ASR a 0% en todos los ataques. Otros componentes (inyección de ruido, control de admisión) proporcionan defensa en profundidad pero no son estrictamente requeridos para la corrección criptográfica central.
Validación de Hardware: El artículo confirma la existencia del canal lateral de tiempo en hardware real (NVIDIA A100, vLLM 0.26.0, Qwen2.5-7B), midiendo una relación de TTFT frío/cacheado de 0.22 (muy por debajo del umbral de brecha de 0.40). El canal también fue replicado en un stack independiente (Apple M4, llama.cpp) con una relación de 0.093.
Jueces Deterministas: La evaluación reemplaza a los jueces heurísticos basados en LLM con jueces deterministas específicos del ataque (correlación de Pearson, superposición exacta de tokens, tasa de recuperación de tokens), asegurando un 100% de precisión en el modelo de ataque simulado.
Preservación de la Eficiencia: El enfoque de "Boundary Salting" demuestra que el aislamiento y la eficiencia del caché no son mutuamente excluyentes; inyectar la sal en la frontera de divergencia retiene la mayor parte de los beneficios de la reutilización de prefijos.

4. Resultados

Tasa de Éxito de Ataque (ASR): Bajo la defensa KVGov (específicamente HMAC-salt), la ASR para PROMPTPEEK, EarlyBird e InputSnatch cae al 0.0% en la simulación.
Defensas Parciales: El vaciado en el límite de sesión (una defensa parcial) deja a PROMPTPEEK con un 19.5% de ASR e InputSnatch con un 9.8% de ASR, demostrando la insuficiencia del simple vaciado (flushing).
Rendimiento de ORIGAMI: En cargas de trabajo empresariales con alta heterogeneidad de valor (Gini = 0.63), ORIGAMI logra una reducción del 12.6% en la utilidad esperada del adversario en comparación con la auditoría aleatoria.
Sobrecarga (Overhead): La sobrecarga criptográfica de la derivación de HMAC-salt es insignificante (~1.3 µs por solicitud), lo que representa menos del 0.005% de la latencia del TTFT cacheado.
Estabilidad Evolutiva: Las simulaciones confirman que el caché global domina cuando la prevalencia del adversario es inferior al 31.6%, mientras que el caché efímero prevalece por encima de este umbral.

5. Significancia y Reivindicaciones

El artículo afirma que KVGov altera fundamentalmente la postura de seguridad de la inferencia de LLM multi-inquilino al pasar de la ofuscación (que es frágil y a menudo ineficaz contra prompts estructurados) al aislamiento criptográfico.

Eliminación de la Causa Raíz: Al vincular las claves de caché a los principales autenticados mediante un hashing resistente a colisiones, el artículo argumenta que el oráculo de tiempo se elimina efectivamente. Las sondas de un adversario ya no pueden resolver las entradas de una víctima, haciendo que la señal de tiempo sea carente de información.
Escalabilidad: La defensa es ligera y desplegable junto con los motores existentes (vLLM, SGLang) sin requerir cambios en la arquitectura del modelo subyacente o en los mecanismos de atención.
Perspectiva de Gobernanza: El artículo enmarca la gestión del caché no solo como una optimización de infraestructura, sino como un problema de gobernanza. Proporciona criterios cuantitativos (el punto de inflexión del 31.6%) y herramientas algorítmicas (ORIGAMI) para que los operadores tomen decisiones informadas sobre el alcance del caché basadas en su panorama de amenazas.

El autor señala explícitamente las limitaciones: la defensa cubre cachés de prefijo con claves de hash, pero requiere una instanciación diferente (partición de índices) para los cachés semánticos. Además, aunque el salado de frontera es teóricamente eficiente, su medición de extremo a extremo en motores de producción se identifica como trabajo futuro.