🤖 AI

Can Transformer Memory Be Corrupted? Investigating Cache-Side Vulnerabilities in Large Language Models

Este artículo introduce la Inyección de Tokens Maliciosos (MTI, por sus siglas en inglés), un marco que demuestra que perturbar el caché de clave-valor durante la inferencia puede corromper sistemáticamente los modelos de lenguaje transformer, revelando la integridad del caché como una vulnerabilidad crítica y previamente pasada por alto en la seguridad de los LLM.

Autores originales: Elias Hossain, Swayamjit Saha, Somshubhra Roy, Ravi Prasad

Publicado 2026-02-03

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Elias Hossain, Swayamjit Saha, Somshubhra Roy, Ravi Prasad

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un Modelo de Lenguaje Grande (LLM) como un estudiante brillante y de pensamiento rápido tomando un examen largo. Para responder a una pregunta, este estudiante no solo mira la pregunta actual; necesita recordar todo lo que ha escrito hasta el momento para mantener la coherencia en su respuesta. En el mundo de la IA, esta "memoria" se llama KV Cache (Caché de Clave-Valor). Es un bloc de notas digital donde el modelo almacena las partes más importantes de la conversación para no tener que releer todo el libro cada vez que quiere escribir la siguiente palabra.

Este artículo, titulado "Can Transformer Memory Be Corrupted?" (¿Puede corromperse la memoria de un Transformer?), plantea una pregunta aterradora pero simple: ¿Qué pasa si alguien escribe secretamente en ese bloc de notas mientras el estudiante está tomando el examen?

Aquí está el desglose de sus hallazgos utilizando analogías cotidianas:

1. La debilidad oculta: El bloc de notas "invisible"

Normalmente, nos preocupa que los hackers cambien los libros de texto del estudiante (los datos de entrenamiento del modelo) o lo engañen con una pregunta extraña (inyección de prompts). Pero este artículo encontró una forma diferente y más sigilosa de romper el sistema.

Los investigadores se dieron cuenta de que el "bloc de notas" (el KV Cache) a menudo se deja desprotegido. Incluso si los libros de texto y las preguntas del examen están bajo llave, un atacante que pueda entrar en la computadora que ejecuta el modelo puede retocar sutilmente los números en ese bloc de notas.

La Analogía: Imagina a un chef cocinando un estofado complejo. La receta es segura y los ingredientes son frescos. Pero si un saboteador se cuela y cambia silenciosamente una pizca de sal por azúcar mientras el chef está probando la olla, todo el plato podría salir mal, aunque el chef no haya cambiado la receta ni los ingredientes.

2. El ataque: "Inyección de Tokens Maliciosos" (MTI)

Los autores crearon una herramienta llamada MTI V.1 para probar esto. No rompieron el modelo; simplemente "empujaron" la memoria. Intentaron tres formas principales de alterar el bloc de notas:

El empujón "Estático" (Ruido Gaussiano): Añadir un poco de estática aleatoria o interferencia a la memoria, como subir ligeramente el volumen de una radio hasta que las palabras se vuelven ininteligibles.
El "Borrador" (Anulación de ceros): Borrar partes específicas de la memoria por completo, como usar un marcador rojo sobre una página de notas.
El "Giro" (Rotación): Girar la memoria de lado. La información sigue ahí, pero apunta en la dirección equivocada, confundiendo la comprensión del modelo.

3. Los resultados: Pequeños empujones, grandes desastres

Los investigadores probaron esto en modelos de IA populares (como GPT-2 y LLaMA-2). Descubrieron que incluso cambios diminutos y casi invisibles en la memoria causaban grandes problemas:

Confusión: El modelo empezó a adivinar palabras que no debería. Se volvió menos seguro de sí mismo y más propenso a inventar hechos (alucinaciones).
Fallo de tareas:
- Tareas simples: Cuando se le pidió que adivinara si una oración era feliz o triste, el modelo se confundió y empezó a equivocarse.
- Tareas complejas: Cuando se le pidió que encontrara un dato específico en un documento largo (como una pregunta de trivia), el modelo falló por completo. Fue como si el estudiante olvidara cómo leer la pregunta por completo.
- La prueba del "Agente": Cuando la IA actuaba como un robot intentando planificar una serie de pasos (como reservar un vuelo), la corrupción de la memoria la hizo perder el rumbo y elegir las acciones incorrectas.

4. El "Por qué": Cómo se propaga

El artículo explica la matemática detrás de esto de forma sencilla: la IA decide qué palabra decir a continuación mirando su memoria. Si la memoria es ligeramente incorrecta, la atención de la IA se desvía.

La Analogía: Imagina que estás intentando encontrar a un amigo en una habitación llena de gente. Miras un mapa (la memoria). Si alguien dibuja una línea pequeña y errónea en el mapa, podrías mirar en la esquina equivocada. Una vez que miras en la esquina equivocada, todo tu plan para el resto de la noche se desmorona. El artículo demuestra que estas "líneas diminutas" en el mapa pueden garantizar matemáticamente que la atención de la IA se sesgue.

5. ¿Podemos arreglarlo? (Las defensas)

Los investigadores probaron algunas soluciones rápidas para ver si podían detener el ataque:

Limpiar el bloc de notas: Borrar la memoria periódicamente.
Aleatorizar las notas: Ocultar partes de la memoria de forma aleatoria para ver si el modelo aún puede adivinar.
Suavizar el ruido: Promediar los números para eliminar la "estática".

El Veredicto: Estas soluciones ayudaron un poco, pero no fueron una cura mágica. Detuvieron lo peor del daño, pero si el ataque era fuerte o persistente, el modelo seguía fallando. Es como poner una venda en una herida; ayuda, pero no detiene al cuchillo si el atacante sigue intentando cortar.

La Conclusión

Este artículo no dice que la IA esté rota o que debas dejar de usarla. En cambio, suena una alarma para las personas que construyen y protegen los sistemas de IA.

La idea principal: Hemos sido muy buenos protegiendo el "cerebro" de la IA (los datos de entrenamiento) y su "boca" (los prompts de entrada), pero hemos ignorado en gran medida su "memoria a corto plazo" (el KV Cache). Si un atacante puede entrar en la computadora que ejecuta la IA, puede corromper esa memoria y hacer que la IA sea poco fiable, confusa o peligrosa, incluso sin cambiar una sola línea de código.

Los autores piden un nuevo tipo de seguridad que trate este "bloc de notas" como una zona crítica de seguridad que debe ser custodiada con la misma rigurosidad que el resto del sistema.

Resumen Técnico: Investigación de Vulnerabilidades de Caché en Grandes Modelos de Lenguaje

Declaración del Problema
Si bien los Grandes Modelos de Lenguaje (LLM) se aseguran cada vez más mediante salvaguardas a nivel de prompt y alineación durante el entrenamiento, su estado interno de inferencia sigue siendo una superficie de ataque poco examinada. Específicamente, el caché de Clave-Valor (KV), que almacena representaciones de atención intermedias para acelerar la decodificación autorregresiva, introduce una memoria interna persistente que influye directamente en las predicciones futuras. A diferencia de la inyección de prompts (que opera en la interfaz de entrada) o el envenenamiento de pesos (que requiere acceso durante el entrenamiento), las perturbaciones de lado de caché operan enteramente después de la tokenización y el embedding. Estos ataques eluden los filtros de nivel de entrada y las comprobaciones de alineación al modificar los vectores de clave almacenados en caché, lo que permite sesgar las distribuciones de atención y propagar errores a través de las predicaciones posteriores sin alterar los parámetros del modelo ni los prompts de entrada.

Metodología: El Marco MTI V.1
Para investigar esta vulnerabilidad, los autores introducen MTI V.1 (Inyección de Tokens Maliciosos), un marco modular que formaliza las perturbaciones de lado de caché. El marco trata el caché KV como un límite de robustez distinto y define un modelo de amenaza donde un adversario con acceso en tiempo de inferencia puede perturbar las claves en caché en capas y pasos temporales seleccionados sin modificar las entradas o los pesos.

El marco caracteriza las perturbaciones a lo largo de tres ejes:

Magnitud de la Corrupción: La fuerza de la perturbación inyectada.
Frecuencia de Inyección: Con qué frecuencia se aplican las perturbaciones a través de los pasos de decodificación.
Colocación de la Capa: Qué capas del transformer son el objetivo.

El estudio emplea tres mecanismos de corrupción canónicos:

MTI-Gaussian: Inyecta ruido estocástico aditivo (muestreado de una distribución Gaussiana) en las claves almacenadas en caché.
MTI-Zeroing: Elimina las claves en caché por completo, simulando un borrado catastrófico.
MTI-Rotation: Aplica transformaciones ortogonales a las claves en caché, alterando la alineación angular con las consultas (queries) mientras preserva la magnitud del vector.

Adicionalmente, se utiliza una variante optimizada (Algoritmo 1) para calcular empíricamente perturbaciones que maximizan un objetivo adversarial mediante el ascenso de gradiente, aunque esto es distinto de las perturbaciones no adaptativas y limitadas por norma utilizadas en el análisis teórico.

Análisis Teórico
El artículo proporciona un análisis teórico que delimita cómo las perturbaciones de caché con norma limitada se propagan a través de los mecanismos de atención.

Límite de Perturbación-a-Logit: La desviación en las puntuaciones de atención escala linealmente tanto con la magnitud de la perturbación ( $\epsilon$ ) como con la norma de la consulta ( $\|q_t\|_2$ ). La desviación resultante en los logits no normalizados está acotada por $\|\Delta z_t\|_2 \leq \|q_t\|_2 \cdot \epsilon$ .
Estabilidad de Softmax: Bajo supuestos de logits acotados, el mapeo softmax es Lipschitz continuo. Esto permite la traducción de las desviaciones de los logits en cambios controlados en la distribución de atención y las probabilidades de salida.
El análisis establece que la corrupción de caché acotada induce desviaciones acotadas en las distribuciones de atención y en los logits del siguiente token, caracterizando las tendencias de sensibilidad en el peor de los casos.

Resultados Experimentales
El marco fue evaluado en los modelos GPT-2 Medium, LLaMA-2 7B y Gemma-7B en diversos benchmarks, incluyendo clasificación de sentimiento (SST-2), respuesta extractiva a preguntas (SQuAD, HotpotQA), resumen (CNN/DailyMail) y canales de razonamiento agéntico.

Efectos a Nivel de Token: Las perturbaciones de caché inducen desplazamientos distributivos (medidos por la divergencia KL) un orden de magnitud mayores que la variación estocástica. Por ejemplo, la corrupción basada en rotación en GPT-2 resultó en una divergencia KL de 0.57 y una caída del 16.7% en la precisión Top-1.
Degradación de Tareas de Destino: La sensibilidad varía según la tarea. Mientras que SST-2 mostró una robustez moderada, SQuAD (QA extractiva) exhibió un fallo catastrófico, con puntuaciones F1 colapsando de 77.4 a 7.2 bajo perturbaciones idénticas. Esto sugiere que las tareas que requieren un alineamiento preciso de tokens y razonamiento de contexto largo son altamente sensibles.
Generación Aumentada por Recuperación (RAG): Las perturbaciones aplicadas al contexto recuperado degradaron significativamente la fidelidad de la fundamentación (grounding) e incrementaron las tasas de alucinación, indicando que los canales de RAG dependen críticamente de la integridad del caché en la etapa de evidencia.
Canales Agénticos: En marcos tipo ReAct y AutoGPT, el razonamiento de bucle cerrado mostró una resiliencia parcial a perturbaciones leves, aunque esta robustez fue limitada a regímenes suaves.
Estudios de Ablación: La vulnerabilidad está gobernada por la interacción de la colocación de la capa, la fuerza de la perturbación y la persistencia temporal. Se encontró que las capas de nivel medio son consistentemente más vulnerables que las capas tempranas o profundas. La corrupción continua causó una mayor degradación que los esquemas intermitentes, lo que indica que las perturbaciones de caché son estatales y se acumulan en el tiempo.
Defensas: Se evaluaron defensas ligeras (Reinicio de Caché, Aleatorización de Máscara de Dropout, Suavizado de Atención). Aunque preservaron la precisión base bajo perturbaciones leves con un sobrecoste de tiempo de ejecución mínimo, fueron insuficientes como salvaguardas independientes contra una corrupción persistente o fuerte.

Significancia y Reivindicaciones
El artículo postula que la corrupción del caché en tiempo de inferencia representa una amenaza sistemática para la fiabilidad, calibración y fundamentación de los canales modernos de LLM. Las contribuciones clave incluyen:

Formalización de un Modelo de Amenaza: Identificar la integridad del caché KV como un límite de robustez crítico y poco explorado, y formalizar la perturbación de lado de caché como un modelo de amenaza fundamentado para la IA confiable.
Límites Teóricos: Proporcionar límites teóricos que caracterizan cómo la corrupción de caché acotada se propaga a las distribuciones de atención y a los logits de salida.
Evidencia Empírica: Demostrar que las perturbaciones de caché inducen desplazamientos distributivos y fallos de tareas en el modelado de lenguaje, RAG y razonamiento agéntico, incluso cuando los prompts y los pesos permanecen inalterados.
Utilidad Diagnóstica: Sugerir que las perturbaciones controladas de caché pueden servir no solo como un modelo de amenaza, sino también como una herramienta diagnóstica para analizar la sensibilidad de la atención y la dinámica interna del modelo.

Los autores concluyen que, si bien las defensas simples ofrecen una mitigación parcial, son necesarios mecanismos explícitos de integridad de caché o estrategias de monitoreo para un despliegue robusto. El trabajo posiciona la integridad del caché en tiempo de inferencia como un "límite de robustez de primera clase" para la investigación futura en IA confiable, enfatizando que estos hallazgos caracterizan un límite de robustez en lugar de afirmar una explotabilidad universal en todos los escenarios de despliegue.