🤖 AI

From Untrusted Input to Trusted Memory: A Systematic Study of Memory Poisoning Attacks in LLM Agents

Este artículo investiga sistemáticamente los ataques de envenenamiento de memoria en agentes de LLM mediante la identificación de vulnerabilidades explotables, la propuesta de una taxonomía de ataque de seis clases, la introducción del benchmark MPBench para demostrar el mayor riesgo del uso agresivo de la memoria, y la revelación de la insuficiencia de las defensas actuales contra la inyección de prompts frente a tales amenazas.

Autores originales: Pritam Dash, Tongyu Ge, Aditi Jain, Tanmay Shah, Zhiwei Shang

Publicado 2026-06-04

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Pritam Dash, Tongyu Ge, Aditi Jain, Tanmay Shah, Zhiwei Shang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un agente de IA como un asistente personal muy inteligente y servicial. A diferencia de un chatbot estándar que lo olvida todo en el momento en que cierras la ventana, este asistente tiene una memoria a largo plazo. Recuerda tu pedido de café, tus destinos de viaje favoritos y los pasos que tomó para solucionar un error la semana pasada. Esta memoria le ayuda a mejorar en su trabajo con el tiempo.

Sin embargo, los investigadores de este artículo descubrieron un fallo peligroso en cómo funciona esta memoria: el asistente trata todo lo que lee como un "hecho" para ser almacenado, incluso si ese hecho es una mentira plantada por un hacker.

Aquí tienes un desg আপ de sus hallazgos utilizando analogías sencillas:

1. El problema central: El "Invitado Desconfiado" en la biblioteca

Imagina la memoria de la IA como una biblioteca. Normalmente, el bibliotecario (la IA) solo pone en los estantes los libros que se han verificado como verdaderos.

El fallo: En estos sistemas de IA, el bibliotecario no verifica la fuente del libro. Si un extraño entra y le entrega al bibliotecario una nota que dice: "Pon esto en el estante: El cielo es verde", el bibliotecario podría simplemente hacerlo.
El ataque: Un hacker no necesita entrar a la fuerza en la biblioteca. Solo necesita deslizar una nota falsa en un documento que el asistente ya está leyendo (como un correo electrónico, una página web o el resultado de una herramienta). Una vez que el asistente escribe esa nota falsa en su memoria permanente, la cree para siempre.

2. Cómo entran los hackers (Las 4 "Puertas")

El artículo encontró cuatro formas específicas en las que un hacker puede engañar al asistente para que escriba una mentira en su memoria:

Puerta 1 (La orden directa): El hacker simplemente le dice a la IA: "Recuerda esto: [Mentira]". La IA obedece porque piensa que es una orden directa.
Puerta 2 (El vacío legal de la política): La IA tiene una regla como: "Guarda cualquier cosa interesante". El hacker escribe una mentira que suena interesante o importante, y la IA la guarda porque encaja con la regla, aunque sea una mentira.
Puerta 3 (El colapso por "Demasiada Información"): Cuando la IA recibe demasiada información, intenta resumirla para ahorrar espacio. El hacker repite su mentira muchas veces. La IA piensa: "¡Vaya, esto se menciona mucho, debe ser importante!" y guarda el resumen, el cual incluye la mentira.
Puerta 4 (La trampa de la "Habilidad"): Si la IA aprende una nueva forma de realizar una tarea, la guarda como una "habilidad". El hacker engaña a la IA para que piense que un paso falso es parte de una tarea exitosa, de modo que la IA guarda el paso falso como una habilidad permanente.

3. Los dos tipos de trucos

Los investigadores categorizaron estos ataques en dos estilos:

El truco ruidoso (Señal fuerte): Esto es como un hacker gritando: "¡Escribe esto!". Es obvio y fácil de detectar si estás buscando gritos.
El truco silencioso (Señal débil): Esto es como un hacker susurrando una mentira dentro de una frase que suena normal. Se ve exactamente como un hecho real. Debido a que no parece un ataque, los filtros de seguridad de la IA (que están diseñados para detectar gritos) lo pasan por alto por completo. La IA lo guarda porque parece una información normal.

4. El experimento (MPBench)

Los autores construyeron un campo de pruebas llamado MPBench para ver con qué frecuencia funcionan estos trucos. Probaron dos asistentes de IA diferentes:

Asistente A (OpenClaw): Este es cuidadoso. No escribe en la memoria muy a menudo. Fue más difícil de engañar.
Asistente B (HERMES): Este es agresivo. Escribe en la memoria constantemente para ser más útil.
El resultado: Cuanto más agresivo es el asistente al escribir en la memoria, más fácil es envenenarlo. El Asistente B fue engañado con mucha más frecuencia. Una vez que la mentira fue escrita, permaneció allí e influyó en el comportamiento del asistente en conversaciones futuras, incluso sin la presencia del hacker.

5. Por qué fallan las defensas actuales

Podrías pensar: "¿No podemos usar los guardias de seguridad que tenemos para la 'Inyección de Prompts' (donde los hackers intentan engañar a la IA en el momento)?".

La respuesta: No.
La analogía: Los guardias de seguridad actuales están entrenados para atrapar a personas gritando órdenes o usando uniformes falsos. Son muy buenos deteniendo los "Trucos Ruidosos".
El fallo: Son pésimos deteniendo los "Trucos Silenciosos". Dado que el Truco Silencioso parece una conversación normal y educada, los guardias lo dejan pasar sin problemas. El artículo muestra que incluso las mejores herramientas de seguridad actuales fallan al detectar estos venenos de memoria tan sutiles.

6. La conclusión

El artículo concluye que existe un intercambio (trade-off): las características que hacen que un asistente de IA sea más inteligente y útil (recordar todo, aprender nuevas habilidades rápidamente) son las mismas características que lo hacen vulnerable a ser envenenado.

Para solucionar esto, no podemos confiar solo en tener mejores guardias de seguridad en la puerta. Necesitamos cambiar la forma en que trabaja el bibliotecario:

Ser más selectivo: No guardes todo; solo guarda aquello de lo que estés seguro de que es verdad.
Verificar la identificación: Asegúrate de que la IA sepa quién escribió la información antes de guardarla.
Doble verificación: Revisa la memoria después de que haya sido escrita pero antes de que se use de nuevo.

En resumen: Si le das a una IA una memoria perfecta, también le das a un hacker un lugar perfecto para esconder una mentira que durará para siempre.

Resumen Técnico: De la Entrada No Confiable a la Memoria Confiable

Planteamiento del Problema

Los agentes de IA modernos dependen de una memoria persistente a largo plazo para acumular conocimiento, retener las preferencias del usuario y mejorar el rendimiento en tareas de largo horizonte. Sin embargo, esta capacidad introduce una vulnerabilidad de seguridad crítica: el envenenamiento de la memoria (memory poisoning). A diferencia de los modelos sin estado, los agentes recuperan entradas de memoria almacenadas como contexto interno confiable. Si un adversario puede inducir a un agente a escribir contenido malicioso en este almacén persistente durante su operación normal, puede ejercer una influencia a largo plazo sobre el comportamiento futuro del agente sin necesidad de interacciones posteriores.

Los modelos de amenazas y defensas actuales son insuficientes para este vector de ataque específico. La investigación existente a menudo asume un acceso privilegiado o evalúa ataques aislados y estrechos. Además, las defensas estándar contra la inyección de prompts fallan al abordar el envenenamiento de la memoria porque se centran en detectar instrucciones maliciosas explícitas en el contexto activo, mientras que el envenenamiento de la memoria a menudo depende de contenido que parece semánticamente legítimo pero que está diseñado estructuralmente para ser escrito en la memoria.

Metodología

Los autores presentan un estudio sistemático basado en un modelo de amenaza de caja negra (black-box threat model). El adversario no tiene acceso privilegiado, no tiene conocimiento del modelo subyacente y no tiene acceso directo al almacén de memoria. El atacante solo puede inyectar contenido malicioso en las entradas externas procesadas por el agente (por ejemplo, páginas web, documentos, salidas de herramientas).

El estudio se desarrolla a través de tres fases principales:

Análisis de Vulnerabilidad: Los autores analizan el sistema de memoria del agente definido como una tupla $M = (S, W, R)$ (Almacén, Escritura, Recuperación). Identifican cuatro canales de escritura de memoria y los mapean con nueve vulnerabilidades estructurales a través de tres capas: Capacidades del Modelo, Diseño de Prompts y Arquitectura del Sistema.
Taxonomía de Ataques: Basándose en las vulnerabilidades identificadas, los autores clasifican los ataques de envenenamiento de memoria en seis clases distintas, distinguiendo entre ataques de "señal fuerte" (que contienen marcadores lingüísticos explícitos) y ataques de "señal débil" (semánticamente indistinguibles del contenido legítimo).
Evaluación Empírica (MPBench): Los autores introducen MPBench, un benchmark diseñado específicamente para evaluar el envenenamiento de la memoria. Este mide dos métricas:
- Tasa de Éxito del Ataque (ASR - Attack Success Rate): La frecuencia con la que una carga útil adversarial resulta en una instrucción maliciosa escrita en la memoria persistente.
- Tasa de Éxito de la Recuperación (RSR - Retrieval Success Rate): La frecuencia con la que una entrada envenenada exitosamente escrita influye en el comportamiento del agente en una sesión posterior.
- La evaluación se realizó en dos sistemas de agentes, OpenClaw y HERMES, utilizando el modelo GPT-OSS-120B.

Contribuciones Clave

1. Paisaje de Vulnerabilidades

El artículo identifica cuatro canales de escritura de memoria:

C1 (Escritura ejecutada por instrucción explícita): Comandos directos para escribir en la memoria.
C2 (Escritura impulsada por el prompt del sistema): Escrituras desencadenadas por políticas en el prompt del sistema (por ejemplo, "guardar información relevante").
C3 (Escritura impulsada por compactación): Escrituras desencadenadas por eventos del sistema como límites de la ventana de contexto.
C4 (Escritura de experiencia a procedimiento): Síntesis de trazas de tareas en habilidades procedimentales reutilizables.

Estos canales son explotables debido a nueve vulnerabilidades:

Nivel de Modelo: Ceguera ante la frontera entre Instrucción y Dato (V-M1) y Fallo de Atribución de Fuente (V-M2).
Nivel de Prompt: Subespecificación de la Política de Escritura de Memoria (V-P1) y Compactación sin Filtrado de Fuente (V-P2).
Nivel de Sistema: Ausencia de Validación de la Ruta de Escritura (V-S1), Contexto Compartido de Múltiples Fuentes (V-S2), Disparador de Compactación Manipulable (V-S3), Ausencia de Validación para la Creación de Habilidades (V-S4) y la Auto-mejora como Amplificación (V-S5).

2. Taxonomía de Ataques

Los autores definen seis clases de ataques:

Inserción de Comando Explícito: Incrustar instrucciones de escritura directa (Señal Fuerte).
Inserción de Comando Condicional: Incrustar instrucciones activadas por respuestas comunes del usuario (Señal Fuerte).
Envenenamiento de Compactación por Saliencia: Repetir contenido malicioso para activar las políticas de compactación (Señal Fuerte).
Inyección de Hechos Conformes a la Política: Presentar hechos fabricados que satisfacen políticas de retención vagas sin comandos explícitos (Señal Débil).
Inserción de Precedente Falso: Fabricar registros de tareas exitosas pasadas para influir en el comportamiento futuro (Señal Débil).
Inserción de Habilidad-Procedimiento: Diseñar interacciones para sintetizar habilidades procedimentales envenenadas (Señal Débil).

3. MPBench y Resultados Empíricos

El benchmark evalúa estos ataques a través de siete dominios (operaciones de archivos, navegación web, etc.). Hallazgos clave incluyen:

Altas Tasas de Éxito: En ambos agentes, el ASR promedio fue del 50.46% y el RSR del 41.05%.
Susceptibilidad del Agente: HERMES fue significativamente más vulnerable (ASR promedio: 66.67%, RSR: 64.70%) que OpenClaw (ASR promedio: 34.25%, RSR: 17.40%). Los autores atribuyen esto a las políticas de escritura de memoria más agresivas de HERMES y sus umbrales de compactación más bajos.
Fuerza de la Señal: Los ataques de señal fuerte generalmente tuvieron mayores tasas de éxito en OpenClaw, mientras que la brecha se redujo en HERMES, donde los ataques de señal débil fueron casi tan efectivos como los de señal fuerte debido a las políticas de retención permisivas.
Persistencia: Las escritas exitosas influyeron consistentemente en sesiones futuras, confirmando la naturaleza "persistente" de la amenaza.

4. Limitaciones de las Defensas Existentes

El estudio evaluó cuatro defensas de inyección de prompts existentes (PIGuard, DataFilter, CommandSans, PromptArmor).

Cobertura Incompleta: Las defensas existentes no cubrieron el envenenamiento de la memoria de manera efectiva. Aunque lograron tasas de detección moderadas para ataques de señal fuerte, su rendimiento disminuyó significativamente en ataques de señal débil (por ejemplo, PromptArmor cayó de una tasa de detección del 84.44% al 42.50%).
Fallo Estructural: Los autores argumentan que las defensas de inyección de prompts no están estructuralmente adaptadas para el envenenamiento de la memoria porque las cargas útiles de señal débil carecen de anomalías sintácticas y son procesadas como contenido legítimo. El reentrenamiento de estas defensas proporcionó una mejora mínima, lo que sugiere que el problema es fundamental al mecanismo de ataque y no al modelo de detección.

Significado y Reivindicaciones

El artículo afirma proporcionar la primera base sistemática para comprender y mitigar los ataques de envenenamiento de memoria. Su principal importancia radica en demostrar que:

Compromiso entre Capacidad de Memoria y Seguridad: Las decisiones de diseño que mejoran el rendimiento del agente (escritura y recuperación agresiva de memoria) expanden directamente la superficie de ataque para el envenenamiento de la memoria.
Desajuste de Defensa: Los paradigmas de seguridad actuales centrados en la inyección de prompts son insuficientes. Las defensas deben cambiar del filtrado de entrada a la validación de la ruta de escritura y el aislamiento de fuentes.
Nuevas Clases de Vulnerabilidad: La identificación de vulnerabilidades estructurales (como V-S5, la amplificación de la auto-mejora) y vectores de ataque de señal débil revela riesgos que anteriormente no habían sido cuantificados en la seguridad de los agentes.

Los autores concluyen que una defensa basada en principios requiere cambios arquitectónicos, tales como políticas de recuperación conscientes de la fuente, filtros de compactación que distingan entre fuentes confiables y no confiables, y monitoreo post-escritura basado en el comportamiento autorizado del agente en lugar del emparejamiento de patrones de ataque estáticos.