Resumen Técnico: MIND (Memory Intent-Aware Neural Denoising)

1. Planteamiento del Problema

Los agentes de Modelos de Lenguaje de Gran Escala (LLM) aumentados con memoria dependen de sistemas de memoria externos basados en recuperación para gestionar tareas de largo horizonte. Sin embargo, estos sistemas son vulnerables a ataques de inyección de memoria, donde los adversarios manipulan el almacén de memoria (ya sea mediante acceso directo de escritura o interacciones indirectas de múltiples turnos) para inyectar registros envenenados. Cuando se recuperan, estos registros desvían el comportamiento del agente de la intención inicial del usuario, provocando fallos en la tarea o salidas perjudicialas.

Los mecanismos de defensa existentes enfrentan dos limitaciones críticas:

1. Alto Costo Computacional: Las defensas basadas en razonamiento (por ejemplo, Auditores LLM) invocan repetidamente a los LLM para auditar las memorias recuperadas o monitorear los flujos de interacción, lo que causa una acumulación significativa de latencia a lo largo de las trayectorias largas.
2. Redundancia de Información: Los detectores ligeros que codifican trayectorias completas de múltiples turnos suelen sufrir de información irrelevante para la tarea y repetitiva. Esta redundancia oscurece las señales de ataque, dificultando la capacidad de distinguir entre comportamientos benignos y envenenados.

2. Metodología: MIND

Los autores proponen MIND (Memory Intent-Aware Neural Denoising), un marco de defensa ligero que reformula la defensa de la memoria como un problema de eliminación de ruido basado en el principio de la Cuello de Botella de Información (IB - Information Bottleneck).

Observaciones Principales

Un análisis preliminar reveló dos fenómenos clave:

• Separabilidad: En el espacio de representación, las trayectorias benignas y envenenadas exhiben tendencias distinguibles respecto a la relación entre la intención inicial del usuario y el comportamiento subsecuente.
• Decaimiento de la Intención y Redundancia: A medida que aumentan los turnos de interacción, la atención del agente hacia la intención inicial decae, un proceso acelerado por los ataques de inyección. Además, los estados de múltiples turnos contienen una redundancia significativa que debilita la señal de la intención.

Arquitectura del Marco

MIND opera en tres etapas:

1. Extracción de Representación de Trayectoria:

   • Un LLM preentrenado (por ejemplo, Llama-3.1-8B-Instruct) extrae características a nivel de turno.
   • La representación para el turno $t$ ($h_t$) se define como el estado oculto del último token del componente <observation>.
   • La consulta inicial del usuario se representa como $h_0$.
   • Los datos de entrenamiento se construyen como pares $(x_i, x_{anchor})$, donde $x_i = [h_0; h_t]$ y $x_{anchor} = h_0$, etiquetados según si la memoria recuperada en ese turno fue envenenada.

2. Codificador de Cuello de Botella de Información (IB) Consciente de la Intención:

   • En lugar de clasificar entradas puras, MIND comprime la entrada $x_i$ en un espacio latente $z_i$ utilizando un codificador IB $E$.
   • Objetivo: Minimizar la información mutua $I(Z; X)$ (compacidad) para descartar la redundancia irrelevante de la tarea, mientras se maximiza $I(Z; Y)$ (informatividad) para preservar las señales relevantes de la intención.
   • Compacidad: Se logra minimizando la divergencia KL entre la posterior aprendida $q_E(z|x)$ y una distribución previa gaussiana isotrópica.
   • Informatividad: Se logra mediante una pérdida de alineación supervisada. Los turnos benignos son atraídos hacia el ancla de la intención inicial ($h_0$), mientras que los turnos envenenados son empujados lejos por un margen, asegurando que el espacio latente preserve la relación entre el comportamiento actual y la intención original.

3. Clasificador de Hiperplanos Múltiples Ligero:

   • Se construye una frontera de decisión en el espacio latente de-ruidificado $z_i$.
   • En lugar de una única frontera lineal, MIND emplea $K$ hiperplanos para formar una región de decisión por partes (Máquina de Polítopo Convexo).
   • Este diseño captura diversos patrones de ataque que una sola frontera lineal podría omitir. Un turno se clasifica como benigno solo si se encuentra por debajo de todos los $K$ hiperplanos.

Objetivo de Entrenamiento

El modelo se optimiza para minimizar una función de pérdida combinada:
$$\mathcal{L} = \mathcal{L}_{benign} + \mathcal{L}_{poison} + \beta \mathcal{L}_{KL} + \lambda \mathcal{L}_{align}$$
Donde $\mathcal{L}_{KL}$ impone la compacidad, $\mathcal{L}_{align}$ impone la separación de la intención, y los dos primeros términos imponen las restricciones de clasificación de hiperplanos múltiples.

3. Contribuciones Clave

• Análisis: Los autores proporcionan evidencia preliminar de que los ataques de inyección de memoria causan una desviación distinguible en la relación entre la intención inicial y el comportamiento subsecuente, y que esta señal es oscurecida por la redundancia de múltiples turnos.
• Método: Diseñan un marco de defensa ligero que utiliza un Cuello de Botella de Información consciente de la intención para filtrar memorias envenenadas sin necesidad de auditorías repetidas de LLM o codificación de la trayectoria completa.
• Evaluación: Experimentos extensos demuestran que MIND mejora la relación entre seguridad y utilidad, reduciendo las tasas de éxito de ataque mientras mantiene la precisión de la tarea y una eficiencia de inferencia comparable a la de los agentes sin defensa.

4. Resultados Experimentales

Los experimentos se realizaron en los benchmarks ReAct-StrategyQA y MMLU utilizando cuatro modelos de base (DeepSeek-V4, GPT-4o-mini, Llama-3.1-8B-Instruct, Qwen3-8B-Instruct) contra ataques como AgentPoison y MINJA.

• Reducción de Ataque: En ReAct-StrategyQA, MIND redujo la Tasa de Éxito de Ataque media en la etapa de recuperación (ASR-r) en un 55.4% y la ASR de razonamiento del agente (ASera-a) en un 55.3% en comparación con los agentes sin defensa.
• Precisión de la Tarea: MIND preservó la precisión promedio de la tarea (por ejemplo, 67.95% en StrategyQA frente al 67.56% de los agentes sin defensa) y logró la mayor precisión media (79.57%) en MMLU entre los métodos de defensa.
• Eficiencia: MIND es computacionalmente eficiente. En StrategyQA, funcionó un 20.6% más rápido que la línea base del Auditor LLM y un 70.4% más rápido que A-MemGuard, con un tiempo promedio de episodio comparable al del agente sin defensa.
• Ablación: Eliminar ya sea el codificador IB o el clasificador de hiperplanos múltiples degradó el rendimiento, confirmando sus roles complementarios en la reducción de falsos positivos mientras se mantiene la capacidad de detección.

5. Significancia y Reivindicaciones

El artículo afirma que MIND aborda el compromiso fundamental entre seguridad y eficiencia en los agentes aumentados con memoria. Al aprovechar el Cuello de Botella de Información para filtrar la información redundante y centrarse en la relación intención-comportamiento, MIND evita la sobrecarga computacional de la auditoría repetida de LLM y la dilución de la señal causada por la codificación de la trayectoria completa.

Los autores posicionan a MIND como una solución práctica para tareas de largo horizonte donde mantener una baja latencia es crítico, demostrando que una defensa efectiva contra la inyección de memoria no requiere una costosa auditoría basada en el razonamiento si la dinámica subyacente de intención-comportamiento se modela y de-ruida adecuadamente.