MemAudit: Post-hoc Auditing of Poisoned Agent Memory via Causal Attribution and Structural Anomaly Detection

Resumen Técnico: MemAudit

Enunciado del Problema
Los agentes de Modelos de Lenguaje Grande (LLM) dependen cada vez más de una memoria externa persistente para almacenar interacciones pasadas, recuperar demostraciones relevantes y ejecutar tareas de largo alcance. Sin embargo, este mecanismo introduce una vulnerabilidad de seguridad crítica: usuarios adversarios pueden inyectar registros maliciosos en la memoria de un agente a través de interacciones ordinarias (por ejemplo, mediante el marco de ataque MINJA). Estas memorias envenenadas pueden permanecer latentes y ser recuperadas posteriormente para dirigir el razonamiento y las acciones del agente hacia resultados dañinos.

Aunque las defensas existentes se centran en la intervención en línea (por ejemplo, filtrado de prompts o bloqueo de salidas), no abordan el escenario post-hoc donde ya se ha observado un comportamiento dañino. En implementaciones del mundo real, los fallos a menudo se descubren a posteriori mediante registros anómalos o informes de usuarios. El desafío central es identificar qué entradas de memoria almacenadas específicas son responsables del fallo observado, sin acceso a etiquetas de verdad fundamental de envenenamiento ni a los objetivos del atacante.

Metodología: MemAudit
Los autores proponen MemAudit, un marco unificado para la auditoría causal de memoria post-hoc. El marco opera bajo la intuición de que las memorias dañinas exhiben dos propiedades complementarias: ejercen una influencia causal medible sobre salidas dañinas y, a menudo, aparecen estructuralmente inconsistentes con la distribución general de la memoria. MemAudit combina estas dos señales para clasificar y eliminar memorias sospechosas.

1. Puntuación de Influencia de Memoria Contrafactual (CMIS):
   Esta señal mide la contribución causal de cada memoria recuperada a un evento dañino específico. El marco realiza una intervención basada en replay: para un evento dañino dado $e = (q^*, y^*, R^*)$, elimina una memoria candidata $m_i$ del almacén, vuelve a ejecutar el agente con el conjunto de memoria modificado y calcula la reducción del daño.
   $$CMIS(m_i) = h(q^*, y^*) - h(q^*, f(q^*, R(q^*, M \setminus \{m_i\})))$$
   Una puntuación más alta indica que eliminar $m_i$ reduce significativamente el comportamiento dañino, lo que sugiere un vínculo causal fuerte.

2. Grafo de Consistencia de Memoria (MCG) / Detección de Anomalías Estructurales:
   Esta señal identifica memorias que son semánticamente inconsistentes con el almacén global de memoria. El marco construye un grafo de memoria donde los nodos son entradas de memoria y las aristas representan la relación semántica y la consistencia lógica (utilizando Inferencia en Lenguaje Natural). Se espera que las memorias envenenadas aparezcan como valores atípicos o nodos débilmente conectados dentro de este grafo. Se calcula una puntuación de anomalía basada en el peso de inconsistencia entre una memoria y sus vecinos.

3. Fusión y Clasificación:
   Las puntuaciones de CMIS (evidencia causal local) y MCG (evidencia estructural global) se normalizan y fusionan en una única Puntuación de Desintoxicación (DS):
   $$DS(m_i) = \alpha \cdot \widehat{CMIS}(m_i) + (1 - \alpha) \cdot \widehat{CAS}(m_i)$$
   El parámetro $\alpha$ equilibra el peso entre la atribución causal a nivel de evento y la detección de anomalías estructurales globales. Las memorias se clasifican según esta puntuación, y las entradas mejor clasificadas se eliminan en un proceso por lotes después de analizar todos los eventos dañinos, asegurando que el proceso de auditoría no esté sesgado por eliminaciones secuenciales.

Contribuciones Clave

• Formulación: Este trabajo es el primero en formular la auditoría causal de memoria post-hoc como un problema de seguridad práctico para agentes LLM aumentados con memoria bajo envenenamiento de memoria inducido por interacción.
• Marco: La propuesta de MemAudit, un marco de doble señal que identifica y elimina memorias sospechosas sin requerir etiquetas de envenenamiento de oráculo, combinando la atribución causal contrafactual con la detección de anomalías estructurales.
• Evaluación: Evaluación exhaustiva en configuraciones realistas de inyección de memoria (MINJA) que demuestra reducciones sustanciales en las tasas de éxito del ataque tanto en configuraciones de Respuesta a Preguntas (QA) como en agentes de razonamiento de largo alcance (RAP).

Resultados Experimentales
Los autores evaluaron MemAudit contra el ataque MINJA en modelos GPT-4o, GPT-4o-mini y DeepSeek.

• Reducción de la Tasa de Éxito del Ataque (ASR):
  • En configuraciones de QA, MemAudit redujo la ASR del 70.0% al 0.0% en GPT-4o y del 50.0% al 0.0% en GPT-4o-mini.
  • En configuraciones de RAP, MemAudit redujo la ASR del 83.3% al 0.0% en GPT-4o y del 80.0% al 0.0% en GPT-4o-mini.
  • Líneas base como la eliminación aleatoria, la eliminación basada en la frecuencia de recuperación y el filtrado de contradicciones de vecinos más cercanos proporcionaron solo reducciones parciales, confirmando la necesidad del enfoque de doble señal.
• Ablación de Componentes: Eliminar ya sea la señal causal (CMIS) o la señal estructural (MCG) resultó en una ASR residual significativamente mayor, demostrando que las señales son complementarias. Se encontró que el peso de fusión óptimo es $\alpha = 0.6$.
• Análisis de Contaminación: El marco es altamente efectivo en regímenes de envenenamiento disperso (ratio de contaminación $\rho \leq 0.20$). Sin embargo, el rendimiento se degrada bruscamente cuando el envenenamiento se vuelve denso ($\rho \geq 0.25$), ya que las memorias envenenadas comienzan a reforzarse mutuamente, formando una "verdad alternativa" coherente que es difícil de aislar mediante eliminación dirigida.

Significado y Afirmaciones
El artículo afirma que la memoria persistente debe tratarse como una "superficie de seguridad de primera clase" en los agentes LLM. MemAudit proporciona un mecanismo práctico para la recuperación después de fallos en tiempo de implementación, permitiendo a los sistemas diagnosticar y reparar estados de memoria comprometidos sin necesidad de reentrenar el modelo o depender de etiquetas de oráculo. Los autores enfatizan que esto es un mecanismo de recuperación complementario, no un reemplazo de las salvaguardas preventivas en línea. El trabajo destaca la viabilidad de la reparación de memoria post-hoc tanto en QA de formato corto como en configuraciones de agentes interactivos complejos y de largo alcance, siempre que la densidad de envenenamiento permanezca por debajo de un umbral crítico.