Resumen Técnico: MemLineage

Declaración del Problema

Los agentes LLM modernos dependen de almacenes de memoria persistentes para acumular registros de chat, respuestas de herramientas y observaciones derivadas a través de sesiones de usuario. Aunque esta memoria habilita flujos de trabajo de múltiples pasos, se ha convertido en una superficie de ataque crítica. Investigaciones recientes (por ejemplo, AgentPoison, MINJA, MemoryGraft, Zombie Agents) demuestran que los adversarios pueden inyectar contenido malicioso en la memoria de un agente, el cual puede permanecer latente entre sesiones y reaparecer posteriormente como una instrucción para desencadenar acciones sensibles.

La brecha de aplicación central identificada es que las defensas existentes no logran manejar el lavado de memoria. Un adversario sofisticado puede plantar "ingredientes" en fuentes no confiables, permitiendo que el bucle normal de recuperación y resumen del agente genere una nueva entrada derivada. Dado que esta entrada derivada es autorada por el propio agente, lleva una firma criptográfica válida, lo que la hace indistinguible del contenido benigno para las defensas basadas únicamente en firmas. En consecuencia, el agente puede recuperar posteriormente esta entrada "lavada" y ejecutar acciones sensibles (por ejemplo, transferencias financieras) basándose en un origen no confiable, rompiendo la cadena de custodia.

Las soluciones actuales adolecen de limitaciones específicas:

• Las capas solo de firmas verifican al escritor pero no pueden rastrear el historial de derivación.
• Los planificadores basados en IFC (por ejemplo, Fides) aplican etiquetas durante la planificación pero las pierden a través de los pasos de derivación del LLM.
• Los filtros de recuperación (por ejemplo, RAGPart) no pueden distinguir un resumen benigno de una carga útil lavada si ambos llegan a través de un principal autenticado.
• Las defensas gruesas (por ejemplo, Memory Sandbox) a menudo bloquean toda la recuperación después de la exposición, sacrificando la utilidad.

Metodología: Diseño de MemLineage

MemLineage aborda esto tratando la seguridad de la memoria como un problema de cadena de custodia en lugar de un problema de filtrado. Adjunta procedencia criptográfica y una genealogía de derivación ponderada a cada entrada de memoria. El sistema se construye en torno a seis módulos:

1. Metadatos de Procedencia (M1): Cada entrada es un registro ProvEntry que contiene el principal escritor, el hash de origen, el hash de contexto y una lista de entradas padre con pesos de atribución.
2. Vinculación Criptográfica (M2): Las entradas se firman utilizando claves Ed25519 por principal. La firma cubre una codificación CBOR canónica de todos los campos excepto la firma misma.
3. Registro de Solo Adición (M3): Un registro Merkle estilo RFC 6962 registra los hashes de las entradas. La eliminación se maneja mediante marcadores de "tumba" firmados para evitar la reescritura del historial.
4. DAG de Genealogía (M4): Un grafo acíclico dirigido donde las aristas representan la derivación mediada por LLM. Cada arista $(p, c)$ tiene un peso $w(p, c) \in [0, 1]$ determinado por un algoritmo de atribución.
   • Regla de Propagación: La confianza se propaga mediante una regla de máximo-de-aristas-fuertes. Una entrada $c$ hereda el nivel de confianza de su padre $p$ si $w(p, c) > \tau$ (un umbral de desclasificación).
   • Persistencia de Ruta No Confiable (Teorema 1): Si existe una ruta desde un ancestro "Externo" hasta una entrada actual donde cada peso de arista supera $\tau$, la entrada actual se etiqueta como "Derivada-No Confiable".
5. Recuperación Consciente del Verificador (M5): Antes de que una entrada se inserte en el prompt del LLM, M5 verifica firmas, pruebas de inclusión y representa la entrada con una etiqueta de confianza estructural (por ejemplo, [trust=DERIVED_UNTRUSTED]).
6. Puerta de Acción Sensible (M6): Antes de despachar una llamada a herramienta (especialmente a sumideros sensibles como escrituras de archivos o pagos), M6 inspecciona el prompt activo. Si la justificación para un parámetro desciende de un ancestro "Derivado-No Confiable" o "Externo", la llamada se deniega. M6 también soporta Reparación de Autoridad, donde puede reemplazar quirúrgicamente los parámetros de origen del atacante con valores de procedencia confiable.

El sistema soporta tres algoritmos de atribución:

• Grueso: Peso binario (1.0) si un padre estaba en el contexto de recuperación.
• LmSelfEval: Un juez LLM secundario puntúa la influencia semántica (endurecido contra inyección de prompts mediante sobres JSON).
• AttnAttr: Análisis de atención de caja blanca (requiere modelos de pesos abiertos).

Contribuciones Clave

1. Carga de Trabajo de Estrés de Genealogía: El artículo introduce un modelo de ataque de "sleeper-vía-derivación". A diferencia de la inyección directa, esta carga de trabajo planta ingredientes en fuentes no confiables, forzando al LLM a derivar una carga útil maliciosa como una entrada nueva y firmada. Esto separa las defensas solo de firmas de las conscientes de genealogía.
2. Regla de Propagación Formal: El diseño formaliza el teorema de Persistencia de Ruta No Confiable, demostrando que si cada arista en una cadena de derivación es "fuerte" (por encima del umbral $\tau$), la etiqueta no confiable se propaga hasta la punta de la cadena.
3. Algoritmos de Atribución y Compensaciones: El artículo evalúa tres estrategias de atribución y cuantifica la interacción entre el umbral de genealogía ($\tau$) y la longitud de la cadena ($K$). Demuestra que una medición de $\tau$ de un solo disparo es insuficiente; las cadenas más profundas requieren umbrales más bajos para mantener la seguridad bajo una confianza de atribución decreciente.
4. Entorno de Evaluación de Extremo a Extremo: Se proporciona un entorno determinista y reproducible que fija el comportamiento del atacante y evita llamadas reales a la API de LLM para las métricas principales. Produce artefactos verificados por CI byte a byte para la Tasa de Éxito del Ataque (ASR), líneas base de utilidad y ablaciones de genealogía.

Resultados

La evaluación compara tres configuraciones: no_defense, sig_only_baseline (firmas + registro Merkle, sin genealogía) y MemLineage (pila completa).

• Tasa de Éxito del Ataque (ASR):

  • AgentPoison (Limitado por disparador): sig_only_baseline y MemLineage ambos logran 0.00 ASR (las firmas bloquean escritores no confiables).
  • MemoryGraft (Envenenamiento de recuperación): sig_only_baseline falla (1.00 ASR) porque las entradas están firmadas por el agente. MemLineage logra 0.00 ASR rastreando la genealogía hasta un ancestro externo.
  • Sleeper-vía-Derivación: sig_only_baseline falla (1.00 ASR) ya que la entrada derivada está firmada válidamente. MemLineage logra 0.00 ASR propagando la etiqueta no confiable a través de la cadena de derivación.
  • Conclusión: MemLineage es la única configuración que reduce la ASR a cero en las tres familias de ataques.

• Rendimiento:

  • La sobrecarga por operación es submilisegundo. La ruta caliente de escritura (incluyendo firma y registro Merkle) promedia ~214 µs, y la verificación es ~82 µs. Esto está muy por debajo del umbral de ruido de las llamadas típicas a la API de LLM.

• Utilidad (Falsos Positivos):

  • En flujos de trabajo benignos, MemLineage logra una tasa de despacho legítimo de 1.00 (cero falsos positivos). Permite exitosamente cadenas derivadas-confiables y recuperación no sensible de contenido externo.
  • Reparación de Autoridad: En escenarios bancarios de AgentDojo, MemLineage con reparación de autoridad bloquea el 100% de los ataques mientras recupera la utilidad en 5 de 6 pares, superando estrategias simples de denegación o reintento.

• Sensibilidad del Umbral:

  • La ablación $\tau \times K$ muestra que para pesos de atribución decrecientes (por ejemplo, $w_0=0.9, d=0.7$), una implementación que permite $K=5$ saltos requiere $\tau \le 0.10$, mientras que una medición de $K=1$ podría sugerir $\tau \le 0.30$.

Significado y Afirmaciones

El artículo afirma que MemLineage proporciona un primitivo de aplicación de granularidad fina que preserva la memoria útil a largo plazo mientras evita que un origen no confiable autorice acciones sensibles.

• Diferenciación: A diferencia de las defensas gruesas que eliminan la recuperación por completo, MemLineage mantiene la utilidad de las memorias derivadas mientras aplica estrictamente puertas a las acciones sensibles basadas en la procedencia.
• Completitud: Es el único sistema evaluado que cubre conjuntamente cuatro dimensiones: integridad criptográfica de la etiqueta de confianza, atribución de genealogía a través de la derivación del LLM, persistencia de la etiqueta entre sesiones y cobertura de entradas derivadas por el agente.
• Modestia: Los autores reconocen que el sistema depende de la confiabilidad de los pesos de inferencia del LLM (no puede detectar puertas traseras en el modelo en sí) y que el algoritmo de atribución más fuerte (AttnAttr) requiere modelos de pesos abiertos. La alternativa "sin-padre-fuerte" predetermina a "Confiable", lo cual podría ser explotado si un adversario suprime todas las aristas de atribución por debajo de $\tau$, aunque el endurecimiento de sobres JSON mitiga los riesgos de inyección de prompts.

El artículo concluye que MemLineage cambia el paradigma de defensa de "filtrar contenido" a "hacer cumplir la cadena de custodia", ofreciendo una vía viable para agentes LLM persistentes y seguros.