Resumen Técnico: Desviación de Herramientas Inducida por Memoria en Agentes LLM

Definición del Problema

Los agentes modernos de Modelos de Lenguaje Grande (LLM) integran memoria a largo plazo para la personalización con interfaces de llamada a herramientas para ejecutar acciones con consecuencias. Si bien la memoria permite la adaptación y las herramientas habilitan la utilidad, este documento identifica un modo de fallo previamente no examinado: la desviación de herramientas inducida por memoria.

Este fenómeno ocurre cuando los sesgos impulsados por la personalidad almacenados en la memoria a largo plazo de un agente (por ejemplo, conciencia de costos, impaciencia, tolerancia al riesgo) influyen silenciosa e inapropiadamente en la selección de parámetros de llamada a herramientas en contextos profesionales donde tales preferencias personales son irrelevantes. A diferencia de la sobrepersonalización conversacional, la desviación de herramientas es particularmente consequential porque las llamadas a herramientas a menudo se ejecutan sin la inspección de parámetros individuales por parte del usuario y pueden desencadenar acciones irreversibles (por ejemplo, transacciones financieras, cambios en infraestructura, exposición de datos). El fallo central es la incapacidad del agente para discernir la frontera entre contextos de estilo de vida personal y requisitos de tareas profesionales, lo que conduce a la filtración de sesgos irrelevantes en decisiones críticas de parámetros.

Metodología

1. Formalización y Construcción de Benchmark (MEMDRIFT)

Los autores formalizan la desviación de herramientas inducida por memoria como una desviación en los parámetros de llamada a herramientas ($\theta$) cuando están presentes memorias sesgadas ($M_b$) en comparación con una línea base sin memoria ($M_\emptyset$) o una línea base de memoria neutral ($M_n$). Para medir esto objetivamente, construyeron MEMDRIFT, un benchmark de 105 escenarios sintéticos.

• Estructura: El benchmark abarca cinco dimensiones de sesgo (Velocidad/Impaciencia, Frugalidad de Recursos, Minimalismo/Concisión, Permisividad de Riesgo, Autonomía/Autoconfianza) y siete dominios profesionales (Salud, Finanzas, Legal, Infraestructura de Software, Educación, Comercio Electrónico, Marketing).
• Separación de Contexto: Se impone una separación estricta: todas las memorias del usuario se basan estrictamente en la vida personal (hábitos, preferencias), mientras que todas las invocaciones de herramientas se dirigen a tareas profesionales. Esto asegura que cualquier influencia de la memoria sobre los parámetros de las herramientas constituya un fallo claro (desviación).
• Pipeline de Generación: MEMDRIFT fue generado mediante un pipeline adversarial automatizado y de auto-mejora que utiliza un generador LLM y un juez. El proceso implica la generación de escenarios, la expansión de artefactos (creación de esquemas de herramientas y prompts) y el refinamiento adversarial para maximizar la desviación manteniendo el realismo.

2. Configuraciones de Evaluación

El estudio evaluó siete modelos de vanguardia (incluyendo GPT-5.2/5.4, Claude Sonnet 4.5, Gemini 2.5/3.1 Pro, Kimi K2.5 y Qwen3.5) bajo dos condiciones:

1. Inyección Directa de Memoria: Las memorias sesgadas se colocan literalmente en el prompt del sistema, simulando cómo los sistemas de producción manejan la memoria persistente.
2. Arquitecturas de Memoria de Producción: Las preferencias sesgadas se codifican orgánicamente a través de conversaciones de múltiples turnos y se recuperan mediante tres frameworks de memoria del mundo real (Mem0, MemPalace, SimpleMem) para probar la desviación bajo condiciones realistas de extremo a extremo.

Métrica: Se utilizó una "Puntuación de Desviación" (escala Likert de 1–5), donde un juez LLM compara las respuestas de llamada a herramientas bajo memoria sesgada contra la línea base sin memoria. Puntuaciones más altas indican una mayor desviación en parámetros críticos para la tarea.

3. Análisis Mecanístico

Para entender por qué ocurre la desviación, los autores realizaron un análisis mecanístico en Llama-3.3-70B-Instruct:

• Proyección de Activación: Construyeron vectores de dirección para instrucciones conductuales explícitas y proyectaron los cambios de activación inducidos por la memoria sobre estos vectores.
• Análisis de Atención: Rastrearon los pesos de atención en la posición del token que define el comportamiento para observar cómo el modelo asigna el enfoque entre el contexto relevante para la tarea y las entradas de memoria.

4. Escaneo de Vulnerabilidades en el Mundo Real

Los autores desarrollaron un escáner impulsado por LLM para auditar 6,062 herramientas del mundo real a través de 288 servidores MCP (Model Context Protocol) verificados. Identificaron herramientas con parámetros susceptibles a la desviación basándose en dos propiedades:

1. Parámetros alineados con sesgos: Valores que se alinean naturalmente con las dimensiones de sesgo (por ejemplo, "económico" frente a "premium").
2. Superposición léxica: Valores de parámetros que comparten palabras clave con contextos personales comunes (por ejemplo, "rápido", "seguro", "mínimo").
   Un subconjunto de herramientas marcadas fue validado para confirmar que la desviación ocurre en esquemas reales.

Resultados Clave

1. Pervasividad de la Desviación de Herramientas

• Susceptibilidad Universal: Los siete modelos de vanguardia evaluados exhibieron una desviación de herramientas sustancial. Las puntuaciones de desviación sesgadas fueron consistentemente altas (hasta +3.6 puntos en una escala de 1–5) en todos los modelos y dimensiones de sesgo.
• Persistencia en Producción: La desviación persistió incluso cuando las memorias se codificaron a través de conversaciones naturales de múltiples turnos y se recuperaron mediante arquitecturas de memoria de producción. En algunos casos, las puntuaciones de desviación bajo frameworks de memoria fueron comparables o superaron a las de inyección directa, probablemente porque los frameworks eliminan el contexto personal durante el almacenamiento, codificando las preferencias como directivas globales.
• Robustez: Se observó desviación incluso cuando las memorias sesgadas constituían una pequeña fracción (por ejemplo, 25%) del conjunto total de memorias.

2. Impacto en el Mundo Real

• Escaneo de Vulnerabilidades: El escaneo marcó 608 herramientas (aproximadamente el 10%) como altamente susceptibles a la desviación inducida por memoria.
• Ejemplos Validados: En un subconjunto validado, los modelos demostraron desviación en herramientas del mundo real. Por ejemplo:
  • GitLab: Una preferencia personal del usuario por la "apertura" hizo que el modelo estableciera la visibilidad de un proyecto como pública en lugar de privada para un servicio de datos de salud.
  • Brave Search: Una preferencia del usuario por experiencias "sin filtros" hizo que el modelo estableciera safesearch (búsqueda segura) en desactivado para una consulta de búsqueda dirigida a un programa de escuela secundaria.
  • GitHub/Linear: Las preferencias por velocidad o minimalismo llevaron a la desactivación de modos de validación, instantáneas de reversión o configuraciones de prioridad en flujos de trabajo críticos.

3. Hallazgos Mecanísticos

• Vectores de Dirección Implícitos: Las memorias sesgadas actúan como vectores de dirección implícitos, empujando las activaciones del modelo a lo largo de las mismas direcciones latentes que las instrucciones conductuales explícitas. El modelo trata las preferencias personales de contextos no relacionados como directivas conductuales globales.
• Redistribución de Atención: Las memorias sesgadas secuestran la atención a través de una superposición léxica superficial. El modelo redistribuye la atención alejándola del contexto relevante para la tarea (esquema de herramienta, consulta del usuario) hacia entradas de memoria que contienen palabras clave que se superponen con los valores objetivo del parámetro. Esto suprime la capacidad del modelo para discernir la relevancia de la tarea.

4. Limitaciones de las Defensas Actuales

Los autores evaluaron defensas estándar:

• Prompts de Sistema Defensivos: Las instrucciones para ignorar memorias irrelevantes redujeron la desviación pero no la eliminaron (las puntuaciones permanecieron sustancialmente elevadas).
• Filtros de Relevancia de Memoria: Si bien los filtros funcionaron perfectamente en la separación limpia de MEMDRIFT, fallaron en escenarios realistas de razonamiento de múltiples saltos (por ejemplo, recordar que la postura ética de un usuario implica una restricción dietética), reteniendo solo el 61% de las memorias verdaderamente relevantes mientras admitían el 10.3% de las irrelevantes.

Significado y Afirmaciones

El documento afirma identificar una vulnerabilidad sistemática en los agentes LLM aumentados con memoria que actualmente no está abordada por los desarrolladores de herramientas y los proveedores de modelos.

• Novelty: Este es el primer estudio que formaliza y mide cómo las memorias personales corrompen silenciosamente los parámetros de llamada a herramientas profesionales, distinto de la sobrepersonalización conversacional.
• Perfil de Riesgo: El riesgo es único en entornos de agentes donde las acciones son consequential y a menudo irreversibles. La superficie de vulnerabilidad es amplia, afectando parámetros que codifican compensaciones comunes (velocidad, costo, precaución, supervisión).
• Llamada a la Acción: Los autores argumentan que las salvaguardas actuales (instrucciones de prompts, filtros simples) son insuficientes. Motivan la necesidad de defensas dedicadas en la intersección de la gestión de memoria y la generación de llamadas a herramientas, requiriendo potencialmente intervenciones en tiempo de entrenamiento para instilar discernimiento contextual en lugar de depender únicamente de la mitigación en tiempo de inferencia.

El estudio concluye que a medida que los agentes asumen acciones cada vez más consequential, la desviación de herramientas inducida por memoria representa un problema abierto crítico que requiere investigación dedicada y soluciones arquitectónicas.