Resumen Técnico: Envenenamiento de Experiencia Obsesiva (OEP)

Declaración del Problema

Los agentes de Modelos de Lenguaje Grande (LLM) aumentados con memoria utilizan la reflexión iterativa y la autoevolución para resolver tareas complejas, destilando experiencias pasadas en reglas accionables. Si bien este mecanismo mejora la competencia, introduce una vulnerabilidad de seguridad crítica: la posibilidad de que adversarios induzcan generalizaciones dañinas mediante entradas "limpias".

Los ataques existentes a la memoria de agentes (por ejemplo, AgentPoison, MINJA, MemoryGraft) suelen depender de la inyección de instrucciones maliciosas explícitas, registros manipulados o procedimientos inseguros. Estos métodos son a menudo detectables por filtros de seguridad avanzados, auditores de contenido o sistemas de detección de anomalías que examinan contenido tóxico o errores factuales verificables.

Este trabajo identifica una superficie de ataque poco explorada: ¿Pueden los adversarios inducir a agentes autoevolutivos a generar reglas dañinas utilizando únicamente experiencias localmente correctas, semánticamente plausibles y "limpias"? El desafío central es que los agentes reflexivos pueden sobre-generalizar a partir de casos extremos específicos, destilando métodos locales no transferibles en reglas sistémicas persistentes y de alta prioridad que provocan fallos aguas abajo.

Metodología: Envenenamiento de Experiencia Obsesiva (OEP)

OEP es un paradigma de ataque de bajo privilegio y caja negra que explota las vulnerabilidades cognitivas de los agentes autoevolutivos sin requerir control directo sobre los prompts del sistema o las bases de datos de memoria. El ataque opera mediante un pipeline de tres fases:

1. Construcción de Casos Extremos Limpios

El atacante construye casos extremos $(t_e, s_e)$ que satisfacen dos restricciones estrictas:

• Corrección Local: La solución $s_e$ debe ser factual y lógicamente correcta dentro del contexto específico del caso extremo $t_e$, lo que le permite eludir validadores epistémicos ($V_{logic}$).
• No Transferibilidad Global: El método $m_e$ utilizado en $s_e$ debe tener una tasa de éxito cercana a cero cuando se aplica a la distribución general de tareas ($D_{task}$).
• Implementación: Los LLM generan condiciones de contorno y soluciones candidatas, seguidas de un filtrado automatizado para retener únicamente aquellas que son localmente válidas pero globalmente poco fiables.

2. Triplete de Consecuencia Adversaria (ACT)

Para superar la incertidumbre de abstracción inherente a la destilación de reglas específicas a partir de éxitos aislados, OEP introduce un Triplete de Consecuencia Adversaria $(t_e, s_e, c_{adv})$.

• Mecanismo: El triplete empareja la solución localmente correcta con una catástrofe hipotética severa, pero plausible en el dominio ($c_{adv}$), que ocurriría si se utilizara el método estándar en lugar de la solución del caso extremo.
• Explotación Cognitiva: Esto aprovecha la aversión a la pérdida inherente del agente (un rasgo de los LLM alineados con la seguridad). Al distorsionar artificialmente el paisaje de utilidad esperado, la penalización hipotética ($|U(\neg s_e)| \gg U(s_e)$) domina el proceso de toma de decisiones del agente.
• Resultado: El agente se sesga para priorizar la evitación de la penalización hipotética severa sobre los procedimientos estándar, "armando" efectivamente su alineación de seguridad para fijarse en la solución del caso extremo no transferible.

3. Inyección y Sobre-generalización

Los ACTs elaborados se someten a través de interacciones estándar de nivel de usuario.

• Elusión de Validación: Dado que la solución es localmente correcta y la consecuencia es semánticamente coherente, la entrada supera el filtro epistémico interno del agente.
• Reflexión y Destilación: El módulo de reflexión del agente, impulsado por el alto riesgo percibido de la consecuencia hipotética, destila el éxito localizado en una regla global de alta prioridad ($r_{obs}$).
• Fallo Aguas Abajo: En tareas benignas futuras, el agente recupera esta regla sobre-generalizada. Debido a la no transferibilidad de la regla, el agente aplica erróneamente el método del caso extremo, lo que conduce a errores de razonamiento (por ejemplo, diagnósticos erróneos) o agotamiento de recursos (por ejemplo, llamadas redundantes a herramientas).

Contribuciones Clave

1. Paradigma de Ataque OEP: La propuesta de un ataque novedoso que acopla el envenenamiento de métodos limpios con la inducción de reglas sobre-generalizadas. A diferencia de ataques anteriores, OEP preserva la corrección local y la plausibilidad semántica, evadiendo defensas basadas en facticidad y toxicidad.
2. Marco de Construcción de Casos Adversarios: Una metodología sistemática que integra la generación de casos extremos limpios con la inyección sinérgica de ACTs. Este marco secuestra cognitivamente el cálculo de utilidad del agente, dirigiendo la reflexión hacia la formación de reglas sesgadas mientras mantiene la validez de la entrada.
3. Robustez Empírica e Insight de Vulnerabilidad-Capacidad: Validación experimental que muestra que OEP logra una Tasa de Éxito del Ataque (ASR) superior al 50% en diversos dominios (Matemáticas, Salud, Uso de Herramientas) utilizando agentes GPT-4o. Cabe destacar que el trabajo observa una "paradoja capacidad-vulnerabilidad", donde los agentes más capaces (con mayor adherencia a instrucciones y capacidades de reflexión) son paradójicamente más susceptibles a este secuestro cognitivo.

Resultados Experimentales

Los autores evaluaron OEP en tres dominios y múltiples marcos de agentes (Agente Simple, LangChain, OpenClaw) utilizando diversas bases de modelos (GPT-4o, GPT-5.4, Deepseek-v3.2, etc.).

• Degradación del Rendimiento: OEP provocó caídas significativas en la precisión (por ejemplo, la precisión en matemáticas cayó de ~91% a ~40% en agentes GPT-4o) y aumentó el consumo de recursos (uso de tokens y latencia) debido a invocaciones redundantes de herramientas.
• Persistencia: El ataque demostró alta persistencia; la ASR se mantuvo alta (por ejemplo, 72% en el dominio de Herramientas) incluso después de 50 consultas benignas posteriores, lo que indica que las reglas envenenadas anulan efectivamente la dilución natural de la memoria.
• Elusión de Defensas: Bajo mecanismos de defensa principales (Filtros de Prompts y Auditores LLM), OEP mantuvo una ASR de ~40%, superando significativamente a líneas base como MINJA y AgentPoison, cuyas ASR cayeron por debajo del 15% bajo las mismas condiciones de auditoría LLM.
• Estudios de Ablación:
  • Base de Modelo: Los modelos avanzados exhibieron una ASR más alta que los modelos más pequeños, confirmando el vínculo capacidad-vulnerabilidad.
  • Componentes ACT: Eliminar la consecuencia severa (utilizando solo Pregunta-Respuesta o Solución) resultó en un éxito marginal del ataque, confirmando que la penalización hipotética es el motor crítico para sesgar la reflexión.
  • Ratio Adversario: La eficacia del ataque aumentó de forma no lineal a medida que aumentaba la proporción de casos adversarios, validando la vulnerabilidad de "confinamiento de perspectiva".

Significado y Afirmaciones

El trabajo afirma que OEP revela una vulnerabilidad fundamental en el bucle de memoria-reflexión de los agentes autoevolutivos. El significado radica en demostrar que:

1. Las Entradas Limpias Pueden Ser Venenosas: Las defensas de seguridad que se centran únicamente en contenido malicioso o errores factuales son insuficientes contra ataques que explotan el proceso de consolidación de memoria y destilación de reglas.
2. La Alineación de Seguridad como Vector: Los propios mecanismos diseñados para hacer seguros a los agentes (aversión a la pérdida, sensibilidad al riesgo) pueden ser manipulados para inducir generalizaciones inseguras.
3. Necesidad de Nuevas Defensas: Los autores argumentan a favor de defensas que vayan más allá del filtrado de contenido, como paradigmas de búsqueda activa (consultar herramientas externas para romper el confinamiento de perspectiva) y marcos de debate multiagente (para contrarrestar la asimetría de confianza y recalibrar la utilidad).

Los autores concluyen que descubrir estas vulnerabilidades es crucial para el desarrollo de ecosistemas autónomos robustos y confiables, enfatizando que los agentes más capaces pueden ser actualmente más vulnerables a dicho secuestro cognitivo.