Persona Attack: Incremental Memory Injection Jailbreak Attack against Large Language Models

Resumen Técnico: Ataque de Persona – Inyección Incremental de Memoria

Declaración del Problema

A pesar del entrenamiento continuo en seguridad y la implementación de mecanismos de filtrado de contenido, los Modelos de Lenguaje Extensos (LLM) siguen siendo vulnerables a los ataques de jailbreak. Las técnicas de jailbreak tradicionales suelen depender de inyecciones de un solo prompt, ignorando a menudo la capacidad del modelo para mantener el flujo de la conversación y retener las instrucciones del usuario a lo largo del tiempo. Dado que los LLM se despliegan cada vez más como agentes conversacionales con ventanas de contexto extendidas, poseen un "mecanismo de memoria" que prioriza las instrucciones del usuario para mantener la coherencia conversacional. Este artículo postula que este mismo mecanismo —diseñado para la conveniencia del usuario— puede ser explotado para eludir el alineamiento de seguridad. El problema central abordado es la vulnerabilidad de los LLM a la inyección incremental de memoria, donde una serie de prompts de apariencia benigna manipula gradualmente la ventana de contexto del modelo, causando que este priorice las instrucciones del usuario sobre sus políticas internas de seguridad.

Metodología: Ataque de Persona

Los autores proponen el Ataque de Persona (Persona Attack), un método de jailbreak que utiliza un enfoque paso a paso para manipular la ventana de contexto del modelo mediante la inyección de memoria. A diferencia del complejo ingeniería de prompts de un solo turno, este método se basa en una interacción de múltiples turnos para "impregnar" instrucciones específicas en la memoria del modelo antes de entregar la consulta maliciosa.

Componentes Principales

El ataque consta de dos fases primarias:

1. Paso de Impregnación de Instrucciones (Hipnosis y Parálisis):
   Esta fase prepara la memoria del modelo inyectando un conjunto de tres instrucciones ($I = \{I_1, I_2, I_3\}$) diseñadas para reducir la resistencia del modelo y anclar su comportamiento:

   • $I_1$ (Imitación): Pide al modelo que prediga los resultados de respuesta de otros modelos de lenguaje, actuando como un rompehielo.
   • $I_2$ (Inyección de Suposición): Enmarca la interacción como una tarea de "seguimiento de formato", instruyendo al modelo para clasificar las respuestas en categorías específicas (por ejemplo, Fallo de Jailbreak, Fallo Parcial, etc.). Esto crea un fuerte efecto de encuadre.
   • $I_3$ (Desenmascaramiento): Exige una respuesta definitiva y completa sin omisiones ni enmascaramiento de palabras específicas.
     Estas instrucciones están diseñadas para ser almacenadas en la memoria del modelo, creando un contexto donde las futuras entradas se interpretan a través del lente de estas reglas predefinidas en lugar de las políticas de seguridad.

2. Paso de Ataque (Preguntas Maliciosas):
   Una vez que las instrucciones han sido impregnadas, se introduce una pregunta dañosa ($Q_h$). El modelo, condicionado por las instrucciones previas, trata la consulta dañosa como una "simulación legítima" o una tarea a completar dentro del formato establecido, eludiendo así los filtros de seguridad.

Variaciones y Optimización

Los autores tratan la disposición de los prompts como un problema de optimización combinatoria para maximizar la Tasa de Éxito del Ataque (ASR). Probaron varias configuraciones:

• Ataque "Once" (Único): Todas las instrucciones y la pregunta dañosa se concatenan en un solo prompt.
• Ataque "Sequential 1" (Secuencial 1): Las instrucciones ($I_1, I_2, I_3$) se introducen secuencialmente, seguidas de $Q_h$.
• Ataques "Sequential 2" y Adicionales: Variaciones donde $Q_h$ se intercala entre las instrucciones (por ejemplo, $I_1, I_2, Q_h, I_3$).

El estudio también distingue entre dos tipos de implementación de memoria:

• Memoria Manual: El historial de la conversación se pega manualmente en la ventana de contexto para cada nuevo prompt.
• Memoria Basada en Estado: El modelo mantiene un estado interno que se actualiza iterativamente con cada interacción (por ejemplo, a través de la gestión de estado de la API).

Contribuciones Clave

1. Identificación de la Vulnerabilidad de la Memoria: El artículo demuestra que el "mecanismo de memoria" destinado a la conveniencia del usuario es una vulnerabilidad crítica. Muestra que los modelos priorizan cada vez más las instrucciones acumuladas del usuario sobre el alineamiento de seguridad a medida que avanza la conversación.
2. Técnica de Inyección Incremental de Memoria: Los autores introducen una estrategia de ataque de múltiples turnos ligera que requiere solo cuatro prompts para lograr altas tasas de éxito, contrastando con los ataques de un solo disparo complejos y pesados en recursos.
3. Análisis Empírico de Implementaciones de Memoria: El estudio proporciona un análisis comparativo de cómo diferentes implementaciones de memoria (Manual vs. Basada en Estado) afectan la eficacia del ataque, revelando que las implementaciones basadas en estado son a menudo más susceptibles a este vector de ataque específico.
4. Optimización de Combinaciones de Prompts: Al tratar la disposición de los prompts como un problema de optimización, los autores identifican combinaciones de instrucciones específicas que producen un ASR significativamente mayor en comparación con los métodos tradicionales.

Resultados Experimentales

Los autores evaluaron el Ataque de Persona en varios modelos, incluyendo GPT-4o, Llama-3.2-3B-Instruct, ChatGPT-4o, Claude 3.7 Sonnet y Grok 3 Beta.

• Tasas de Éxito: El ataque Sequential 1 logró las tasas de éxito más altas. En GPT-4o, el ASR alcanzó el 95%, y la Tasa de Éxito de Ataque Total (FAR) alcanzó el 88.3%. Esto es una mejora significativa respecto al ataque "Once" (75% ASR) y los métodos tradicionales como GCG, Jailbroken y Parameters, que mostraron un 0% de éxito en los modelos probados.
• Impacto de la Implementación de Memoria:
  • GPT-4o: La implementación de memoria basada en estado produjo un ASR más alto (95%) en comparación con la memoria manual (88.33%).
  • Llama-3.2-3B-Instruct: El modelo mostró un resultado contraintuitivo donde el ataque "Once" funcionó mejor (20% ASR) que el ataque secuencial (5% ASR) en entornos de memoria manual. Los autores atribuyen esto al entrenamiento de Llama-3 en patrones de "Many-Shot Jailbreak" (MSJ), lo que podría haberlo hecho más resistente a la estructura de múltiples turnos de los ataques secuenciales pero vulnerable a las inyecciones de un solo prompt.
• Aplicabilidad en el Mundo Real: Los experimentos en servicios de chatbot comerciales (ChatGPT, Claude, Grok) confirmaron que el ataque es efectivo en entornos reales, eludiendo incluso las medidas de seguridad más recientes.

Significado y Reivindicaciones

El artículo afirma que el Ataque de Persona socava fundamentalmente las políticas de seguridad inherentes de los LLM al explotar la tensión entre las capacidades de seguimiento de instrucciones y el alineamiento de seguridad.

• Cambio de Prioridad: Los resultados demuestran empíricamente que, a medida que las inyecciones se acumulan en la memoria, los modelos cambian su prioridad del alineamiento de seguridad hacia las instrucciones del usuario. El modelo efectivamente "olvida" o desprioriza sus restricciones de seguridad en favor del contexto establecido por el atacante.
• Sigilo y Eficiencia: A diferencia de otros métodos anteriores que son fácilmente detectables debido a la longitud de los tokens o patrones maliciosos obvios, el Ataque de Persona deja pocos patrones maliciosos en la consulta final, lo que dificulta que las defensas basadas en prompts actuales lo detecten.
• Implicaciones para la Seguridad: Los autores argumentan que la opacidad de los mecanismos de alineamiento interno en los modelos de caja negra dificulta el desarrollo de defensas efectivas. Sugieren que la investigación futura en seguridad debe centrarse en el alineamiento basado en la memoria, requiriendo potencialmente mecanismos para identificar e ignorar instrucciones inapropiadas almacenadas en el historial de la conversación o para reiniciar periódicamente los estados de contexto largo.

En conclusión, el artículo sostiene que la conveniencia de la memoria de contexto largo en los LLM crea una vulnerabilidad de doble uso que puede ser explotada para desactivar los dispositivos de seguridad, lo que requiere una reevaluación de cómo se mantiene el alineamiento de seguridad en entornos interactivos de múltiples turnos.