Strengthening Polymorphic Prompt Assembling: Dynamic Separator Generation Against Emerging Prompt Injection Attacks

Resumen Técnico: Fortalecimiento del Ensamblaje de Prompts Polimórficos mediante la Generación Dinámica de Separadores

Declaración del Problema

Los agentes de Modelos de Lenguaje Extensos (LLM) son cada vez más vulnerables a los ataques de inyección de prompts, donde las entradas adversarias anulan las instrucciones del sistema. Si bien el Ensamblaje de Prompts Polimórficos (PPA) ofrece una defensa robusta al randomizar los pares de separadores (por ejemplo, tokens BEGIN/END) utilizados para delimitar la entrada del usuario de las instrucciones del sistema, su implementación actual depende de un pool estático de separadores pregenerados.

Los autores identifican una vulnerabilidad arquitectónica crítica en este enfoque estático: el radio de explosión de la fuga de separadores. Si un atacante logra extraer con éxito un separador de la respuesta de un modelo, ese delimitador específico permanece válido para todas las solicitudes futuras porque se extrae de un pool fijo y reutilizable. Esto permite a los adversarios reutilizar los separadores filtrados para diseñar payloads de evasión dirigidos en interacciones posteriores, socavando la seguridad a largo plazo del sistema.

Metodología

Para abordar la limitación del pool estático, el artículo propone la Generación Dinámica de Separadores, un mecanismo que reemplaza la selección de pool por la derivación criptográfica por solicitud.

• Mecanismo de Generación: En lugar de seleccionar de una lista fija, el sistema genera un par de canarios (BEGIN, END) único para cada solicitud. Estos pares se derivan de digestos SHA-256 con separación de dominio clave en tres entradas dinámicas:
  1. Una marca de tiempo con resolución de nanosegundos (ts).
  2. Un identificador de sesión UUIDv4 (sid).
  3. Un nonce criptográfico de 16 bytes (nonce).
• Construcción: Los separadores se formatean como ====BEGIN-{24 caracteres hex}==== y ====END-{24 caracteres hex}====. El prefijo de dominio (BEGIN: frente a END:) evita colisiones, y la truncación a 24 caracteres hex (96 bits) asegura una probabilidad de colisión inferior a $2^{-96}$.
• Integración: La solución se implementa como una extensión compatible con versiones anteriores del SDK de PPA existente. Introduce un parámetro separator_mode (static | dynamic) y no requiere el ajuste fino (fine-tuning) del modelo. El DynamicSeparatorProvider aseguran que se genere un par fresco en cada invocación, incluso dentro de la misma sesión, debido al cambio en el timestamp y el nonce.

Contribuciones Clave

1. Generador Dinámico: Un generador de canarios por solicitud, provablemente único e integrado en el marco de trabajo PPA sin romper la compatibilidad con versiones anteriores.
2. Entorno de Evaluación: Un marco de pruebas que soporta 16 payloads de ataque con nombre, incluyendo ataques de post-publicación (M1, M2) y una familia de "ensalada" (salad) de inyecciones de formato/distracción, utilizando clasificadores basados tanto en marcadores como en LLM.
3. Evidencia Empírica: Datos cuantitativos que demuestran que la generación dinámica reduce significativamente las Tasas de Éxito de Ataque (ASR) y elimina los vectores de fuga de separadores que los pools estáticos no pueden mitigar.

Resultos Experimentales

El sistema fue evaluado contra Llama-3.3-70B-Instruct-Turbo (primario) y DeepSeek-V4-Flash (validación entre modelos) utilizando 16 payloads distintos.

• Payload de Ofuscación M1 (Leetspeak + Urgencia):
  • Modo Estático: ASR = 0.88.
  • Modo Dinámico: ASR = 0.38.
  • Significancia: Una reducción de 2.3× en el éxito del ataque. Los intervalos de confianza de Wilson del 95% para estático [0.802, 0.930] y dinámico [0.291, 0.478] no se solapan, confirmando la significancia estadística con $N=100$.
• Ensalada de Ruptura de Formato (Format Breakout Salad):
  • Modo Estático: Tasa de fuga de separador = 0.467 (los atacantes lograron eco del separador).
  • Modo Dinámico: Tasa de fuga = 0.000.
  • Significancia: Los canarios dinámicos eliminaron el vector de fuga por completo porque los patrones inyectados no podían coincidir con los separadores únicos específicos de la solicitud.
• Anulación Cognitiva (M2):
  • El ASR se redujo de 0.09 (estático) a 0.00 (dinámico).
• Validación Cruzada de Modelos: En DeepSeek-V4-Flash, el modo dinámico redujo el ASR de 0.45 a 0.38, aunque los intervalos de confianza se solaparon, lo que sugiere que el beneficio escala con la susceptibilidad del modelo base.
• Sobrecarga de Rendimiento: La generación dinámica añade solo 2.7 µs de sobrecarga por solicitud, lo cual es insignificante comparado con las latencias típicas de inferencia de LLM (>500 ms).
• Impacto en la Calidad: La evaluación en 100 solicitudes benignas a través de cinco categorías de tareas mostró que no hubo degradación en la calidad de la respuesta (puntuación media de Dynamic PPA: 5.00 frente a Baseline: 4.96).

Significancia y Limitaciones

El artículo afirma que la generación dinámica de separadores altera fundamentalmente el modelo de amenazas al limitar el radio de explosión de cualquier posible fuga. Un separador filtrado queda inutilizado para futuras solicitudes porque está delimitado por la solicitud por construcción.

Sin embargo, los autores mantienen una postura modesta respecto al alcance de esta defensa:

• No es una Solución Definitiva: La generación dinámica no evita la divulgación inicial de un separador si se instruye explícitamente al modelo para repetir los límites (por ejemplo, separator_echo_salad logró una tasa de fuga de 1.00 en ambos modos). Los autores señalan que mitigar esto requiere un filtro de salida a nivel de respuesta, que está fuera del alcance actual del estudio.
• Fortalecimiento Criptográfico: La implementación actual utiliza SHA-256 sin clave. Los autores reconocen que si un atacante obtiene acceso al ID de sesión, el timestamp y el nonce (por ejemplo, vía logs), podría reproducir el separador. Recomiendan el uso de HMAC-SHA256 con un secreto del lado del servidor para despliegues de producción para prevenir esto.
• Dependencia del Modelo: La efectividad del enfoque dinámico parece escalar con la susceptibilidad base del modelo subycente, como se evidencia en la reducción no significativa en el backend DeepSeek-V4-Flash en comparación con Llama-3.

En conclusión, el artículo presenta una actualización arquitectónica ligera y compatible con versiones anteriores que neutraliza eficazmente la vulnerabilidad de "reutilización de pool" del PPA estático, reduciendo significativamente las tasas de éxito de ataque contra payloads de inyección sofisticados mientras mantiene una latencia de sobrecarga insignificante.