Evaluating Prompting-Based Defenses Against Domain-Camouflaged Injection Attacks

Resumen Técnico: Evaluación de Defensas Basadas en Prompting contra Ataques de Inyección con Camuflaje de Dominio

Planteamiento del Problema
Los agentes de Modelos de Lenguaje de Gran Escala (LLM) en entornos empresariales procesan cada vez más documentos de fuentes no confiables (p. ej., informes financieros, contratos legales) para generar recomendaciones. Mientras que los ataques de inyección de prompt estándar utilizan directivas de anulación explícitas (p. ej., "Ignora todas las instrucciones anteriores") que son fácilmente detectadas por detectores sintácticos, ha surgido una amenaza más sofisticada: la inyección con camuflaje de dominio. Estos ataques incrustan instrucciones maliciosas dentro del contenido recuperado utilizando un vocabulario indistinguible del texto legítimo del dominio. Trabajos previos (Pai, 2026) establecieron que los clasificadores estándar, incluyendo Llama Guard 3, fallan al detectar estos payloads, creando una "Brecha de Detección de Camuflaje" (CDG) del 80–100%. En consecuencia, los profesionales carecen de orientación empírica sobre qué arquitecturas de defensa mitigan eficazmente los ataques cuando los mecanismos de detección fallan.

Metodología
Los autores realizaron una evaluación sistemática de cinco arquitecturas de defensa basadas en prompting a través de tres familias de modelos y tres dominios de despliegue.

• Benchmark y Alcance: El estudio utilizó un benchmark de 45 tareas que cubría los dominios Financiero (recomendaciones de acciones, riesgo), Legal (contratos, cumplimiento) y General (QA, resumen). El conjunto de datos incluyó 3,510 ensayos.
• Modelos Evaluados: Claude Haiku 4.5, Llama 3.1 8B Instruct y Gemini 2.0 Flash.
• Condiciones de Ataque:
  • Estáticas: Directivas de anulación canónicas (p. ej., "IGNORE ALL PREVIOUS INSTRUCTIONS").
  • Camuflaje: Conclusiones maliciosas generadas por un LLM atacante que imita el vocabulario profesional del dominio (p. ej., "Comentario de Analista Suplementario... recomendación de VENTA revisada").
• Condiciones de Defensa: Se probaron siete configuraciones:
  1. Línea Base (Baseline): Sin defensa.
  2. Spotlighting (Iluminación): Envolver el contenido recuperado con marcadores de procedencia (p. ej., <<<UNTRUSTED EXTERNAL CONTENT>>>).
  3. Paráfrasis (Paraphrasing): Reescribir el contenido recuperado en un lenguaje neutral antes del procesamiento del agente (usando Claude Haiku como el reescritor).
  4. Sandwiching (Sandwich): Anexar un recordatorio de la tarea después del contenido recuperado.
  5. Combinaciones: Spotlight + Sandwich, y Paraphrase + Spotlight.
  6. Llama Guard 4: Una defensa basada en clasificador que bloquea documentos marcados como inseguros.
• Métricas: Tasa de Éxito de Ataque (ASR), Utilidad (completitud de tareas legítimas) y una brecha de detección desde el lado de la defensa $CDG_{def} = ASR_{static} - ASR_{camouflage}$. La significancia estadística se evaluó mediante las pruebas exactas de McNemar y Fisher.

Resultos Clave
La evaluación reveló que la efectividad de la defensa depende altamente del modelo y que las defensas estándar se comportan de manera diferente contra ataques camuflados en comparación con los estáticos.

• La paráfrasis es la defensa más efectiva: Reescribir el contenido recuperado antes del procesamiento redujo consistentemente el ASR de camuflaje en todos los modelos:
  • Claude Haiku: 14.4% $\to$ 4.4%
  • Llama 3.1: 22.2% $\to$ 10.0%
  • Gemini 2.0: 21.1% $\to$ 3.3%
  • La combinación de Paraphrasing + Spotlighting logró el ASR absoluto más bajo en todos los modelos (p. ej., 3.3% en Haiku).
• El Spotlight es inconsistente: Aunque redujo a la mitad el ASR en Claude Haiku (14.4% $\to$ 6.7%), no proporcionó ningún beneficio en Llama 3.1 8B (22.2% $\to$ 23.3%, no significativo).
• El Sandwiching es débil: No logró reducir el ASR por debajo de los niveles de la línea base en Llama y Gemini.
• Comparación con Llama Guard 4: La paráfrasis logró un ASR de camuflaje más bajo que la configuración de Llama Guard la de cada modelo probado. Además, Llama Guard 4 exhibió altas tasas de sobre-rechazo (>90%), mientras que la paráfrasis mantuvo un sobre-rechazo cercano a cero.
• Riesgo de Dominio: Los despliegues en el dominio financiero enfrentaron el mayor riesgo residual, con tasas de éxito de ataque de línea base de 26–33%. Ninguna defensa basada en prompting eliminó completamente la amenaza en los modelos más débiles en este dominio.
• Anomalías del Modelo: Gemini 2.0 Flash exhibió una inversión donde el ASR estático (38.9%) superó al ASR de camuflaje (21.1%), un fenómeno no observado en otros modelos.

Contribuciones Clave

1. Primera Evaluación Sistemática: Este trabajo proporciona la primera evaluación basada en benchmarks de las defensas basadas en prompting (paráfrasis, spotlighting, sandwiching) específicamente contra la clase de inyección con camuflaje de dominio.
2. Cambio en el Ranking de Defensas: El estudio demuestra que los rankings de defensa cambian bajo condiciones de camuflaje; específicamente, el spotlighting, que es efectivo contra ataques estáticos, no ofrece beneficio contra payloads de camuflaje en ciertos modelos (Llama 3.1 8B).
3. Superioridad de la Paráfrasis: Los autores demuestran que la paráfrasis logra tasas de éxito de ataque más bajas que Llama Guard 4 en todos los modelos probados sin incurrir en penalizaciones de sobre-rechazo.
4. Recomendaciones para Profesionales: El artículo ofrece recomendaciones de despliegue específicas, destacando que los dominios financieros requieren una cautela mayor, ya que ninguna defensa de prompting por sí sola mitiga completamente el riesgo en los modelos más débiles.

Significancia y Limitaciones
El artículo establece un nuevo benchmark para evaluar defensas contra una clase de ataques que eluden la detección estándar. Proporciona evidencia accionable de que parafrasear el contenido recuperado es actualmente la estrategia más robusta basada en prompting para mitigar ataques de camuflaje.

Los autores mantienen una postura modesta respecto a la generalizabilidad de sus hallazgos. Expresan explícitamente que todas las tareas utilizadas consistieron en documentos profesionales construidos sintéticamente. Por consiguiente, sigue siendo una pregunta abierta si estos rankings de defensa y niveles de efectividad de defensa se generalizan a los documentos empresariales del mundo real. El estudio cierra la brecha en la comprensión de cómo defenderse contra ataques de inyección cuando el contenido inyectado es sintácticamente indistinguible del texto legítimo.