The System Prompt Is the Attack Surface: How LLM Agent Configuration Shapes Security and Creates Exploitable Vulnerabilities

1. El Problema: La Configuración del Prompt como Superficie de Ataque

El artículo aborda un vacío crítico en la seguridad de los Agentes de LLM (Grandes Modelos de Lenguaje) desplegados en entornos empresariales para la gestión de correo electrónico.

• Contexto: Los agentes de LLM están evolucionando de asistentes pasivos a tomadores de decisiones autónomos que pueden bloquear o permitir el acceso a enlaces en correos electrónicos.
• La Brecha de Conocimiento: Mientras que la industria se centra en la selección del modelo (arquitectura, parámetros), no existe un estudio sistemático sobre cómo la configuración del prompt del sistema (las instrucciones que definen la "personalidad" y los criterios de decisión del agente) afecta su postura de seguridad.
• La Hipótesis Central: El prompt del sistema no es un detalle de implementación menor, sino una variable de seguridad de primer orden. Una mala configuración puede convertir un modelo capaz en un sistema ciego ante el phishing, independientemente de su arquitectura subyacente.

2. Metodología: PhishNChips

Los autores presentan PhishNChips, un benchmark a gran escala diseñado para evaluar la interacción entre modelos y prompts.

• Escala: 220,000 evaluaciones estructuradas.
• Modelos: 11 modelos de vanguardia de 5 proveedores (Google, OpenAI, Anthropic, Meta, Mistral, etc.), seleccionados por su viabilidad para agentes en tiempo real (modelos rápidos y rentables).
• Estrategias de Prompt: 10 estrategias diferentes, que van desde:
  • Perfiles de riesgo: "Seguridad primero", "Eficiencia primero", "Equilibrado", "Útil".
  • Estrategias optimizadas: Basadas en señales específicas (ej. consistencia entre dominio del remitente y URL).
  • Estrategias de recuperación: Conscientes de la infraestructura de ataque.
• Dataset:
  • 2,000 correos sintéticos (1,000 phishing, 1,000 legítimos).
  • Phishing: Generado por LLMs (Gemini 3 Flash) para simular ataques de alta calidad, utilizando URLs maliciosas reales de PhishTank/OpenPhish alojadas en plataformas de confianza (GitHub, Firebase, etc.).
  • Subconjunto Crítico: 73 muestras de "Phishing de Infraestructura", donde el atacante registra un dominio que coincide tanto con la dirección del remitente como con la URL del enlace, anulando la señal de inconsistencia de dominios.
• Métricas:
  • Recall (Sensibilidad): Porcentaje de phishing bloqueado.
  • FPR (Tasa de Falsos Positivos): Porcentaje de correos legítimos bloqueados.
  • Safetility: Una métrica compuesta nueva que penaliza severamente los FPR por encima de un umbral operativo (10%), reflejando la realidad de que un agente que bloquea muchos correos legítimos es inutilizable.

3. Contribuciones Clave

1. Interacción Prompt x Modelo: Demostración de que la configuración del prompt puede tener un impacto mayor en la seguridad que la elección del modelo. Un mismo modelo puede variar su tasa de bypass de phishing de <1% a 97% solo cambiando el prompt.
2. Optimización Basada en Señales y su Fragilidad: Desarrollo de estrategias que logran un alto recall (hasta 93.7%) con bajo FPR, pero que revelan una vulnerabilidad estructural: la inversión de señales.
3. Paradoja de la Especificidad de Instrucciones: Hallazgo contraintuitivo de que dar instrucciones más específicas (ej. "confía solo en la coincidencia de dominios") puede degradar el rendimiento de modelos que ya eran buenos, reduciendo su recall hasta en 19 puntos porcentuales al reemplazar su razonamiento multifactorial por una dependencia explotable de una sola señal.
4. Safetility: Introducción de una métrica que prioriza la despliegabilidad operativa sobre el recall puro.
5. Evidencia de un Techo para la Defensa Solo-Prompt: Validación de que, ante ataques de infraestructura sofisticados, los prompts por sí solos no pueden cerrar la brecha de información, requiriendo herramientas externas.

4. Resultados Principales

A. El Espectro de Riesgo del Prompt

• La personalidad del agente define el rango operativo. Un prompt enfocado en "eficiencia" puede permitir que el 97% del phishing llegue a la bandeja de entrada, mientras que uno enfocado en "seguridad" puede bloquear el 57% de los correos legítimos (FPR alto).
• El efecto del prompt del sistema es significativamente mayor que el del prompt del usuario en la determinación de la seguridad.

B. Optimización y Colapso (La Inversión de Señales)

• Las estrategias optimizadas (ej. sender_url_match) logran un recall del 93.7% y un FPR del 3.8% en el benchmark estándar.
• El Colapso: Cuando se enfrenta a Phishing de Infraestructura (donde el atacante satisface la señal de coincidencia de dominios), estas estrategias optimizadas colapsan. El recall cae drásticamente (ej. de 93.7% a 30.1% en GPT-4o-mini).
• Análisis de Trazas: El 98% de las respuestas de los modelos que fallan citan explícitamente la "coincidencia de dominios" como evidencia de legitimidad. Los modelos no fallan en razonar; ejecutan fielmente una instrucción basada en una premisa falsa controlada por el atacante.

C. El Espectro de Inmunidad del Modelo

No todos los modelos colapsan igual ante la inversión de señales. Los autores identifican tres categorías de "disposición pre-despliegue":

1. Modelos Calibrados (ej. GPT-4o-mini, Gemini 2.5 Flash): Siguen las instrucciones con precisión. Son muy vulnerables a prompts específicos mal diseñados, pero son altamente eficientes cuando se les da permisos de anulación bien especificados (bajo costo de FPR).
2. Modelos de Amplificación de Seguridad (ej. Claude Haiku, Claude Sonnet, Mistral): Tienden a amplificar las instrucciones de seguridad. Si se les da un permiso de anulación, lo convierten en una sospecha generalizada, resultando en FPR catastróficos (hasta 67.6%).
3. Modelos Autosuficientes (ej. Qwen 3): Ya poseen un razonamiento multifactorial robusto. Las instrucciones específicas a menudo degradan su rendimiento porque reemplazan su razonamiento interno con una regla simple.

D. El Techo de la Defensa

• La validación adversarial con 10 muestras reales de phishing de infraestructura mostró que incluso la mejor configuración (prompt + modelo) deja pasar el 90% de los ataques más difíciles.
• Causa: La brecha es informativa, no instruccional. Los LLMs carecen de acceso a datos de ground truth (edad del dominio, inteligencia de amenazas, historial de remitentes) para verificar si un dominio registrado recientemente es legítimo o malicioso.

5. Significado y Recomendaciones

• El Prompt es un Vector de Ataque: La especificidad de un prompt que lo hace efectivo contra el phishing genérico también lo hace predecible y explotable por atacantes adaptativos.
• Co-optimización Prompt-Modelo: No existe una configuración universal. La elección del prompt debe estar estrictamente acoplada a la "disposición" del modelo seleccionado. Un prompt que funciona para GPT-4o-mini puede ser desastroso para Claude Sonnet.
• Necesidad de Aumento de Herramientas (Tool Augmentation): Para defenderse contra ataques de infraestructura, la ingeniería de prompts por sí sola ha alcanzado un límite. Se requiere integrar herramientas externas (búsquedas WHOIS, feeds de inteligencia de amenazas, sandboxing de URLs) para proporcionar la verdad factual que el modelo no puede inferir del texto del correo.
• Estrategia de Defensa en Capas: Se sugiere un enfoque híbrido: usar detectores basados en señales para el phishing genérico (commodity) y modelos o herramientas resistentes a la infraestructura para los casos más difíciles.

En conclusión, el paper demuestra que la seguridad de los agentes de LLM no es una propiedad intrínseca del modelo, sino el resultado de una interacción compleja y a menudo frágil entre la configuración del prompt y la disposición del modelo, requiriendo un enfoque de defensa en profundidad que vaya más allá del texto.