Resumen Técnico: Nublando el Espejo

Declaración del Problema

Los ataques de phishing están escalando en volumen y sofisticación, con totales trimestrales recientes que superan los 1.1 millones de incidentes. Si bien los Modelos de Lenguaje Extensos (LLM) han surgido como herramientas prometedoras para detectar sitios de phishing mediante el análisis holístico de URLs, HTML y contenido renderizado, introducen una nueva vulnerabilidad crítica: la Inyección de Prompts (PI).

El problema central abordado es la "asimetría perceptual" entre los usuarios humanos y los LLM. Los atacantes, que poseen el control total sobre los componentes del sitio de phishing (URLs, HTML, scripts, imágenes), pueden incrustar instrucciones maliciosas que son imperceptibles para los visitantes humanos pero plenamente procesables por el LLM. Estas instrucciones ocultas pueden manipular el juicio del LLó para clasificar erróneamente sitios de phishing como legítimos, interrumpir el flujo de detección o agotar los recursos del sistema. A pesar de la prevalencia de la PI en la IA conversacional, sus riesgos específicos y estrategias de mitigación dentro del contexto de la detección automatizada de phishing siguen sin explorarse ampliamente.

Metodología

El estudio emplea un marco de evaluación sistemática que comprende una taxonomía novedosa, pruebas empíricas y validación de defensa.

1. Taxonomía Bidimensional

Los autores introducen una taxonomía para categorizar las estrategias de PI en la detección de phishing, definida por dos ejes:

• Técnicas de Ataque:
  • Técnicas Principales: Pretexto Legítimo (reclamar propósitos educativos o de investigación), Secuestro de Rol (asignar nuevas identidades al LLM), Activación de Políticas de Seguridad (forzar el rechazo mediante filtros de seguridad), Secuestro de Herramientas/Funciones (corromper formatos de salida) y Saturación de Contenido/Distracción (inducir DoS o agotamiento de tokens).
  • Técnicas Auxiliares: Codificación Sigilosa (ocultación visual) y Confusión de Límites del Analizador (explotar ambigüedades en el análisis de etiquetas).
• Superficies de Ataque: Las ubicaciones específicas donde se incrustan las inyecciones, incluyendo Metadatos HTML (título, etiquetas meta), Scripts y Comentarios, Contenido Visible de HTML, Contenido Invisible de HTML (oculto mediante CSS), Recursos Embebidos (imágenes/SVGs) y Estructuras de URL.

2. Configuración Experimental

• Dataset: Se construyó un conjunto de datos controlado de 2,000 archivos HTML, imitando páginas de inicio de sesión de las 10 marcas más atacadas (ej. Amazon, Google, Microsoft). Cada archivo incorporó diversos mensajes de PI a través de ocho distintas ubicaciones de inserción.
• Modelos Evaluados: Se probaron cuatro LLM con arquitectías y niveles de rendimiento variables: OpenAI GPT-5, xAI Grok 4 Fast, Meta Llama 4 Maverick y Google Gemma 3 27B.
• Modos de Detección:
  • Estándar: Consulta simple ("¿Es este un sitio de phishing?").
  • Avanzado: Prompts estructurados con procedimientos de análisis detallados.
  • InjectDefuser: El marco de defensa propuesto.

3. Marco de Defensa: InjectDefuser

Los autores proponen InjectDefuser, un mecanismo de defensa por capas que consiste en:

• Endurecimiento de Prompts (Prompt Hardening): Implementación de límites de contexto basados en UUID únicos para separar las instrucciones del sistema confiables de los datos externos no confiables, y el uso de meta-instrucciones para prohibir explícitamente la ejecución de directivas encontradas en regiones no confiables.
• RAG de Lista Blanca (Generación Aumentada por Recuperación): Un sistema que extrae los nombres de las marcas del sitio objetivo, recupera una lista de dominios legítimos de una base de datos vectorial y aumenta el prompt con este contexto verificado para fundamentar la toma de decisiones del LLM.
• Validación de Salida: Verificación estricta de la respuesta del LLM contra esquemas JSON predefinidos, comprobando sintaxis, campos requeridos y tipos de datos para detectar la manipulación de formato.

Resultados Clave

Vulnerabilidad de los Modelos de Vanguardia

Incluso los modelos más avanzados siguen siendo altamente susceptibles a la PI sin defensas específicas:

• GPT-5: En el modo "Estándar", la Tasa de Éxito de Ataque (ASR) fue del 39.9%. Incluso en el modo "Avanzado", permaneció vulnerable a técnicas específicas (10.1% ASR).
• Otros Modelos: Llama 4 mostró un ASR del 84.7% en el modo Estándar, mientras que Grok 4 Fast y Gemma 3 mostraron tasas del 65.1% y 64.7% respectivamente.
• Efectividad de la Técnica: El "Pretexto Legítimo" fue el ataque más efectivo, logrando ASRs de hasta el 99.8% en ciertos modelos. El "Secuestro de Rol" y la "Activación de Políticas de Seguridad" también demostraron altas tasas de éxito dependiendo del modelo.

Efectividad de InjectDefuser

El marco de defensa propuesto redujo significativamente las tasas de éxito de ataque en todos los modelos:

• GPT-5: El ASR cayó de 39.9% a 0.3% (5/2000 fallos).
• Grok 4 Fast: El ASR se redujo de 65.1% a 26.1%.
• Llama 4: El ASR se redujo de 84.7% a 61.7%.
• Gemma 3: El ASR se redujo de 64.7% a 36.7%.

La defensa fue particularmente efectiva contra el "Pretexto Legítimo" y el "Secuestro de Rol", reduciendo el ASR de GPT-5 para estas técnicas a casi cero. Sin embargo, la "Saturación de Contenido" siguió siendo un desafío, con un ASR residual del 1.0% en GPT-5, lo que indica que los ataques de agotamiento de recursos son más difíciles de mitigar por completo.

Evaluación de Basada en URL y Sistemas Existentes

• PI Basada en URL: InjectDefuser logró un ASR de 0.0% en GPT-5 para inyecciones basadas en URL, neutralizando completamente los intentos que previamente habían logrado un 20.0% de éxito.
• Pipelines Existentes: Al aplicarse a sistemas de detección basados en LLM existentes (PhishLLM, KnowPhish, PhishAgent), los ataques de PI tuvieron éxito en el 2.5% al 25.0% de los casos, demostrando que los fallos parciales de los componentes pueden comprometer todo el flujo de detección.

Significancia y Reivindicaciones

El artículo afirma proporcionar la primera evaluación exhaustiva de los ataques de inyección de prompts que apuntan específicamente a la detección de phishing basada en LLM multimodales. Sus principales contribuciones son:

1. Taxonomía: Establece una comprensión sistemática de cómo se puede explotar la "asimetría perceptual", categorizando los ataques por técnica y superficie.
2. Evidencia Empírica: Demuestra que los modelos actuales de vanguardia, incluyendo GPT-5, no son inherentemente robustos contra la PI en contextos de phishing, desafiando la suposición de que las capacidades de razonamiento avanzado equivalen a seguridad.
3. Defensa Práctica: Introduce InjectDefuser, un marco de defensa práctico y agnóstico al sistema que combina ingeniería de prompts, RAG y validación de salida. Los autores muestran que este enfoque mejora significativamente la fiabilidad sin requerir el reentrenamiento del modelo.

Los autores concluyen que, si bien la PI representa una amenaza concreta para el despliegue de las próximas contramedidas de phishing, las estrategias de defensa propuestas ofrecen un camino viable hacia sistemas de detección robustos y confiables. Señalan que, aunque sus hallazgos sugieren que estos ataques aún no se han desplegado ampliamente en el mundo real, la viabilidad y el bajo costo de tales ataques hacen que las medidas defensivas inmediatas sean necesarias.