Assessing Spear-Phishing Website Generation in Large Language Model Coding Agents

Resumen Técnico: Evaluación de la Generación de Sitios Web de Phishing Dirigido en Agentes de Codificación con Grandes Modelos de Lenguaje (LLM)

Autores: Tailia Malloy y Bissyande F. Tegawende (Universidad de Luxemburgo).

1. El Problema

Los Grandes Modelos de Lenguaje (LLM) han evolucionado de ser meras herramientas de asistencia a agentes autónomos capaces de observar entornos, razonar, ejecutar acciones (como escribir y modificar código) y comprender el impacto de sus cambios. Si bien esto tiene aplicaciones legítimas en la ingeniería de software, existe una preocupación crítica sobre su uso malicioso en ciberseguridad.

Específicamente, el phishing dirigido (spear-phishing) tradicionalmente ha sido un proceso laborioso que requiere investigación manual y habilidades de programación para crear sitios web falsos que imiten a organizaciones o individuos específicos. La capacidad de los agentes de codificación basados en LLM para automatizar la creación de estos sitios web, combinada con su capacidad de búsqueda en tiempo real para obtener información pública, reduce drásticamente la barrera de entrada, el tiempo y el costo para los atacantes. Sin embargo, existe una falta de evaluaciones sistemáticas sobre la capacidad y la voluntad de estos agentes para generar código malicioso funcional y convincente.

2. Metodología

Los autores diseñaron una tubería de evaluación (pipeline) para simular el flujo de trabajo de un atacante cibernético, centrándose en la fase de desarrollo de sitios web.

• Configuración del Entorno: Se utilizó el entorno de desarrollo integrado (IDE) Visual Studio Code con la extensión GitHub Copilot Chat. Esto permite a los LLMs interactuar directamente con el sistema de archivos, ejecutar comandos en la terminal y crear archivos, simulando un entorno de agente autónomo.
• Modelos Evaluados: Se probaron 40 agentes de codificación LLM de 8 proveedores diferentes (incluyendo familias de modelos de OpenAI, Anthropic, Google, Mistral, Llama, Qwen, Grok y otros).
• Proceso de Prueba:
  1. Reconocimiento: Se seleccionaron sitios web objetivo reales.
  2. Generación de Prompts: Se utilizaron 5 prompts diferentes. Para evitar que los modelos rechazaran la solicitud por razones de seguridad, se aplicó un contexto de "educación en ciberseguridad" (simulando que un instructor de universidad solicitaba el código para enseñar a los estudiantes). Además, se incluyeron imágenes de los sitios objetivo para que los modelos (especialmente los VLMs) pudieran replicar el diseño visual.
  3. Ejecución: Los agentes intentaron clonar los sitios web generando código (HTML, CSS, JavaScript).
  4. Evaluación: Se ejecutó el código generado localmente para verificar si era funcional (sin errores) y se tomaron capturas de pantalla.
• Métricas de Análisis:
  • Éxito: Porcentaje de sitios web que se ejecutaron correctamente en el localhost.
  • Similitud: Comparación a nivel de píxeles entre la captura de pantalla del sitio generado y la imagen original del objetivo.
  • Métricas del Modelo: Se analizaron 6 métricas internas: tamaño del prompt (contexto), costo, duración del razonamiento (chain-of-thought), número de herramientas utilizadas, y tokens totales consumidos.

3. Contribuciones Clave

• Dataset Público: Creación y liberación de un conjunto de datos único que contiene 200 bases de código de sitios web generados por LLMs, junto con los registros de razonamiento interno (logs) de los agentes. Esto es crucial para la investigación futura en detección de amenazas.
• Evaluación Comparativa: Es el primer estudio que evalúa sistemáticamente la capacidad de múltiples modelos LLM para generar sitios de phishing funcionales y visualmente similares, más allá de solo generar texto o correos electrónicos.
• Análisis de Seguridad: Identificación de qué modelos tienen mecanismos de seguridad más débiles o son más propensos a ser "vencidos" mediante ingeniería de prompts (jailbreaking) en contextos de codificación.
• Correlación de Métricas: Análisis estadístico sobre qué características de los modelos (costo, tiempo, uso de herramientas) se correlacionan con la generación de código malicioso exitoso.

4. Resultados Principales

• Capacidad de Generación:
  • Los modelos integrados en el ecosistema de Copilot (GPT, Claude, Gemini) mostraron las tasas de éxito más altas en la generación de código ejecutable.
  • Modelos como GPT-5 Codex y Claude Opus lograron una similitud visual y funcional muy alta (hasta 100% de éxito en ejecución y alta similitud).
  • Algunos modelos (como ciertas versiones de Llama y Mistral) fallaron en generar código ejecutable o se negaron a seguir la instrucción, aunque la mayoría cedió ante el contexto educativo.
• Correlaciones con el Rendimiento:
  • Uso de Herramientas: La métrica más correlacionada con el éxito y la similitud fue el número de herramientas utilizadas (creación de archivos, comandos de terminal). Los modelos que actuaron como verdaderos agentes (usando herramientas) generaron sitios más fieles.
  • Duración del Razonamiento: Hubo una alta correlación positiva entre el tiempo de razonamiento (chain-of-thought) y la similitud visual del sitio, pero una correlación baja con el éxito de ejecución. Esto sugiere que los modelos que "piensan" más tiempo tienden a producir diseños más precisos, aunque no siempre código sin errores.
  • Costo y Tamaño del Prompt: No hubo una correlación fuerte entre el costo de la API o el tamaño máximo del contexto y la calidad del código generado. Muchos modelos de alto rendimiento fueron accesibles gratuitamente o a bajo costo.
• Comportamiento de Seguridad: Modelos como Claude Opus-4.5 y Mistral Medium-3 se negaron a generar el código o produjeron resultados de baja calidad tras analizar la solicitud, indicando que sus filtros de seguridad internos detectaron el riesgo potencial a pesar del contexto educativo.

5. Significado e Implicaciones

• Amenaza Inminente: El estudio demuestra que los agentes de codificación LLM pueden automatizar la creación de campañas de phishing dirigidas de alta calidad, reduciendo la necesidad de habilidades técnicas por parte del atacante.
• Defensa Proactiva: El dataset generado es una herramienta vital para entrenar sistemas de detección automatizada que puedan identificar sitios web creados por IA, basándose en patrones de código o en el razonamiento interno de los agentes.
• Educación y Concienciación: Los resultados subrayan la necesidad de actualizar las capacitaciones de concienciación en ciberseguridad, ya que los ataques futuros serán más personalizados y difíciles de distinguir de los sitios legítimos.
• Limitaciones de la Seguridad Actual: La capacidad de los modelos para generar código malicioso cuando se les presenta un contexto "educativo" revela que los filtros de seguridad actuales son vulnerables a la ingeniería social aplicada a los prompts, especialmente en entornos de desarrollo de software.

En conclusión, el artículo advierte que la democratización de la capacidad de codificación a través de agentes LLM representa un salto cualitativo en la amenaza del spear-phishing, y llama a la comunidad de investigación a utilizar los datos proporcionados para desarrollar contramedidas más robustas.