Resumen Técnico: Evaluación Comparativa de Modelos de Lenguaje de Gran Escala para la Detección de URLs de Phishing en Zero-shot y Few-shot

Planteamiento del Problema

Los ataques de phishing han evolucionado hasta convertirse en una sofisticada amenaza de ciberseguridad, aprovechando cada vez más la IA generativa para crear URLs engañosas y con contexto que son difíciles de distinguir para los usuarios y las herramientas de detección tradicionales. Aunque existen protecciones reactivas como HTTPS, la estructura de la URL carece de mecanismos inherentes de seguridad o resiliencia contra el fraude. Los sistemas de detección tradicionales, particularmente aquellos que dependen de listas negras o características léxicas diseñadas a mano, tienen dificultades con las URLs recién generadas u ofuscadas debido a su dependencia de conocimientos previos. Además, la rápida escalada de las tácticas de phishing —evidenciada por un aumento del 4,000% en el volumen desde 2022— supera la producción de datos etiquetados necesarios para el aprendizaje supervisado. Esto crea una necesidad crítica de métodos de detección capaces de generalizar ante ejemplos no vistos o adversarios con una supervisión mínima.

Metodología

Los autores presentan una evaluación comparativa exhaustiva que evalúa tres Modelos de Lenguaje de Gran Escala (LLM) propietarios —GPT-4o (OpenAI), Claude-3.7-sonnet-20250219 (Anthropic) y Grok-3-Beta (xAI)— en la tarea de clasificación de URLs de phishing. El estudio utiliza un marco de prompting unificado para evaluar el rendimiento bajo configuraciones tanto de zero-shot como de few-shot.

Configuración Experimental

• Dataset: La evaluación utiliza el dataset de URLs de Phishing PhiUSIIL.
  • Evaluación Balanceada: Se construyó un corpus de 10,000 URLs (5,000 de phishing, 5,000 legítimas) mediante muestreo aleatorio.
  • Evaluación Desbalanceada: Se crearon conjuntos de prueba de 1,000 URLs con proporciones de phishing del 1% y 10% para simular distribuciones de clases del mundo real.
• Construcción de Prompts:
  • Zero-shot ($P_{ZS}$): Consiste en una instrucción de tarea ($I$) y una consulta ($Q(u)$). La instrucción define al modelo como un experto en ciberseguridad y solicita una respuesta binaria (0 para phishing, 1 para legítima).
  • Few-shot ($P_{FS}$): Incluye la instrucción, la consulta y un conjunto de ejemplos ($E$). En los experimentos balanceados, se utilizaron 6 ejemplos (3 de phishing, 3 legítimos). En los experimentos desbalanceados, el número de ejemplos varió (1, 3 o 9).
• Inferencia: Todos los modelos fueron accedidos a través de sus APIs oficiales con una temperatura de 0 y un máximo de salida de 10 tokens. Las respuestas fueron analizadas para extraer las predicciones binarias.
• Métricas: El rendimiento se cuantificó utilizando seis métricas: Exactitud (Accuracy), Precisión de promedio macro (Macro-averaged Precision), Exhaustividad (Recall), Puntuación F1 (F1-score), AUROC y AUPRC.

Principales Contribuciones

El artículo realiza tres contribuciones primordiales a la comunidad de investigación en IA y ciberseguridad:

1. Benchmark Unificado: Establece un benchmark estandarizado para LLMs propietarios ajustados por instrucciones en la detección de URLs de phishing, comparando las capacidades de zero-shot y few-shot a través de múltiples modelos.
2. Evaluación Controlada: El estudio evalúa los modelos en un dataset balanceado utilizando diseños de prompts consistentes y agnósticos al modelo, abordando la falta de comparación justa en la literatura previa donde los datasets o las métricas solían variar.
3. Reproducibilidad: Los autores liberan su código para facilitar la investigación adicional y la reproducibilidad.

Resultados Experimentales

Dataset Balanceado (10,000 URLs)

El prompting de few-shot con seis ejemplos mejoró significativamente el rendimiento en todos los modelos en comparación con las líneas base de zero-shot.

• Grok-3-Beta emergió como el mejor performer en la configuración de few-shot, logrando la mayor Exactitud (0.9405), Precisión (0.9492), F1-score (0.9399), AUROC (0.9405) y AUPRC (0.9573). Demostró un cambio notable en el compromiso entre precisión y exhaustividad (precision-recall trade-off), aumentando la precisión de 0.8361 a 0.9492 mientras reducía ligeramente la exhaustividad.
• Claude-3.7 logró la mayor Exhaustividad (0.9526) en la configuración de few-shot, pero tuvo una precisión menor en comparación con Grok-3-Beta.
• GPT-4o mostró ganancias consistentes en todas las métricas, pero quedó rezagado frente a los otros dos modelos en rendimiento general.
• Matrices de Confusión: El prompting de few-shot redujo los falsos negativos en todos los modelos. Grok-3-Beta redujo los falsos negativos de 950 (zero-shot) a 248 (few-shot).

Dataset Desbalanceado (Proporciones de Phishing del 1% y 10%)

• Rendimiento Zero-Shot: Grok-3-Beta demostró fuertes capacidades de zero-shot, logrando una exactitud de 0.976 y una exhaustividad de 0.938 con una proporción de phishing del 10%.
• Sensibilidad de Few-Shot: El impacto del número de ejemplos varió según el modelo:
  • Grok-3-Beta: Alcanzó su punto máximo con solo 1 ejemplo (F1: 0.906) y el rendimiento se degradó ligeramente con 3 o 9 ejemplos.
  • Claude-3.7: Mostró una mejora constante a medida que aumentaba el número de ejemplos, alcanzando su mejor F1-score (0.876) con 9 ejemplos.
  • GPT-4o: Demostró ganancias consistentes desde 1 ejemplo (F1: 0.709) hasta 9 ejemplos (F1: 0.861).
• Robustez: Los modelos mantuvieron un rendimiento robusto a través de diferentes semillas aleatorias (S123, S456), con diferencias de F1-score inferiores a 0.05 en el desbalance del 10%.

Significado y Reivindicaciones

El artículo argumenta que, a medida que las tácticas de phishing evolucionan más rápido de lo que se pueden producir datos etiquetados, el aprendizaje zero-shot y few-shot con LLMs ofrece una solución oportuna y adaptable. El estudio concluye que el prompting de few-shot mejora efectivamente el rendimiento de la detección en múltiples LLMs propietarios, permitiendo la generalización con una supervisión mínima.

Específicamente, los autores afirman que:

• Los enfoques basados en prompts pueden detectar eficazmente URLs de phishing con muy pocos ejemplos (por ejemplo, Grok-3-Beta funcionando bien con un solo ejemplo).
• Existen compromisos operativos distintos entre los modelos; algunos (como Grok-3-Beta) sobresalen con ejemplos mínimos y alta precisión, mientras que otros (como Claude-3.7) pueden beneficiarse de más ejemplos para maximizar la exhaustividad.
• El panorama actual carece de un benchmarking unificado para LLMs en este dominio, y este trabajo llena ese vacío proporcionando un marco de evaluación consistente.

Los autores mantienen un alcance modesto, señalando que se requiere trabajo futuro para validar estos hallazgos en diversos datasets, explorar estrategias de optimización de prompts e investigar los compromisos entre la inferencia basada en prompts y los modelos ajustados (fine-tuned) en entornos operativos.