Eliciting Least-to-Most Reasoning for Phishing URL Detection

Resumen Técnico: Elicitación del Razonamiento de Menor a Mayor para la Detección de URLs de Phishing

Planteamiento del Problema
El phishing sigue siendo un vector principal para ciberataques y brechas de datos. Aunque los métodos de detección tradicionales (aprendizaje automático, aprendizaje profundo y enfoques basados en URL) ofrecen una alta precisión, a menudo funcionan como "cajas negras", careciendo de interpretabilidad sobre por qué una URL específica se clasifica como benigna o maliciosa. Además, estos modelos supervisados suelen requerir grandes conjuntos de datos etiquetados y tienen dificultades para la generalización entre diferentes conjuntos de datos. Aunque los Modelos de Lenguaje de Gran Escala (LLM) han mostrado potencial en la detección de phishing mediante el uso de few-shot prompting, los enfoques existentes a menudo tratan el proceso de razonamiento del modelo como un proceso de un solo paso o una caja negra, fallando al no analizar cómo el propio proceso de razonamiento influye en la predicción final.

Metodología
Los autores proponen un marco de prompting de Menor a Mayor (Least-to-Most) diseñado específicamente para la detección de URLs de phishing. A diferencia de las estrategias de prompting estándar (como One-shot o Chain-of-Thought) que generan predicciones en un solo prompt o en una sola cadena, este marco instruye al LLM para descomponer el problema de clasificación en subproblemas más pequeños e iterativos.

Un componente novedoso de este trabajo es el mecanismo de "sensibilidad de la respuesta". En este proceso iterativo:

1. El LLario genera una subpregunta sobre una característica específica de la URL (por ejemplo, la estructura del dominio, nombres de directorios).
2. El modelo responde a la subpregunta y proporciona una estimación porcentual de la probabilidad de que la URL sea de phishing (0% = benigna, 100% = phishing).
3. Este porcentaje actúa como una guía para la iteración. El proceso continúa hasta que el puntaje de sensibilidad cruza umbrales definidos por el usuario (por ejemplo, ≥90% para phishing o ≤10% para benigna).
4. Para evitar bucles infinitos, el marco limita programáticamente las iteraciones a 10. Si el umbral no se cruza tras la décima iteración, la URL se clasifica de forma conservadora basándose en el puntaje final.

Contribuciones Clave

1. Propuesta de Marco: La introducción de un marco de prompting de Menor a Mayor para la detección de URLs de phishing que descompone explícitamente el problema en subpreguntas iterativas.
2. Mecanismo de Sensibilidad de la Respuesta: El desarrollo de un mecanismo que guía el proceso de razonamiento iterativo a través de estimaciones de confianza basadas en porcentajes, permitiendo al modelo refinar su predicción a lo largo de múltiples pasos en lugar de comprometerse con una respuesta de un solo paso (single-shot).
3. Evaluación Empírica: Una evaluación exhaustiva utilizando tres conjuntos de datos de URL públicos (HP, EBBU, ISCX) y cuatro LLMs de última generación (Gemma 3, Llama 3.1, GPT-4.1, Gemini 2.5-Flash). El marco se comparó contra una línea base de One-shot prompting y un modelo basado en BERT supervisado (URLTran).

Resultados
Los resultados experimentales demuestran que el marco de Menor a Mayor supera consistentemente a la línea base de One-shot y se aproxima al rendimiento del modelo supervisado URLTran, a pesar de no requerir datos de entrenamiento etiquetados.

• Ganancias de Rendimiento: El enfoque de Menor a Mayor logró un F1 promedio de 0.9040 en todos los conjuntos de datos y modelos, comparado con 0.8726 para la línea base de One-shot (una mejora promedio de 0.03 en F1).
• Comparación con Modelos Supervisados: En su configuración de mejor rendimiento (Gemini 2.5-Flash), el marco logró un F1 promedio de 0.9621, lo cual está dentro de un margen de 0.03 F1 respecto al puntaje de 0.99 del modelo supervisado URLTran.
• Efectividad Iterativa: El análisis reveló que, si bien muchas predicciones correctas requirieron pocas iteraciones, un número significativo de predicciones correctas solo fueron posibles tras un número "atípico" de iteraciones. El mecanismo de sensibilidad de la respuesta permitió al modelo corregir clasificaciones erróneas iniciales (por ejemplo, una URL inicialmente puntuada con un 25% de phishing que subió al 90% tras seis iteraciones) que el método One-shot habría omitido.
• Consistencia: En casi todos los casos, el método de Menor a Mayor produjo más predicciones correctas únicas y menos predicciones incorrectas que el método One-shot, incluso para modelos de menor rendimiento como Llama.

Significancia
El artículo sostiene que este trabajo demuestra el valor del razonamiento estructurado de múltiples pasos en los LLM para tareas de seguridad. Al ir más allá de los prompts de un solo paso, el marco elicia capacidades de razonamiento más fuertes que mejoran la precisión de la predicción sin necesidad de extensos datos de entrenamiento o ejemplos de few-shot. Se destaca el mecanismo de "sensibilidad de la respuesta" como un factor crítico para impulsar estas ganancias, ya que permite al modelo refinar iterativamente su evaluación de la maliciosidad de una URL. Los autores concluyen que esta estrategia de prompting, simple pero poderosa, ofrece una alternativa robusta e interpretable tanto para los modelos supervisados tradicionales como para las técnicas de prompting estándar para la detección de phishing.