PhreshPhish: A Real-World, High-Quality, Large-Scale Phishing Website Dataset and Benchmark

Resumen Técnico: PhreshPhish

1. El Problema

El phishing sigue siendo una amenaza cibernética masiva y en crecimiento, causando miles de millones de dólares en pérdidas anuales. Aunque existen sistemas de detección basados en aprendizaje automático (ML), el progreso en este campo se ve obstaculizado por la falta de conjuntos de datos (datasets) grandes, de alta calidad y representativos del mundo real.

Los desafíos principales identificados en la literatura existente son:

• Calidad deficiente: Muchos conjuntos de datos públicos contienen datos inválidos, mal etiquetados o desactualizados debido a la naturaleza efímera y dinámica de los sitios de phishing.
• Fugas de datos (Data Leakage): Las divisiones aleatorias entre entrenamiento y prueba a menudo permiten que sitios idénticos o muy similares aparezcan en ambos conjuntos, inflando artificialmente el rendimiento de los modelos.
• Tasas base irreales: La mayoría de los benchmarks utilizan tasas de phishing (proporción de sitios maliciosos) equilibradas (ej. 50%) o muy altas, lo que no refleja la realidad donde la tasa es extremadamente baja (a menudo <1%), llevando a evaluaciones demasiado optimistas.
• Desafíos de recolección: La recolección de datos se ve afectada por técnicas adversarias como el cloaking (mostrar contenido diferente según el usuario), páginas dinámicas (JavaScript) y la rápida obsolescencia de las URLs.

2. Metodología

Los autores presentan PhreshPhish, un pipeline integral de recolección, limpieza y evaluación diseñado para superar las limitaciones anteriores.

A. Recolección de Datos (Pipeline de Scraping)

• Fuente de datos: Se recolectaron URLs de phishing de fuentes confiables (PhishTank, APWG, NetCraft) y URLs benignas de telemetría de navegación real de millones de usuarios y resultados de búsqueda de Google.
• Tecnología: Se utilizó Selenium con instancias completas de navegadores (Chrome en Windows) para renderizar contenido dinámico (React, Angular) y evitar problemas de cloaking.
• Estrategia anti-cloaking: El clúster de recolección utiliza múltiples agentes de usuario y direcciones IP para evitar que los sitios muestren contenido benigno a los bots.
• Velocidad: Las URLs se rasparon minutos después de ser reportadas para mitigar la "efimeridad" (que el sitio sea eliminado antes de ser capturado).

B. Proceso de Limpieza (Two-Stage Cleaning)
Para garantizar la calidad, se implementó un proceso de dos etapas:

1. Filtrado Automático: Eliminación de duplicados de URLs, páginas con HTML faltante y títulos que indican errores (ej. "404 Not Found", "Forbidden").
2. Inspección Manual (Human-in-the-loop):
   • Se agrupan las páginas utilizando Hashing Sensible a la Localidad (LSH) basado en características TF-IDF y también por título.
   • Un anotador humano inspecciona un "prototipo" representativo de cada grupo. La decisión de eliminar o mantener se aplica a todos los vecinos más cercanos del grupo.
   • Se eliminan datos con Información de Identificación Personal (PII) en la clase benigna.

C. Creación de Benchmarks (Conjuntos de Prueba)
Para una evaluación realista, se construyeron conjuntos de prueba derivados de los datos limpios aplicando tres operaciones clave:

1. División Temporal y Filtro de Fugas: El conjunto de prueba es temporalmente posterior al de entrenamiento. Se eliminan puntos de prueba que tienen una similitud (distancia coseno TF-IDF) superior a un umbral con cualquier punto de entrenamiento, utilizando LSH para escalabilidad.
2. Mejora de Diversidad y Dificultad:
   • Se añaden sitios benignos de las marcas más atacadas para asegurar representación.
   • Se eliminan puntos "fáciles" (aquellos clasificados con alta confianza por modelos base) para aumentar la dificultad del conjunto.
3. Ajuste de Tasa Base: Se crearon múltiples instancias de benchmarks con tasas de phishing que varían desde 0.05% hasta 5%, reflejando escenarios del mundo real, además de un conjunto completo con 24%.

3. Contribuciones Clave

1. PhreshPhish Dataset: El conjunto de datos público de sitios de phishing más grande y de mayor calidad hasta la fecha (aprox. 617k muestras: 250k phishing, 367k benignas).
   • Calidad superior: Tasa de rechazo tras limpieza <1% para phishing y <0.1% para benignos, comparado con >40-65% en otros datasets públicos.
2. Suite de Benchmarks Realistas: 975 conjuntos de datos de evaluación diseñados para minimizar fugas, aumentar la dificultad y variar las tasas base (0.05% - 5%), permitiendo comparaciones estandarizadas.
3. Evaluación de Línea Base: Implementación y evaluación de cuatro enfoques de detección en los nuevos benchmarks para establecer un punto de referencia.

4. Resultados y Análisis

Los autores evaluaron cuatro modelos en los benchmarks:

1. Modelo Lineal: SVM con características n-gramas y heurísticas manuales.
2. Red Neuronal Feedforward (FFN): Capa oculta simple con las mismas características.
3. Modelo BERT (GTE): Fine-tuning de un modelo de incrustación (gte-large) sobre URL y HTML crudo.
4. LLM (Zero-shot): Uso de Gemini-2.5-Pro con prompts para clasificación sin entrenamiento previo.

Hallazgos Principales:

• Impacto de la Tasa Base: El rendimiento de todos los modelos degrada drásticamente a medida que disminuye la tasa base. En tasas de 0.05%, la precisión cae significativamente, demostrando que los resultados "excepcionales" de la literatura previa se debían a tasas base irreales.
• Mejor Modelo: El modelo basado en GTE (BERT) superó consistentemente a los demás, logrando una Precisión Media (AP) de 0.605 incluso en la tasa base más baja (0.05%), mientras que el LLM (zero-shot) tuvo un rendimiento pobre (AP ~0.10) debido a la falta de fine-tuning.
• Métricas: Se priorizó la Precisión (para evitar falsos positivos que bloqueen sitios legítimos) y la Precisión a Recall = 0.9.
• Comparación con Datasets Anteriores: Al aplicar el proceso de limpieza de PhreshPhish a datasets existentes (Aljofey et al. y Crawling2024), se descubrió que más del 65% y 43% de sus muestras de phishing, respectivamente, eran inválidas o mal etiquetadas.

5. Significado e Impacto

• Estándar de Oro: PhreshPhish establece un nuevo estándar para la investigación en detección de phishing, proporcionando datos que reflejan verdaderamente la dinámica del mundo real.
• Evaluación Realista: Los benchmarks con tasas base bajas obligan a los investigadores a desarrollar modelos que sean robustos ante el desequilibrio extremo de clases, un requisito crítico para la implementación en navegadores y sistemas de seguridad.
• Transparencia y Seguridad: Al hacer públicos los datos y el código, se fomenta el desarrollo de defensas más fuertes, asumiendo el riesgo de uso dual (que los atacantes también puedan usar los datos) pero priorizando la transparencia para la comunidad de seguridad.
• Disponibilidad: El dataset y los benchmarks están disponibles en Hugging Face, y el código en GitHub, con planes de actualizaciones periódicas para mantener la vigencia de los datos.

En conclusión, el trabajo demuestra que la falta de datos de alta calidad y la evaluación con métricas irreales han estado limitando el avance real en la detección de phishing, y ofrece una solución integral para superar estas barreras.