Resumen Técnico: Detección de Phishing Adversarialmente Robusta y Semánticamente Consciente mediante Aprendizaje Multimodal Calibrado

1. Planteamiento del Problema

Los sistemas actuales de detección automatizada de phishing suelen depender de fuentes de información únicas, particularmente de características léxicas de la URL. Aunque son rápidos, estos detectores unimodales son frágiles; fallan cuando las páginas web engañosas aparecen léxicamente benignas pero siguen siendo semántica o visualmente engañosas. Además, la literatura existente a menudo descuida dos propiedades críticas para los controles de seguridad desplegables: la robustez adversarial (vulnerabilidad a perturbaciones dirigidas diseñadas para evadir la detección) y la calibración de probabilidad (la fiabilidad de las puntuaciones de confianza, que determina acciones operativas como el cuarentena automática o la notificación a analistas). Este estudio aborda la necesidad de un marco que integre conjuntamente la fusión multimodal, la defensa adversarial y la estimación de confianza calibrada.

2. Metodología

2.1 Construcción del Conjunto de Datos

El estudio utiliza el "Phishing Website Dataset" (Putra, 2023), una colección multimodal de 10,395 sitios web etiquetados (5,151 de phishing, 5,244 legítimos) que suplantan a 86 marcas. Únicamente, este conjunto de datos proporciona datos co-localizados para los mismos sitios: URLs completas, HTML bruto/texto visible, capturas de pantalla renderizadas y metadatos de dominio (WHOIS, SSL, IP).

• Preprocesamiento: El conjunto de datos fue limpiado a 10,391 registros. La división se realizó a nivel de dominio registrado (70/15/15 entrenamiento/validación/prueba) para evitar la fuga de datos de páginas casi duplicadas que comparten un dominio.
• Submuestreo: Debido a las restricciones de solo CPU, los estudios de ablación de la modalidad visual y tri-modal se realizaron en una submuestra acotada de 395 sitios con capturas de pantalla verificadas.

2.2 Arquitectura Multimodal

El marco emplea tres codificadores específicos de modalidad que mapean las entradas a un espacio común de 128 dimensiones:

1. Codificador de URL: Combina 25 características léxicas/estructurales de ingeniería (ej. entropía, profundidad de subdominio) con una CNN 1D a nivel de carácter entrenable (usando núcleos 3x5x7) para capturar patrones estructurales.
2. Codificador de Texto: Utiliza un sentence-transformer all-MiniLM-L6-v2 congelado para generar incrustaciones (embeddings) semánticas del texto visible de la página, capturando la urgencia y las solicitudes de credenciales sin ingeniería de características manual.
3. Codificador Visual: Utiliza un ResNet-18 congelado (preentrenado en ImageNet) para extraer características de las capturas de pantalla de la página.

2.3 Mecanismos de Fusión

Se evaluaron tres estrategias de fusión:

• Concatenación (Fusión Temprana): Concatenación directa de las incrustaciones.
• Fusión con Compuerta (Gated Fusion): Una compuerta escalar aprendida pondera la contribcción de cada modalidad.
• Atención Cross-Modal: Apila las incrustaciones como una secuencia de tokens procesada por una capa de autoatención de múltiples cabezales, seguida de un pooling de la media.

2.4 Marco Adversarial

• Ataques: Se generaron perturbaciones offline que preservan la semántica.
  • URL: Sustitución de homógrafos, preposición de subdominios benignos, adición de rutas, codificación percent-encoding e inserción de guiones.
  • Texto: Reemplazo de sinónimos de WordNet y transposición de caracteres (ruido de error tipográfico).
  • Visual: Ataques de norma $L_\infty$ de caja blanca (FGSM y PGD) sobre tensores de píxeles.
• Defensa: Se implementó un protocolo de entrenamiento adversarial para la rama URL+texto, aumentando el conjunto de entrenamiento con una copia perturbada de cada ejemplo.

2.5 Calibración

La calibración post-hoc se aplicó en el conjunto de validación utilizando tres métodos: Escalamiento de Temperatura (Temperature Scaling), Escalamiento de Platt (Platt Scaling) e Regresión Isotónica. Estos fueron evaluados contra la línea base no calibrada utilizando el Error de Calibración Esperado (ECE), la puntuación Brier y diagramas de fiabilidad.

3. Contribuciones Clave

El artículo reclama cinco contribuciones primarias:

1. Pipeline de Conjunto de Datos: Un pipeline consciente del dominio y con control de fuga utilizando un conjunto de datos con licencia permisiva que proporciona conjuntamente URL, texto, captura de pantalla y metadatos para los mismos sitios.
2. Arquitectura de Fusión: Un modelo de fusión de atención cross-modal que supera empíricamente a las líneas base unimodales y a los mecanismos de fusión más simples (concatenación, compuerta) en el conjunto completo de URL+texto.
3. Evaluación Adversarial: Un protocolo de evaluación offline sistemático que cubre ataques de modalidad única y combinados, cuantificados mediante precisión limpia/robusta y Tasa de Éxito de Ataque (ASR).
4. Estudio de Calibración: Una comparación exhaustiva de los calibradores tanto para el modelo multimodal como para las ablaciones unimodales, demostrando una mayor fiabilidad sin pérdida de precisión.
5. Ablación Exhaustiva y Explicabilidad: Un estudio de ablación completo sobre todos los subconjuntos de modalidades y tipos de fusión, respaldado por SHAP (para características de ingeniería) y análisis de pesos de atención, junto con una validación externa en un benchmark independiente.

4. Resultados Clave

4.1 Rendimiento de Detección

• Superioridad Multimodal: El modelo de Atención Cross-Modal URL+Texto logró el mejor rendimiento con un F1-score de 0.9506 y un MCC de 0.8847.
• Comparación de Modalidades: Las incrustaciones semánticas de texto fueron significativamente más fuertes que las características de URL de ingeniería por sí solas (Mejor MCC de Texto: 0.8928 vs. Mejor MCC de URL: 0.6418).
• Modalidad Visual: En la submuestra limitada, la detección puramente visual fue más débil (F1 0.7123), pero proporcionó una señal discriminativa. En configuraciones tri-modales, la concatenación simple superó a la fusión por compuerta/atención, lo que sugiere un sobreajuste de los mecanismos de fusión complejos en tamaños de muestra pequeños.

4.2 Robustez Adversarial

• Vulnerabilidad: Los modelos unimodales fueron altamente vulnerables. El modelo de solo URL sufrió una Tasa de Éxito de Ataque (ASR) del 16.07% bajo ataques de URL, y el modelo de solo texto sufrió un 10.34% bajo ataques de texto.
• Beneficio de la Fusión: El modelo fusionado demostró redundancia. Bajo ataques de solo URL, el ASR del modelo fusionado cayó al 0.79% (aproximadamente 20 veces menor que el unimodal) porque pudo confiar en la señal de texto no perturbada.
• Vulnerabilidad Visual: El clasificador de solo visual colapsó bajo ataques FGSM/PGD (la precisión cayó a 0.0000), resaltando una vulnerabilidad severa no mitigada.
• Entrenamiento Adversarial: El reentrenamiento con ejemplos adversariales redujo la degradación relativa del F1 bajo ataques de texto y combinados en aproximadamente un orden de magnitud (ej. 6.09% $\to$ 0.66%) con un costo de precisión limpia insignificante (<1%).

4.3 Calibración

• La calibración post-hoc mejoró significativamente la fiabilidad. Para el modelo multimodal, el Escalamiento de Temperatura redujo el ECE de 0.0472 a 0.0338 (una reducción del 28.4%) sin degradar el F1.
• La Regresión Isotónica fue más efectiva para el modelo SVM de solo texto (ECE 0.0343 $\to$ 0.0233).

4.4 Validación Externa

Cuando se probó el modelo profundo de solo URL en un benchmark independiente (Hannousse & Yahiouche, 2021), el rendimiento se degradó (F1 0.7854 vs. 0.8771 in-distribution), confirmando la brecha de generalización bajo el cambio de distribución, aunque el modelo siguió siendo mejor que el azar (MCC 0.5944).

5. Significado y Reivindicaciones

El artículo posiciona su importancia no meramente por alcanzar la precisión máxima en datos limpios, sino como el primer estudio que reporta conjuntamente métricas de calibración (ECE, puntuación Brier) y métricas de robustez adversarial para el mismo sistema de detección de phishing multimodal.

• Valor Práctico: Los autores argumentan que un modelo que es tanto robusto como bien calibrado es más valioso en la práctica que uno que es meramente preciso en datos limpios. La confianza calibrada permite políticas accionables en operaciones de seguridad (ej. cuarentena automática vs. revisión por analista).
• Defensa en Profundidad: Los resultados demuestran que la fusión multimodal actúa como una defensa natural contra ataques de una sola modalidad, ya que el modelo puede recurrir a señales no corrompidas.
• Alcance Honesto: Los autores reconocen explícitamente las limitaciones, particularmente el pequeño tamaño de la muestra para los experimentos visuales (n=395) y el uso de codificadores congelados debido a las restricciones de CPU. Advierten que la vulnerabilidad severa de la rama visual requiere un entrenamiento adversarial específico antes de su despliegue.

En conclusión, el estudio valida que la combinación de características estructurales de URL con incrustaciones de texto semántico mediante atención cross-modal, mientras se aplica entrenamiento adversarial y calibración de probabilidad, crea un pipeline de detección de phishing más confiable y robusto que los enfoques unimodales o no calibrados.