MemoPhishAgent: Memory-Augmented Multi-Modal LLM Agent for Phishing URL Detection

Resumen Técnico: MemoPhishAgent

1. El Problema

La detección de sitios de phishing (suplantación de identidad) enfrenta desafíos críticos debido a la rápida evolución de los ataques. Los métodos tradicionales se basan en:

• Listas negras (Blocklists) y heurísticas estáticas: Son efectivas contra ataques conocidos, pero fallan rápidamente ante nuevos dominios, ofuscación de contenido y cambios de infraestructura.
• Métodos basados en referencias: Validan URLs contra mapeos de marcas y dominios, pero requieren mantenimiento costoso y no generalizan bien a subdominios nuevos o campañas rápidas.
• Enfoques basados en Aprendizaje Automático (ML): Aunque utilizan señales multimodales (URL, HTML, capturas de pantalla), a menudo requieren ingeniería de características intensiva y reentrenamiento constante para adaptarse a nuevas tácticas.
• Agentes LLM actuales: Aunque los modelos de lenguaje grandes (LLM) ofrecen flexibilidad, las implementaciones existentes suelen ser pipelines deterministas y basados en prompts únicos. Carecen de la capacidad de razonamiento adaptativo, no utilizan herramientas específicas para phishing y, crucialmente, no aprovechan la memoria de investigaciones pasadas, lo que limita su eficiencia y precisión en patrones recurrentes.

El objetivo es crear un sistema que pueda operar en entornos reales (URLs dinámicas, interactivas y cambiantes) con alta tasa de detección (recall), minimizando los falsos negativos sin incurrir en un costo computacional excesivo.

2. Metodología

Los autores proponen MemoPhishAgent (MPA), un agente LLM multimodal aumentado con memoria episódica. La arquitectura se basa en el ciclo de razonamiento ReAct (Reason + Act) y consta de los siguientes componentes clave:

• Diseño de Herramientas Especializadas (5 herramientas):
  A diferencia de herramientas genéricas, MPA utiliza un conjunto de herramientas diseñadas específicamente para la investigación de phishing:

  1. Crawl Content: Extrae el HTML y lo convierte a un formato Markdown limpio para el LLM, reduciendo el ruido y el desperdicio de tokens.
  2. Check Screenshot: Analiza una captura de pantalla completa de la página para identificar señales visuales sospechosas.
  3. Check Image: Realiza una inspección visual granular de elementos gráficos específicos (logos, botones) cuando la vista completa es ambigua.
  4. Intelligent Search: Permite al agente formular consultas de búsqueda basadas en evidencia para verificar la legitimidad de dominios o marcas desconocidas.
  5. Extract Targets: Identifica enlaces incrustados, redirecciones y URLs hijas para investigar ataques anidados o de múltiples saltos.

• Sistema de Memoria Episódica:
  Este es el núcleo innovador del sistema. En lugar de ser "amnesiaco", MPA almacena y recupera trayectorias de razonamiento pasadas.

  • Construcción: Para cada URL procesada, el sistema extrae palabras clave semánticas (usando el LLM) y las utiliza como índice. Se almacena la secuencia de llamadas a herramientas y el veredicto final.
  • Recuperación y Estrategia de Juicio: Al recibir una nueva URL, el sistema busca vecinos más cercanos en la memoria:
    • Sin coincidencia: Ejecuta el ciclo ReAct completo desde cero.
    • Coincidencia parcial: Usa las trayectorias pasadas como ejemplos in-context para guiar la selección de herramientas necesarias.
    • Coincidencia total: Aplica un voto mayoritario sobre los veredictos almacenados para una respuesta rápida y robusta.

• Flujo de Trabajo:
  El agente recibe una URL sospechosa, selecciona dinámicamente qué herramienta ejecutar basándose en el estado actual de la evidencia, actualiza su memoria y decide si detenerse (veredicto final) o continuar investigando.

3. Contribuciones Clave

1. Primer Agente Específico para Phishing: Introducción de MemoPhishAgent, el primer marco basado en agentes diseñado exclusivamente para la detección de URLs de phishing en escenarios del mundo real, superando las limitaciones de los flujos de trabajo fijos.
2. Memoria Episódica para Razonamiento: Propuesta de un sistema de memoria que transforma investigaciones pasadas en experiencia reutilizable. Esto permite decisiones rápidas en patrones recurrentes y proporciona ejemplos dirigidos para casos difíciles, mejorando tanto la precisión como la eficiencia.
3. Validación en Escenarios Reales: Demostración de que la combinación de razonamiento multimodal y memoria episódica supera a los modelos de estado del arte (SOTA) tanto en benchmarks estáticos como en un conjunto de datos real (SocPhish) extraído de redes sociales.
4. Despliegue Industrial: El sistema ha sido implementado en producción, procesando ~60,000 URLs de alto riesgo semanalmente.

4. Resultados

Los experimentos se realizaron en dos conjuntos de datos públicos (TR-OP y DynaPD) y un conjunto de datos real (SocPhish) extraído de cinco plataformas de redes sociales.

• Rendimiento en Benchmarks:

  • En TR-OP, MPA mejoró el recall en un 13.6% en comparación con los mejores modelos de referencia (SOTA), alcanzando un recall del 98.56%.
  • En DynaPD, alcanzó un recall del 93.6% y el mejor puntaje F1.
  • En el conjunto de datos real SocPhish, mejoró el recall en un 20% respecto a los baselines, alcanzando un 91.44% de recall y un 90.34% de F1.

• Eficiencia:

  • MPA es el método más rápido, procesando una URL en promedio en 4.46 segundos, superando a otros agentes basados en LLM que tardan más de 8-22 segundos.

• Estudios de Ablación:

  • La eliminación de la memoria episódica redujo el recall drásticamente (de 91.44% a 63.69%), demostrando su necesidad crítica.
  • La eliminación de herramientas específicas (como Check Screenshot o Extract Targets) degradó significativamente la precisión, validando el diseño multimodal.
  • El sistema demostró alta robustez ante ataques de inyección de prompts y ruido en las salidas de las herramientas.

5. Significado e Impacto

El trabajo de MemoPhishAgent representa un cambio de paradigma en la ciberseguridad defensiva:

• De Estático a Adaptativo: Demuestra que los sistemas de detección no deben ser pipelines rígidos, sino agentes dinámicos que adaptan su estrategia de recolección de evidencia según la incertidumbre del caso.
• Valor de la Memoria: Establece que la memoria episódica no es solo un mecanismo de almacenamiento, sino una herramienta de razonamiento que reduce la alucinación, acelera la detección de patrones recurrentes y mejora la robustez ante ataques adversarios.
• Viabilidad Industrial: Al lograr un alto recall (crítico para no perder amenazas) con un costo computacional manejable y un despliegue real exitoso, MPA valida la viabilidad de usar agentes LLM complejos en entornos de producción para proteger a millones de usuarios.

En conclusión, MemoPhishAgent demuestra que la integración de razonamiento multimodal con memoria episódica ofrece una defensa robusta, adaptable y eficiente contra las amenazas de phishing en evolución constante.