DEFENGRAPH: Knowledge Graph-Enhanced LLMs for Blue Team Cyber Defense

Resumen Técnico: DEFENGRAPH

Planteamiento del Problema
Los Modelos de Lenguaje de Gran Escala (LLM) muestran potencial para la toma de decisiones en ciberseguridad, pero sufren limitaciones críticas en entornos de alto riesgo y evolución temporal. Específicamente, son propensos a las alucinaciones, tienen dificultades con el razonamiento temporal y carecen de fundamentación en contextos de sistemas específicos. Los enfoques tradicionales de Generación Aumentada por Recuperación (RAG), que dependen de la similitud superficial o basada en embeddings, suelen recuperar documentos irrelevantes (por ejemplo, recuperar un ticket de incidente de Windows para una alerta de Linux) que confunden el razonamiento del LLM. Además, los datos de ciberseguridad se caracterizan por una baja relación señal-ruido, conteniendo vastas cantidades de registros benignos o engañosos (por ejemplo, contraseñas mal escritas) que los métodos de recuperación de Grafos de Conocimiento (KG) estándar no logran filtrar eficazmente. El desafío central es crear un sistema que pueda fundamentar los resultados de los LLM tanto en el conocimiento de dominio a largo plazo como en los contextos de eventos evolutivos y en tiempo real para proporcionar estrategias de defensa fieles y con conciencia temporal.

Metodología: El Marco DEFENGRAPH
Los autores proponen DEFENGRAPH, un marco de RAG mejorado con Grafos de Conocimiento de doble capa diseñado para apoyar a los defensores del Blue Team. El sistema integra representaciones de conocimiento estructurado con la generación basada en LLM a través del siguiente flujo de trabajo:

1. Construcción de un Grafo de Conocimiento de Doble Capa:

   • Grafo de Conocimiento Estático (SKG): Codifica el conocimiento de infraestructura a largo plazo, la arquitectura del sistema, los comportamientos típicos de los atacantes y los manuales de defensa históricos derivados de planos de entornos de entrenamiento (cyber ranges) y documentación.
   • Grafo de Conocimiento Dinámico (DKG): Captura eventos de seguridad en evolución temporal, trazas de atacantes y acciones de tickets de defensores registradas durante ejercicios en vivo. Los nodos incluyen alertas, tickets, IPs y archivos, con aristas que codifican relaciones temporales y semánticas.

2. Proceso de Recuperación Basado en Grafos (GRP):
   Al recibir una alerta de SIEM (Wazuh), el sistema construye un grafo de consulta y recupera subgrafos relevantes del SKG y del DKG utilizando:

   • Coincidencia de Tripletas Basada en Semántica (STM): Utiliza modelos de lenguaje preentrenados para codificar y emparejar tripletas (entidad, relación, entidad) entre la consulta y la base de conocimiento.
   • Puntuación de Propagación de Ruta (PMC): Agrega características de las tripletas vecinas para calcular puntuaciones de coincidencia de rutas, identificando las rutas más probables de ser relevantes.
   • Composición de Subgrafos: Fusiona las rutas con mayor coincidencia en subgrafos, muestreando vecinos de 2 saltos para capturar el contexto circundante.

3. Filtrado Contextual y Re-clasificación Basados en LLM:
   Para abordar el ruido inherente a los subgrafos recuperados, DEFENGRAPH emplea dos módulos impulsados por LLM:

   • Filtro Contextual (CF): Evalúa las rutas recuperadas frente al contexto específico de la alerta para puntuar y seleccionar las entidades y rutas más relevantes, filtrando nodos "grises" irrelevantes.
   • Re-clasificador de Razonamiento (Reasoning Re-ranker): Reordena las rutas filtradas basándose en su relevancia para la alerta y el conocimiento histórico, incorporando una Asignación de Peso Temporal. Esto asigna pesos más altos a las entidades más cercanas en el tiempo a la consulta, asegurando que el sistema priorice las amenazas recientes y en evolución.

4. Generación de Actividad de Defensa:
   Las rutas de razonamiento finales y clasificadas se integran en el prompt del LLM para generar estrategias de mitigación accionables y conscientes del contexto que se alineen con las prácticas de defensa humanas.

Contribuciones Clave

• Marco DEFENGRAPH: Un novedoso marco de RAG con KG temporal que combina el conocimiento de dominio estático con datos de eventos dinámicos y en tiempo real para generar estrategias de defensa conscientes del contexto.
• Dataset ACDC Cyber Range: La construcción y publicación de un conjunto de datos de ciberseguridad integral derivado de ejercicios en vivo de Red vs. Blue team en un entorno de puerto marítimo simulado. Incluye más de 8.2 millones de registros de firewall, 6.1 millones de alertas de Wazuh, 326 tickets de respuesta a incidentes y trazas de Red Team, representando una fuente de datos realista, ruidosa y heterogénea.
• Mejoras de Rendimiento: Demostración de que DEFENGRAPH mejora significativamente la fidelidad e interpretabilidad de los resultados de los LLM a través de múltiples modelos (GPT-4o, LLaMA-3, DeepSeek-R1, QWen-3), produciendo recomendaciones de defensa que se alinean más estrechamente con la verdad de terreno (ground truth) redactada por humanos.

Resultos Experimentales
El marco fue evaluado en el dataset ACDC utilizando cuatro LLM líderes y comparado contra líneas base que incluyen LLM-solo, Hybrid RAG y GraphRAG. Los hallazgos clave incluyen:

• Recuperación de Razonamiento (RAR): En GPT-4o, DEFENGRAPH mejoró la recuperación de razonamiento del 61.45% (solo SKG) al 73.49% (Completo). Se observaron ganancias similares en otros modelos (por ejemplo, LLaMA-3: 46.99% → 61.45%).
• Recuperación de Acción de Ticket (TAR): El sistema recuperó una proporción significativamente mayor de las acciones de defensa de la verdad de terreno. En GPT-4o, la TAR aumentó del 52.17% al 72.46%.
• Precisión y Tasas de Error: Mientras que la precisión (TAP) tuvo mejoras moderadas (24.49% → 29.24% en GPT-4o), el sistema mantuvo una baja tasa de acciones erróneas (por debajo del 4%), donde los errores consistieron principalmente en sobre-reacciones o falsos positivos que son fácilmente identificables por los defensores humanos.
• Robustez de Arranque en Frío (Cold-Start): En escenarios sin historial previo de tickets (reinicio del DKG), el sistema mantuvo capacidades de razonamiento sólidas, aunque la recuperación de acciones disminuyó, resaltando la importancia del contexto dinámico para la alineación precisa de acciones.
• Estudios de Ablación: Los resultados confirmaron que tanto el SKG como el DKG son esenciales; eliminar el DKG redujo la TAR en aproximadamente un 20%, mientras que eliminar el SKG causó una caída de aproximadamente un 25%, demostrando la necesidad tanto de la estructura histórica como del contexto en tiempo real.

Significado
El artículo posiciona a DEFENGRAPH como una solución de vanguardia para el soporte de decisiones de ciberseguridad fundamentado y con conciencia temporal. A diferencia de los sistemas previos basados en KG que se centran en la detección de intrusiones, el rastreo de ataques o la estructuración de inteligencia de amenazas, DEFENGRAPH apunta directamente a la generación de pasos de mitigación accionables y alineados con los tickets. Al integrar un grafo de doble capa con filtrado y re-clasificación basados en LLM, el marco aborda la fragilidad del RAG tradicional en dominios estructurados y ruidosos, permitiendo que los LLM proporcionen un razonamiento fiel que refleje tanto la topología estática del sistema como la evolución dinámica de un ataque. Los autores afirman que este enfoque cierra la brecha entre la comprensión habilitada por KG y la guía de respuesta operativamente útil para los Blue Teams.