Resumen Técnico: GRID – Representación Gráfica de Datos de Inteligencia para la Construcción de Grafos de Conocimiento de Texto de Seguridad

1. Declaración del Problema

El artículo aborda la necesidad crítica de estructurar la Inteligencia de Amenazas Cibernéticas (CTI) en grafos de conocimiento (KG) computables y trazables para ayudar a los agentes de seguridad y a los Modelos de Lenguaje Grandes (LLM) a razonar sobre evidencia conectada. Si bien los artículos de CTI no estructurados (blogs, informes) contienen detalles ricos sobre comportamientos de ataque y evolución de malware, los enfoques existentes enfrentan cuatro desafíos principales:

1. Falta de Integración de Dominio: Los LLM de propósito general a menudo carecen de conocimiento específico del dominio de seguridad, especialmente en escalas de modelos más pequeñas, lo que obliga a depender de APIs comerciales costosas.
2. Escasez de Datos: Existe una falta de conjuntos de datos públicos de alta calidad que proporcionen pares alineados de texto de CTI y sus grafos de conocimiento de verdad correspondientes para el entrenamiento de extremo a extremo.
3. Señales de Recompensa Costosas: La extracción de documento a grafo de extremo a extremo es una tarea de generación abierta. Diseñar recompensas de aprendizaje por refuerzo (RL) es difícil; utilizar un LLM como juez para puntuar salidas completas de grafos en cada paso de entrenamiento incurre en costos prohibitivos.
4. Aprendizaje Superficial: Los LLM tienden a depender de superposiciones léxicas superficiales en lugar de una comprensión semántica profunda de alias de entidades, jerarquías y restricciones de relación dentro de las narrativas de CTI.

2. Metodología

Los autores proponen GRID (Representación Gráfica de Datos de Inteligencia), un marco de extremo a extremo diseñado para construir grafos de conocimiento de seguridad a partir de texto de formato largo utilizando un LLM de 4B parámetros (Qwen3-4B-Instruct-2507). El marco consta de cuatro componentes principales:

A. Anotación Automática de Alineación Artículo-Grafo

Para resolver el problema de la escasez de datos sin un etiquetado manual masivo, GRID introduce un bucle de dos etapas de anotar y revisar:

1. Extracción Trazable: Un LLM extrae un grafo de conocimiento de un artículo de CTI crudo bajo estrictas restricciones "verificables por texto", preservando anclajes de evidencia literales (fragmentos de texto fuente).
2. Revisión Condicionada al KG: El artículo original es reescrito por un LLM para eliminar el contenido de seguridad no capturado por el grafo extraído, mientras se retiene el contexto no relacionado con la seguridad y los anclajes protegidos.
   Este proceso produce pares de alta calidad $(a', G')$ donde el artículo revisado $a'$ está explícitamente alineado con el grafo $G'$.

B. Reformulación del Banco de Tareas para el Entrenamiento por RL

En lugar de recompensar directamente la generación completa de grafos, GRID reformula el objetivo de aprendizaje en un banco de tareas scriptadas para reducir costos y estabilizar las recompensas:

• Preguntas de Selección Múltiple: Genera preguntas de cuatro opciones donde la verdad fundamental es un subconjunto de opciones correctas. Los distractores están diseñados como casos de "casi acierto" o "alucinación" (por ejemplo, entidades correctas pero relaciones incorrectas).
• Objetivos Regex: Convierte cada borde del grafo de verdad fundamental en un objetivo regex a nivel de tripleta.
• Mecanismo de Recompensa: Las recompensas se calculan basándose en coincidencias exactas para tareas de elección y ratios de coincidencia normalizados para tareas regex. Esto reemplaza la puntuación costosa de grafos completos con verificaciones locales más baratas a nivel de tarea.

C. Modelado de Complejidad del Artículo

El marco asigna una puntuación de complejidad escalar a cada artículo basada en la longitud, conteos de entidades/relaciones y estadísticas de conectividad del grafo. Esto permite un entrenamiento ordenado por complejidad del artículo, permitiendo que el agente de RL progrese de ejemplos más fáciles a más difíciles.

D. Inferencia Guiada por Ontología

GRID emplea una ontología específica de CTI (inspirada en STIX pero refinada para la extracción práctica) que define tipos de entidades (por ejemplo, threat-actor, malware, vulnerability) y familias de relaciones. Esta ontología guía al LLM para:

• Inferir relaciones implícitas basadas en categorías tipadas y jerarquía.
• Hacer cumplir la verdad verificable por texto prohibiendo la completitud externa o la elevación de sujetos.
• Normalizar alias y relaciones para garantizar la consistencia estructural.

E. Protocolo de Evaluación

El sistema utiliza un evaluador LLM-como-juez para la evaluación automática. El juez puntúa la precisión y el recuerdo basándose en reglas "verificables por texto", requiriendo que el modelo cite evidencia de texto de soporte para cada borde predicho. Este evaluador fue calibrado contra tres revisores humanos, logrando un acuerdo del 86.0%.

3. Contribuciones Clave

1. Pipeline de Datos Automático: Un algoritmo novedoso para generar alineaciones artículo-grafo trazables sin anotación manual a gran escala, creando efectivamente un conjunto de datos supervisado a partir de artículos de CTI crudos.
2. Estrategia de RL de Bajo Costo: Un enfoque de "Banco de Tareas" que reformula la extracción de grafos abierta en preguntas de selección múltiple y coincidencia regex, reduciendo significativamente el costo computacional del entrenamiento por RL en comparación con la puntuación en línea de LLM-como-juez.
3. Extracción Guiada por Ontología: Un marco que integra una ontología específica de seguridad para guiar al LLM, mejorando la comprensión semántica y reduciendo las alucinaciones sin depender de la clasificación de etiquetas cerradas.
4. Punto de Referencia Unificado: La creación de un punto de referencia que comprende 249 artículos de CTI de cinco fuentes distintas (GRID, CASIE, CTINexus, MalKG, SecureNLP) con un protocolo de evaluación automática confiable.

4. Resultados Experimentales

Los autores evaluaron GRID en el punto de referencia unificado utilizando un modelo de 4B parámetros.

• Rendimiento vs. Líneas Base: El principal modelo de recompensa de Banco de Tareas logró:
  • 84.62% de precisión promediada por fuente.
  • 64.91% de recuerdo promediado por fuente.
  • 68.53% de F1 Promedio.
  • Logró el mejor recuerdo entre todas las líneas base y una puntuación F1 superior casi empatada con el competidor más fuerte (CTINexus), mientras utilizaba aproximadamente el 40% de los tokens de inferencia.
• Estudios de Ablación (RQ2 y RQ3):
  • El enfoque de Recompensa de Banco de Tareas superó a un modelo de Recompensa End2End (entrenado con puntuación en línea de LLM-como-juez) en 11.06 puntos de recuerdo y 10.47 puntos de F1, siendo significativamente más barato ($60 vs. $942 en costos de entrenamiento).
  • Eliminar la rama regex (Solo elección) redujo el recuerdo en 31 puntos, demostrando la necesidad de la coincidencia a nivel de tripleta.
  • Tanto la reescritura de artículos como el entrenamiento ordenado por complejidad se demostraron necesarios para un rendimiento óptimo; eliminar cualquiera de ellos resultó en recompensas de entrenamiento y puntuaciones de prueba más bajas.

5. Significado y Afirmaciones

El artículo afirma que GRID proporciona una solución escalable y de bajo costo para equipar a LLMs de código abierto más pequeños con conocimiento del dominio de seguridad. Su importancia radica en:

• Eficiencia de Costos: Al desacoplar la construcción de supervisión (fuera de línea, costo único) del entrenamiento (banco de tareas reutilizable), GRID evita los costos prohibitivos del RL en línea con la puntuación de grafos completos.
• Rendimiento: Demuestra que un modelo de 4B, cuando está adecuadamente supervisado mediante este marco, puede superar o igualar a pipelines más grandes o complejos (como CTINexus) en recuerdo y F1, siendo al mismo tiempo más eficiente.
• Fiabilidad: El marco enfatiza la extracción y evaluación "verificables por texto", asegurando que los grafos de conocimiento generados estén fundamentados en el texto fuente en lugar de alucinarse a partir de conocimiento externo.

Los autores concluyen que su enfoque cierra exitosamente la brecha entre el texto de seguridad no estructurado y los grafos de conocimiento estructurados, ofreciendo un pipeline práctico para agentes de seguridad y sistemas de inteligencia de amenazas.