🤖 machine learning

LLMs for Zero-Shot Threat Detection via Structured Risk Indicators

Este artículo propone un marco de trabajo de LLM de dos etapas que aprovecha la generación aumentada por recuperación para crear indicadores de riesgo estructurados e interpretables a partir de cronologías de actividad de usuario, logrando la detección estado del arte en cero disparos (zero-shot) de amenazas internas y APT al demostrar que la calidad de estos indicadores es el principal motor del rendimiento.

Autores originales: Abdullah Alghamdi, Siamak Layeghy, Marius Portmann

Publicado 2026-08-18

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Abdullah Alghamdi, Siamak Layeghy, Marius Portmann

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En las fortalezas digitales de las organizaciones modernas, los sistemas de seguridad vigilan constantemente en busca de intrusos. Algunos de estos sistemas escanean el tráfico que fluye entre las computadoras, buscando patrones sospechosos en el flujo de datos. Otros se asientan directamente en las computadoras mismas, monitoreando lo que sucede en su interior: quién inicia sesión, qué archivos se abren, qué dispositivos se conectan y qué correos electrónicos se envían. Este monitoreo interno es crucial porque las amenazas más peligrosas suelen provenir del interior. Cuando un atacante roba una contraseña legítima o convence a un empleado para que actúe contra la empresa, puede moverse a través del sistema pareciéndose exactamente a un usuario normal. Para atraparlos, los equipos de seguridad deben distinguir entre una persona trabajando hasta tarde en un proyecto y alguien robando silenciosamente datos sensibles, una tarea que requiere comprender la historia completa del comportamiento de una persona a lo largo del tiempo, no solo un momento aislado.

Un equipo de investigadores de la Universidad de Queensland ha desarrollado una nueva forma de ayudar a las computadoras a hacer esta distinción sin necesidad de años de entrenamiento en ejemplos específicos de mal comportamiento. En lugar de pedirle a una computadora que observe un montón desordenado de registros de seguridad sin procesar e inmediatamente grite "amenaza" o "seguro", construyeron un sistema de dos pasos que actúa más como un analista cuidadoso. Primero, el sistema organiza la actividad de un usuario en una línea de tiempo y le pide a un potente modelo de lenguaje que traduzca esa línea de tiempo en una lista clara y estructurada de factores de riesgo. Le pide al modelo que identifique cosas específicas que podrían estar mal, como acceder a archivos en horarios inusuales o conectarse a servidores extraños. Luego, un segundo modelo observa la secuencia de estas listas de riesgo a lo largo del tiempo para detectar patrones que sugieran que se está desarrollando un ataque. Este enfoque permite al sistema detectar tanto amenazas internas, donde un empleado de confianza se vuelve malicioso, como amenazas persistentes avanzadas, donde un atacante externo sofisticado se esconde en la red durante mucho tiempo.

Los investigadores probaron este método en dos conjuntos diferentes de datos de seguridad. Un conjunto de datos simuló un escenario de amenaza interna que involucraba a casi cien empleados durante dieciocho meses, capturando desde intercambios de correos electrónicos hasta transferencias de archivos. El otro conjunto de datos simuló un ataque externo sigiloso en una red, rastreando miles de conexiones entre computadoras. En ambos casos, el nuevo sistema superó significativamente al mejor método anterior que dependía de modelos de lenguaje. En los datos de la amenaza interna, el nuevo enfoque mejoró la capacidad de identificar correctamente los ataques al tiempo que redujo las falsas alarmas en más de once puntos porcentuales. En los datos de ataque de red, la mejora fue aún más dramática, saltando en más de treinta y un puntos porcentuales. La clave de este éxito no fue solo usar un cerebro de computadora más grande, sino cambiar cómo se procesa la información. Al obligar al primer modelo a descomponer los registros complejos en indicadores de riesgo simples e interpretables antes de emitir un juicio final, el sistema se volvió mucho mejor para detectar las sutiles diferencias entre el trabajo normal y la actividad maliciosa.

Uno de los descubrimientos más interesantes fue cómo el sistema manejó la necesidad de contexto. Los investigadores encontraron que, para los modelos de lenguaje más pequeños y menos potentes, proporcionar un resumen del comportamiento pasado del usuario ayudaba a generar mejores indicadores de riesgo. Era como si el modelo necesitara ver el historial del usuario para entender qué era inusual en el momento presente. Sin embargo, para los modelos más grandes y capaces, este contexto histórico adicional marcaba poca diferencia; ya eran capaces de generar indicadores de riesgo de alta calidad por sí mismos. Esto sugiere que la calidad de la evaluación de riesgo inicial es el factor más importante para detectar estas amenazas. Si el primer paso del proceso produce una imagen clara y precisa del peligro, el segundo paso puede reconocer fácilmente el patrón de ataque. Si el primer paso es vago o confuso, el sistema tiene dificultades, independientemente de cuán potente sea el clasificador final.

El estudio también reveló que la forma en que se agrupan los datos importa inmensamente. El sistema funciona mejor cuando observa todas las actividades de una sola persona como una historia continua, en lugar de mirar eventos o conexiones aisladas entre máquinas. Cuando los investigadores intentaron agrupar los datos por la conexión entre dos computadoras en lugar de por la persona que las usa, el rendimiento del sistema cayó significamente. Esto se debe a que el comportamiento de un atacante está definido por sus acciones a través de muchas herramientas y registros diferentes, y solo al ver el panorama completo puede el sistema ver el alcance total de la amenaza. Los investigadores señalaron que, si bien el sistema era excelente para detectar las amenazas internas en el primer conjunto de datos, el segundo conjunto de datos, que involucraba ataques de red muy sigilosos, presentó un desafío más difícil donde las señales eran mucho más tenues. Aun así, el enfoque estructurado seguía proporcionando una base sólida para la detección, demostrando que descomponer los datos de seguridad complejos en piezas manejables e interpretables es una estrategia poderosa.

En última instancia, este trabajo demuestra que el futuro de la detección automatizada de amenazas puede no residir en entrenar a las computadoras para memorizar cada ataque posible, sino en enseñarles a razonar sobre el comportamiento de una manera estructurada. Al usar modelos de lenguaje para traducir datos brutos en indicadores de riesgo claros y luego analizar esos indicadores a lo largo del tiempo, los sistemas de seguridad pueden volverse más precisos y confiables. Los hallazgos sugieren que la configuración más efectiva depende del tipo específico de amenaza que se esté cazando y de las capacidades de los modelos utilizados, pero el principio central sigue siendo el mismo: la claridad en los pasos intermedios conduce a mejores decisiones en el resultado final. Este enfoque ofrece un camino prometedor para proteger a las organizaciones contra el infiltrado que se vuelve contra ellas y contra el externo que intenta esconderse a plena vista.

Resumen Técnico: LLMs para la Detección de Amenazas Zero-Shot mediante Indicadores de Riesgo Estructurados

Planteamiento del Problema

Los Sistemas de Detección de Intrusiones basados en Host (HIDS) son críticos para identificar amenazas internas y las etapas a nivel de host de las Amenazas Persistentes Avanzadas (APT), tales como el movimiento lateral y la exfiltración de datos. Sin embargo, la detección de estas amenazas sigue siendo un desafío porque las acciones maliciosas a menudo parecen benignas de forma aislada y requieren un razonamiento contextual a través de fuentes de registros heterogéneas (por ejemplo, inicio de sesión, acceso a archivos, tráfico de red) y durante periodos de tiempo prolongados.

Los enfoques tradicionales de aprendizaje automático (por ejemplo, Random Forest, GNNs) dependen fuertmente de datos de entrenamiento etiquetados y tienen dificultades para generalizar ante ataques no vistos. Aunque los Modelos de Lenguaje de Gran Escala (LLMs) ofrecen una alternativa prometedora de tipo zero-shot para analizar registros semiestructurados, los marcos actuales basados en LLM (como GABM) típicamente intentan la clasificación de extremo a extremo directamente desde los registros brutos. Este enfoque obliga al modelo a interpretar simultáneamente eventos heterogéneos, razonar sobre el comportamiento del usuario y tomar una decisión de amenaza en un solo paso de inferencia. Los autores observan que esto conduce a predicciones inestables y una precisión baja (altas tasas de falsos positivos), lo que limita su despliegue práctico.

Metodología

Los autores proponen un marco de trabajo de dos etapas con LLM que reemplaza la clasificación directa por una representación intermedia estructurada e interpretable. El marco opera bajo un entorno zero-shot (sin entrenamiento específico de la tarea) y consta de tres componentes principales:

1. Preparación de Datos y Ventaneo Temporal

Agrupación por Usuario: Los registros heterogéneos se fusionan en una única línea de tiempo cronológica para cada usuario. Esto proporciona una visión de comportamiento unificada, ya que los patrones maliciosos suelen abarcar múltiples fuentes de registros (por ejemplo, un acceso a archivos seguido de una exfiltración por correo electrónico).
Ventanas Deslizantes: Las líneas de tiempo se segmentan en ventanas de tamaño fijo superpuestas (paso/stride 1). Una ventana se etiqueta como maliciosa si contiene cualquier entrada de registro maliciosa.
Muestreo de Contexto Temporal: Debido a las restricciones computacionales, una estrategia de muestreo determinista selecciona las ventanas para la inferencia. Esta retiene todos los estallidos (bursts) maliciosos y un contexto simétrico de ventanas benignas (±10 para APTs, ±30 para amenazas internas) para preservar las transiciones temporales sin procesar todo el corpus.

2. Recuperación Consciente del Comportamiento (RAG)

Para fundamentar la evaluación del riesgo en la historia personalizada, el marco emplea Generación Aumentada por Recuperación (RAG):

Embedding: Cada ventana es codificada en un vector denso utilizando un transformador de frases ligero.
Recuperación: Para una ventana dada, el sistema recupera las $k$ ventanas pasadas más similares (top- $k=3$ ) de la historia del mismo usuario (dentro de una búsqueda hacia atrás de 500 ventanas).
Características de Similitud: Se computan cinco métricas de similitud deterministas (por ejemplo, similitud máxima, promedio de top- $k$ ) para cuantificar qué tan anómala es la ventana actual en relación con la línea base del usuario.
Línea Base Sin RAG: Existe una configuración donde el LLM1 recibe solo la ventana actual, omitiendo el contexto recuperado y las características de similitud, para aislar la contribución de la recuperación.

3. Inferencia de Doble LLM

El marco utiliza dos etapas distintas de LLM, instanciadas con modelos de pesos abiertos (DeepSeek-R1-Distill-Qwen 32B y Llama 3.1 8B):

Etapa 1: Generación de Indicadores de Riesgo (LLM1)
- Entrada: El contenido de la ventana actual (estructurado como objetos de eventos JSON) más, en el caso de la configuración con RAG, las ventanas pasadas recuperadas y las características de similitud.
- Tarea: El modelo actúa como un analista de ciberseguridad para generar un vector estructurado de indicadores de riesgo normalizados (puntuaciones en el rango [0,1]).
- Salida: Un vector de longitud fija de características específicas de la amenaza (17 para amenazas internas de CERT r5.2; 20 para APTs de PicoDomain). Estas características cubren categorías como desviación de comportamiento, exfiltración de datos, movimiento lateral y anomalías de autenticación.
- Restricción: La salida es estrictamente un objeto JSON de puntuaciones, eliminando el ruido del razonamiento de texto libre.
Etapa 2: Clasificación Temporal (LLM2)
- Entrada: La secuencia ordenada de vectores de indicadores de riesgo producidos por el LLM1 para un usuario.
- Tarea: El modelo clasifica cada ventana como benigna (0) o maliciosa (1) mediante el razonamiento sobre la evolución temporal de las puntuaciones de riesgo.
- Razonamiento: El prompt instruye al LLM2 para identificar "estallidos" (bursts) de riesgo elevado y patrones de ataque coordinados (por ejemplo, movimiento lateral seguido de exfiltración) en lugar de evaluar las ventanas de forma aislada. Maneja el procesamiento por fragmentos (20 ventanas con un solapamiento de 5 ventanas) para gestionar los límites de contexto.

Contribuciones Clave

Marco Zero-Shot Estructurado: El artículo propone una arquitectura novedosa que desacopla la generación de características de la clasificación. Al reemplazar la clasificación de registros brutos por la generación de indicadores de riesgo estructurados e interpretables, el marco permite una detección zero-shot más robusta de amenazas internas y APTs.
Fundamentación de Comportamiento Personalizado: A diferencia de trabajos previos que recuperan inteligencia de amenazas externa (por ejemplo, MITRE ATT&CK), este marco recupera el comportamiento histórico personalizado. Esto permite que los indicadores de riesgo se generen en relación con los patrones de actividad establecidos de un individuo, distinguiendo la variación normal de la malicia genuina.
Análisis Empírico de los Roles de los Modelos y la Recuperación: El estudio proporciona un análisis exhaustivo de cómo interactúan la capacidad del modelo y la recuperación:
- La Recuperación como Sustituto: La recuperación beneficia significativamente a los LLM más débiles (Llama 3.1 8B) al mejorar la calidad de los indicadores de riesgo generados, actuando como un sustituto de su capacidad de razonamiento interno. Los modelos más fuertes (DeepSeek 32B) logran un rendimiento comparable sin recuperación.
- Asignación Óptima: La asignación más efectiva de modelos a las dos etapas depende del conjunto de datos. Para los datos de APT sigilosos (PicoDomain), se requiere el modelo más fuerte en la etapa de generación de características (LLM1). Para los datos de amenazas internas (CERT r5.2), el modelo más fuerte es más efectivo en la etapa de clasificación (LLM2).

Resultados

El marco fue evaluado en dos conjuntos de datos de referencia: CERT r5.2 (amenazas internas) y PicoDomain (APTs). Se comparó contra el marco de referencia GABM.

Ganancias de Rendimiento: Todas las configuraciones superaron a GABM.
- CERT r5.2: La mejor configuración (Llama 8B como LLM1, DeepSeek como LLM2, con RAG) alcanzó un F1-score de 64.14%, una mejora de 11.40 puntos porcentuales sobre GABM (52.74%). Logró una alta recuperación (recall) del 94.47% mientras mejoraba significativamente la precisión (48.55% frente a 35.82%).
- PicoDomain: La mejor configuración (DeepSeek como LLM1, Llama 8B como LLM2, Sin RAG) alcanzó un F1-score de 50.87%, una mejora de 31.50 puntos porcentuales sobre GABM (19.37%). La precisión mejoró en 25.85 puntos porcentuales manteniendo una alta recuperación (83.50%).
Estudios de Ablación:
- Representación de Ventanas: Los objetos de eventos JSON estructurados superaron significativamente a los textos verbosos o secuencias simples de tokens, resaltando la importancia de una entrada rica y estructurada para el LLM1.
- Estrategia de Agrupación: La agrupación por usuario superó sustancialmente a la agrupación por pares de conexión, confirmando que fusionar todas las fuentes de registros en una única línea de tiempo de usuario es crítico para capturar el contexto del comportamiento.
Análisis de Características:
- En CERT r5.2, las características de LLM1 mostraron una separación clara entre las clases benigna y maliciosa (diferencia absoluta media ~0.057).
- En PicoDomain, las características por ventana mostraron una separación muy débil (diferencia ~0.008), con algunas características incluso invertidas (la clase benigna puntuando más alto). Los autores atribuyen esto a la naturaleza sigilosa del beaconing de las APT, señalando que la detección en PicoDomain depende de la agregación temporal de estas señales débiles por parte de LLM2 en lugar de señales fuertes por ventana.

Significancia y Reivindicaciones

El artículo sostiene que el principal motor del rendimiento de la detección de amenazas cibernéticas zero-shot es la calidad de los indicadores de riesgo generados, y no simplemente la capacidad de clasificación bruta del LLM.

Superioridad Arquitectónica: Se demuestra que la arquitectura de dos etapas (Generación de Características $\to$ Clasificación Temporal) es superior a la clasificación de extremo a extremo, la cual tiene dificultades con la complejidad de los registros heterogéneos.
Equilibrio Precisión-Recuperación: El marco aborda con éxito la alta tasa de falsos positivos (baja precisión) típica de los enfoques anteriores basados en LLM (como GABM) al fundamentar la evaluación del riesgo en líneas base históricas personalizadas y mediante el uso de indicadores estructurados.
Límites de Contexto: Los autores señalan modestamente que la precisión reportada refleja una estrategia de muestreo enriquecida para la actividad maliciosa. En un flujo del mundo real, predominantemente benigno, la tasa de falsos positivos sería probablemente mayor, aunque se espera que las mejoras relativas sobre las líneas base se mantengan.
Casos Límite: El artículo reconoce que para el tráfico de APT altamente sigiloso (PicoDomain), la detección por ventana es un "caso límite" donde la señal está cerca del nivel del azar, y el éxito del marco depende del razonamiento temporal de LLM2 para agregar estas señales débiles.

El trabajo demuestra que la combinación de la recuperación de comportamiento personalizado con indicadores de riesgo estructurados generados por LLM proporciona un enfoque unificado y efectivo para la detección zero-shot tanto de amenazas internas como de APTs.