Semantic-Aware Advanced Persistent Threat Detection Using Autoencoders on LLM-Encoded System Logs

Resumen Técnico: Detección de APT con Conciencia Semántica mediante Autoencoders sobre Logs de Sistema Codificados por LLM

Declaración del Problema
Las Amenazas Persistentes Avanzadas (APT) representan un desafío crítico en la ciberseguridad debido a su naturaleza sigilosa, de largo plazo y de tipo "bajo y lento" (low-and-slow). Los atacantes suelen utilizar técnicas de "vivir de la tierra" (living off the land), aprovechando herramientas legítimas del sistema (por ejemplo, PowerShell, WMI) para mezclar actividades maliciosas con tareas administrativas normales. Los métodos de detección tradicionales, que incluyen enfoques estadísticos y técnicas de aprendizaje automático superficial como Isolation Forest (IForest), One-Class Support Vector Machines (OC-SVM) y Análisis de Componentes Principales (PCA), dependen en gran medida de la frecuencia de los tokens o de propiedades estadísticas. Estos métodos "superficiales" no logran capturar la intención semántica y las relaciones contextuales dentro de los registros del sistema. En consecuencia, tienen dificultades para distinguir entre acciones administrativas benignas y ataques sofisticados cuando la probabilidad estadística de las entradas de los logs es similar. Además, el enorme volumen de logs de sistema no estructurados hace que el análisis manual sea imposible, lo que requiere una detección de anomalías automatizada que comprenda el significado detrás de los datos en lugar de solo su frecuencia.

Metodología: El Marco MPNet-AE
El artículo propone MPNet-AE, un marco de detección de anomalías no supervisado que cierra la brecha entre los logs del sistema sin procesar y la comprensión semántica. La metodología avanza a través de tres etapas principales:

1. Procedencia de Datos y Conversión Textual:
   El marco utiliza el conjunto de datos DARPA Transparent Computing (TC), que contiene trazas de procedencia detalladas (ejecuciones de procesos, llamadas al sistema, accesos a archivos, comunicaciones de red). Estos logs sin procesar se normalizan y transforman en descripciones de lenguaje natural estructuradas. Por ejemplo, un registro de proceso se convierte en una oración como: "El proceso 1054 inició /bin/bash y se conectó al socket 192.168.1.5:80 y cambió /etc/passwd". Esta conversión captura las relaciones contextuales (por ejemplo, enlaces de proceso padre-hijo, interacciones de red) que se pierden en los formatos de log originales.

2. Generación de Embeddings Semánticos:
   En lugar de utilizar características basadas en tokens estándar o variantes anteriores de BERT, el sistema emplea el modelo preentrenado all-mpnet-base-v2 (basado en la arquitectura MPNet de Microsoft). Este modelo, que combina el Modelado de Lenguaje Enmascarado (MLM) y el Modelado de Lenguaje Permutado (PLM) con un ajuste fino contrastivo, codifica las oraciones de lenguaje natural generadas en vectores densos de alta dimensión (768 dimensiones). Estos embeddings representan la semántica conductual de alto nivel de las actividades del sistema en lugar de solo palabras clave superficiales.

3. Detección de Anomalías mediante Autoencoder:
   Los embeddings semánticos se introducen en un Autoencoder (AE) de tipo vanilla. El AE se entrena exclusivamente con embeddings derivados de comportamientos benignos (normales) del sistema. La arquitectura consiste en un codificador que comprime la entrada de 768 dimensiones en un espacio latente de 128 dimensiones, y un decodificador que reconstruye la entrada original.

   • Mecanismo de Detección: Durante la inferencia, el modelo calcula el error de reconstrucción (Error Cuadrático Medio) para cada muestra. Dado que el AE se entrena solo con datos normales, reconstruye los patrones benignos con un error bajo. Las actividades maliciosas o anómalas, que poseen estructuras semánticas diferentes, resultan en errores de reconstrucción elevados. Se aplica un umbral a estos errores para clasificar las muestras como anomalías.

Contribuciones Clave

1. Marco Novedoso: Los autores proponen una transición de la detección de anomalías estadística a la semántica, integrando modelos de transformadores preentrenados (específicamente MPNet) con autoencoders para detectar APTs basadas en diferencias semánticas en lugar de frecuencia.
2. Evaluación Comparativa: El estudio proporciona una evaluación comparativa rigurosa frente a tres líneas base no supervisadas establecidas: Isolation Forest, OC-SVM y PCA.
3. Utilización de Datasets: La investigación aprovecha los conjuntos de datos del proyecto DARPA TC (incluyendo los escenarios 5DIR, CADETS, CLEARSCOPE, THEIA y TRACE), que son referentes reconocidos que contienen escenarios de ataque APT realistas y altamente desbalanceados generados por equipos de ataque (red teams).

Resultos Experimentales
El marco fue evaluado en cinco contextos de procedencia distintos (ProcessEvent, ProcessExec, ProcessParent, ProcessNetflow y ProcessAll) a través de múltiples sistemas operativos (BSD, Windows, Linux, Android).

• Métricas de Rendimiento: El rendimiento se midió mediante el Área Bajo la Curva Característica Operativa del Receptor (AUC-ROC), una métrica adecuada para datos altamente sesgados donde los eventos maliciosos constituyen menos del 0.004% de los registros.
• Ventaja Comparativa: El enfoque MPNet-AE superó consistentemente a las líneas base tradicionales (IForest, OC-SVM, PCA). En 11 de las 23 condiciones experimentales, el modelo alcanzó puntuaciones AUC superiores a 0.95.
• Robustez: Las visualizaciones utilizando t-SNE confirmaron que las actividades normales forman grupos compactos, mientras que las anomalías aparecen como puntos aislados en el espacio semántico. El modelo demostró una robustez particular en escenarios complejos y ruidosos (por ejemplo, TRACE ProcessNetflow) donde los métodos tradicionales como OC-SVM sufrieron caídas de rendimiento.
• Convergencia: Las curvas de entrenamiento indicaron una convergencia rápida con un sobreajuste (overfitting) mínimo, validando la capacidad del modelo para generalizar los patrones de comportamiento normal.

Significancia y Reivindicaciones
El artículo afirma que la integración de la comprensión semántica con el modelado basado en reconstrucción ofrece una ventaja decisiva en la detección de APT. Al capturar la intención y el contexto de las actividades del sistema, el marco MPNet-AE puede identificar comportamientos de ataque sutiles, no lineales y sigilosos que a menudo pasan desapercibidos para las técnicas convencales que dependen de propiedades estadísticas. Los autores sostienen que este enfoque aborda eficazmente las limitaciones del aprendizaje "superficial" ante amenazas sofisticadas y de baja frecuencia.

El estudio concluye que, si bien el marco actual es efectivo, el trabajo futuro debería centrarse en el ajuste fino de modelos de lenguaje específicamente para logs de ciberseguridad, explorar dependencias temporales y basadas en grafos para ataques de múltiples etapas, e integrar mecanismos de explicabilidad para el despliegue práctico en entornos empresariales reales.