SOC Copilot: A Complete, Lightweight, and Explainable Multi-Model Anomaly Detection Engine for Security Log Analysis

Cada día, los sistemas informáticos modernos generan un volumen asombroso de registros digitales conocidos como logs. Estos son notas automáticas que las máquinas escriben sobre sus propias actividades, rastreando todo, desde el inicio de sesión de un usuario hasta el movimiento de un archivo a través de una red. En una gran organización, estos logs se acumulan por millones, creando un flujo masivo y caótico de información. Los equipos de seguridad, conocidos como Centros de Operaciones de Seguridad, tienen la tarea de vigilar este flujo para detectar signos de problemas. El problema es que el volumen es demasiado grande para los humanos y la forma antigua de buscar problemas —comprobar patrones específicos de comportamientos maliciosos conocidos— falla cuando los atacantes utilizan métodos nuevos y no vistos. Cuando los sistemas se ven abrumados, o bien pasan por alto amenazas reales o activan la alarma por eventos inofensivos, dejando a los analistas agotados y confundidos. El objetivo de la investigación de seguridad moderna es construir un sistema que pueda filtrar automáticamente este ruido, encontrar los eventos raros y extraños que señalan un ataque, y explicar exactamente por qué los encontró, todo ello sin necesidad de hardware costoso y especializado o de un equipo de expertos para etiquetar cada ejemplo de un crimen.

Un equipo de investigadores ha construido una herramienta llamada SOC Copilot para resolver este problema específico. Crearon un sistema completo que se ejecuta en procesadores de computadora estándar, lo que significa que no requiere las enormes y voraces tarjetas gráficas que muchas herramientas avanzadas de inteligencia artificial necesitan. En lugar de depender de una base de datos de ataques conocidos, su sistema aprende cómo es el comportamiento "normal" y señala cualquier cosa que se desvíenda de ese patrón. Los investigadores probaron su motor en un conjunto de datos masivo de más de once millones de líneas de log de un Hadoop Distributed File System, una tecnología común para almacenar grandes cantidades de datos. Procesaron estos datos en un formato manejable, agrupando eventos relacionados en bloques y convirtiéndolos en una lista de cincuenta y ocho características diferentes, tales como cuántas veces apareció un tipo específico de mensaje o cuánto duró una secuencia de eventos.

El núcleo de su sistema utiliza dos métodos diferentes para buscar problemas, trabajando juntos como dos expertos con distintas especialidades. El primer método es una herramienta estadística que busca valores atípicos, identificando puntos de datos que se encuentran lejos de la multitud. El segundo método es una red neuronal, un tipo de programa informático diseñado para aprender a comprimir información y luego reconstruirla. Si el programa encuentra un patrón que nunca ha visto antes, le cuesta reconstruirlo, y esa dificultad se convierte en una señal de que algo anda mal. Los investigadores entrenaron ambos métodos únicamente con ejemplos de comportamiento normal y seguro. No les mostraron ningún ejemplo de ataques durante la fase de aprendizaje, lo que permite al sistema detectar nuevos tipos de amenazas que nunca han sido vistos antes.

Para que el sistema sea fiable, los investigadores no se limitaron a dejar que los dos métodos votaran sobre una decisión. Primero ajustaron las puntuaciones de cada método para que pudieran compararse de manera justa, y luego las combinaron utilizando una estrategia de ponderación específica determinada mediante pruebas en un conjunto de datos separado. El resultado final es una puntuación única que indica qué tan sospechoso es un bloque de logs. Si la puntuación cruza cierta línea, el sistema lo marca como una anomalía. Crucialmente, el sistema no solo dice "esto es malo". Proporciona una explicación detallada de su decisión, resaltando exactamente qué características de la entrada del log causaron la alarma. También asigna un nivel de severidad, que va desde bajo hasta crítico, ayudando a los analistas humanos a decidir qué alertas investigar primero.

Cuando el equipo probó su sistema final en un conjunto de datos que nunca había visto, los resultados fueron notablemente precisos. De más de sesenta y cuatro mil bloques de logs, el sistema identificó correctamente casi todos los casos de anomalías, fallando solo uno. También mantuvo las falsas alarmas muy bajas, marcando solo una fracción minúscula de la actividad normal como sospechosa. La combinación de los dos métodos resultó ser más fuerte que cualquiera de ellos por separado. Aunque la red neuronal era el detector individual superior, el método estadístico detectó un pequeño número de amenazas que la red pasó por alto. Al fusionarlos, el sistema alcanzó un nivel de precisión que es raro en este campo, llegando a casi el noventa y nueve por ciento en todas las medidas principales de rendimiento.

Los investigadores también construyeron un panel visual que permite a los analistas humanos interactuar con el sistema. Esta interfaz muestra las alertas, las puntuaciones de severidad y las explicaciones de por qué se activó cada alerta. Muestra las plantillas de log específicas que dispararon la alarma y las características que más contribuyeron a la decisión. Esta transparencia es vital porque permite que un humano confíe en el juicio de la máquina y comprenda el contexto de la amenaza. Todo el sistema fue construido para ser ligero y explicable, abordando las quejas comunes de que las herramientas de seguridad potentes son demasiado costosas de ejecutar o demasiado opacas para entender.

El estudio confirma que es posible construir un motor de seguridad altamente efectivo sin depender de una potencia informática masiva o de enormes conjuntos de datos etiquetados de ataques conocidos. Al centrarse en el aprendizaje no supervisado, donde el sistema aprende la forma del comportamiento normal, y al combinar múltiples métodos de detección, el equipo creó una herramienta que es tanto precisa como comprensible. Demostraron que un sistema puede ser entrenado con datos normales, ajustado con una calibración cuidadosa y desplegado para capturar casi todas las anomalías en un flujo masivo de logs. El trabajo no pretende resolver todos los problemas de seguridad, y reconoce que actualmente funciona mejor en este tipo específico de datos de log. Sin embargo, proporciona un ejemplo claro y funcional de cómo pasar de la comprobación de reglas reactiva a la detección de anomalías inteligente y proactiva que puede ser entendida y confiada por las personas que necesitan utilizarla.