SOC Copilot: A Complete, Lightweight, and Explainable Multi-Model Anomaly Detection Engine for Security Log Analysis

Jeden Tag generieren moderne Computersysteme ein erschlagendes Volumen an digitalen Datensätzen, die als Logs bekannt sind. Dies sind automatische Notizen, die Maschinen über ihre eigenen Aktivitäten schreiben und dabei alles verfolgen, vom Login eines Benutzers bis hin zum Verschieben einer Datei über ein Netzwerk. In einer großen Organisation häufen sich diese Logs zu Millionen an und erzeugen einen massiven, chaotischen Informationsstrom. Sicherheitsteams, bekannt als Security Operations Center, haben die Aufgabe, diesen Strom zu überwachen, um Anzeichen von Problemen zu entdecken. Das Problem ist, dass das Volumen zu groß für Menschen ist, um es zu lesen, und die alte Methode, nach Problemen zu suchen – das Überprüfen spezifischer, bekannter Muster von Fehlverhalten – versagt, wenn Angreifer neue, ungesehene Methoden anwenden. Wenn Systeme überlastet sind, übersehen sie entweder echte Bedrohungen oder schlagen Alarm bei harmlosen Ereignissen, was Analysten erschöpft und verwirrt zurücklässt. Das Ziel moderner Sicherheitsforschung ist es, ein System zu entwickeln, das in der Lage ist, dieses Rauschen automatisch zu sieben, die seltenen, seltsamen Ereignisse zu finden, die auf einen Angriff hindeuten, und genau zu erklären, warum es sie gefunden hat – und das alles, ohne teure Spezialhardware oder ein Team von Experten zu benötigen, das jedes einzelne Beispiel einer Straftat kennzeichnen muss.

Ein Forschungsteam hat ein Werkzeug namens SOC Copilot entwickelt, um genau dieses Problem zu lösen. Sie haben ein vollständiges System geschaffen, das auf Standard-Prozessoren läuft, was bedeutet, dass es nicht die massiven, stromhungrigen Grafikkarten benötigt, die viele fortschrittliche KI-Werkzeuge erfordern. Anstatt sich auf eine Datenbank bekannter Angriffe zu verlassen, lernt ihr System, wie „normales“ Verhalten aussieht, und markiert alles, was von diesem Muster abweicht. Die Forscher testeten ihre Engine an einem riesigen Datensatz von über elf Millionen Log-Zeilen aus einem Hadoop Distributed File System, einer gängigen Technologie zur Speicherung großer Datenmengen. Sie verarbeiteten diese Daten in ein handhabbares Format, indem sie zusammengehörige Ereignisse in Blöcke gruppierten und sie in eine Liste von achtundfünfzig verschiedenen Merkmalen umwandelten, wie etwa, wie oft eine bestimmte Art von Nachricht auftrat oder wie lange eine Sequenz von Ereignissen dauerte.

Der Kern ihres Systems nutzt zwei verschiedene Methoden, um nach Problemen zu suchen, die zusammenarbeiten wie zwei Experten mit unterschiedlichen Fachgebieten. Die erste Methode ist ein statistisches Werkzeug, das nach Ausreißern sucht und Datenpunkte identifiziert, die weit entfernt von der Masse liegen. Die zweite Methode ist ein neuronales Netz, eine Art Computerprogramm, das darauf ausgelegt ist, Informationen zu komprimieren und anschließend wieder aufzubauen. Wenn das Programm ein Muster sieht, das es noch nie zuvor erlebt hat, hat es Schwierigkeiten, es wieder aufzubauen, und dieser Kampf wird zu einem Signal, dass etwas nicht stimmt. Die Forscher trainierten beide Methoden ausschließlich an Beispielen normalen, sicheren Verhaltens. Sie zeigten ihnen während der Lernphase keine Beispiele für Angriffe, was es dem System ermöglicht, neue Arten von Bedrohungen zu erkennen, die noch nie zuvor gesehen wurden.

Um das System zuverlässig zu machen, ließen die Forscher die beiden Methoden nicht einfach über eine Entscheidung abstimmen. Sie passten zuerst die Scores jeder Methode an, damit diese fair verglichen werden konnten, und kombinierten sie dann mithilfe einer spezifischen Gewichtungsstrategie, die durch Tests an einem separaten Datensatz ermittelt wurde. Das Endergebnis ist ein einzelner Score, der dem System mitteilt, wie verdächtig ein Block von Logs ist. Wenn der Score eine bestimmte Linie überschreitet, markiert das System ihn als Anomalie. Entscheidend ist, dass das System nicht nur sagt: „Das ist schlecht.“ Es liefert eine detaillierte Erklärung für seine Entscheidung, indem es genau hervorhebt, welche Merkmale des Log-Eintrags den Alarm ausgelöst haben. Es weist zudem eine Schweregradstufe zu, die von niedrig bis kritisch reicht, um den menschlichen Analysten zu helfen, zu entscheiden, welche Alarme zuerst untersucht werden sollten.

Als das Team sein fertiges System an einem Datensatz testete, den es noch nie zuvor gesehen hatte, waren die Ergebnisse bemerkenswert präzise. Von mehr als vierundsechzigtausend Log-Blöcken identifizierte das System fast jede einzelne Anomalie korrekt und übersah dabei nur eine einzige. Es hielt auch die Fehlalarme sehr gering und markierte nur einen winzigen Bruchteil der normalen Aktivitäten als verdächtig. Die Kombination der beiden Methoden erwies sich als stärker als jede der beiden allein. Während das neuronale Netz der bessere einzelne Detektor war, fing die statistische Methode eine kleine Anzahl von Bedrohungen ab, die das Netzwerk übersehen hatte. Durch die Verschmelzung dieser beiden erreichte das System eine Genauigkeit, die in diesem Bereich selten ist, und erreichte nahezu neunundneunzig Prozent bei allen wichtigen Leistungsmaßen.

Die Forscher bauten auch ein visuelles Dashboard, das es menschlichen Analysten ermöglicht, mit dem System zu interagieren. Diese Schnittstelle zeigt die Alarme, die Schweregrad-Scores und die Erklärungen dafür an, warum jeder Alarm ausgelöst wurde. Sie zeigt die spezifischen Log-Templates, die den Alarm ausgelöst haben, sowie die Merkmale, die am meisten zur Entscheidung beigetragen haben. Diese Transparenz ist entscheidend, da sie einem Menschen ermöglicht, dem Urteil der Maschine zu vertrauen und den Kontext der Bedrohung zu verstehen. Das gesamte System wurde so gebaut, dass es leichtgewichtig und erklärbar ist, womit es die häufigen Beschwerden adressiert, dass leistungsstarke Sicherheitstools zu teuer in der Ausführung oder zu undurchsichtig im Verständnis seien.

Die Studie bestätigt, dass es möglich ist, eine hocheffektive Sicherheitsengine zu bauen, ohne auf massive Rechenleistung oder riesige, beschriftete Datensätze bekannter Angriffe angewiesen zu sein. Indem sie sich auf unüberwachtes Lernen konzentrierten, bei dem das System die Form des normalen Verhaltens lernt, und indem sie mehrere Erkennungsmethoden kombinierten, schuf das Team ein Werkzeug, das sowohl präzise als auch verständlich ist. Sie demonstrierten, dass ein System mit normalen Daten trainiert, durch sorgfältige Kalibrierung abgestimmt und eingesetzt werden kann, um fast jede Anomalie in einem massiven Log-Strom zu erfassen. Die Arbeit erhebt nicht den Anspruch, jedes Sicherheitsproblem zu lösen, und räumt ein, dass sie derzeit am besten mit dieser spezifischen Art von Log-Daten funktioniert. Sie bietet jedoch ein klares, funktionierendes Beispiel dafür, wie man von reaktiver Regelprüfung zu proaktiver, intelligenter Anomalieerkennung übergeht, die von den Menschen, die sie nutzen müssen, verstanden und anvertraut werden kann.