💻 computer science

LogSemFuse: Semantic Evidence Fusion for Explainable Log Anomaly Detection

LogSemFuse ist ein evidenzgestütztes Plug-in-Framework, das bestehende Log-Anomalie-Detektoren verbessert, indem es Backbone-Vorhersagen mit wiederverwendbaren semantischen Evidenzen aus lokalen Mustern, LLM-Reasoning und ausführbaren Regeln fusioniert, um die Detektionsgenauigkeit zu erhöhen und handlungsorientierte, erklärbare Erkenntnisse bei minimalem Overhead zur Laufzeit bereitzustellen.

Ursprüngliche Autoren: Hassan Jabri, Zeyang Ma, Zhijie Wang, Tse-Hsun Chen

Veröffentlicht 2026-07-07

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hassan Jabri, Zeyang Ma, Zhijie Wang, Tse-Hsun Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Sicherheitswachmann für eine riesige, geschäftige Stadt (ein modernes Softwaresystem). Jeden Tag strömen Millionen von Menschen (Log-Nachrichten) durch die Tore und schreien laut heraus, was sie gerade tun. Ihr Job ist es, die Unruhestifter (Anomalien) zu entdecken, bevor sie eine Katastrophe verursachen.

Lange Zeit hatten Sie ein hochmodernes Überwachungssystem (bestehende KI-Detektoren wie DeepLog oder LogBERT). Diese Kamera ist großartig darin, Gesichter zu zählen und Muster zu erkennen. Wenn jemand eine Minute lang 50 Mal durch die Tür läuft, schreit die Kamera: „ALARM!“ Aber das Problem ist: Die Kamera gibt Ihnen nur ein rotes Licht und einen Score. Sie sagt Ihnen nicht, warum sie Alarm schlägt. Ist diese Person ein Dieb? Ist sie nur in Eile? Ist sie gestürzt? Sie müssen selbst das Rohmaterial der Videoaufnahmen anstarren, um herauszufinden, was los ist – das ist langsam und ermüdend.

Vor kurate wurde vorgeschlagen, einen superintelligenten Detektiv (ein Large Language Model, oder LLM) einzustellen, der das Video beobachtet. Dieser Detektiv ist großartig darin, den Kontext zu verstehen, und kann Ihnen sagen: „Diese Person rennt, weil sie eine Tasche stiehlt.“ Aber es gibt einen Haken: Für jeden einzelnen Menschen, der durch das Tor geht, einen Detektiv einzustellen, ist unglaublich teuer und langsam. Zudem kann es vorkommen, dass der Detektiv verwirrt ist oder Geschichten erfindet, die gar nicht im Video zu sehen sind.

Hier kommt LogSemFuse ins Spiel.

Die Autoren dieser Arbeit haben ein „Plug-in“-System entwickelt, das als intelligenter Assistent für Ihre bestehende Sicherheitskamera fungiert. Es ersetzt die Kamera nicht; es verleiht ihr lediglich eine Superkraft: die Fähität, sich selbst anhand von Beweisen zu erklären.

So funktioniert LogSemFuse mithilfe von drei einfachen Werkzeugen:

1. Der „Muster-Erkenner“ (Lokale Ereignismuster)

Dies ist wie eine Liste von „verdächtigen Verhaltensweisen“, die Sie aus vergangenen Verbrechen aufgeschrieben haben.

Wie es funktioniert: Das System betrachtet die Rohdaten und findet kurze, spezifische Sequenzen, die immer dann auftreten, wenn etwas schiefgeht. Zum Beispiel: „Wenn jemand versucht, eine Tür zu öffnen, dann sofort versucht, ein Fenster einzuschlagen und dann wegrennt“, ist das ein schlechtes Muster.
Die Analogie: Es ist wie ein Spickzettel, auf dem steht: „Wenn du diese drei spezifischen Schritte direkt nacheinander siehst, ist es definitiv ein Verbrechen.“ Dieser Teil ist schnell, kostenlos und benötigt keinen teuren Detektiv.

2. Das „Regelwerk“ (Cluster-basierte Regeln)

Manchmal sind Verbrechen komplexer. Sie passieren nicht in einer geraden Linie; sie passieren in einem chaotischen Verbund.

Wie es funktioniert: Das System gruppiert ähnliche vergangene Verbrechen zusammen (Clustering) und bittet den superintelligenten Detektiv, ein „Regelwerk“ für jede Gruppe zu schreiben. Der Detektiv sagt: „In dieser Gruppe von Verbrechen hinterlassen die Übeltäter immer eine Notiz, aber sie schließen die Hintertür niemals ab.“ Das System wandelt dies in eine strikte Regel um.
Die Analogie: Anstatt den Detektiv zu bitten, jeden neuen Menschen zu beobachten, geben Sie dem Sicherheitswachmann ein Regelbuch: „Wenn du eine Notiz UND eine offene Hintertür siehst, schlage Alarm.“ Der Detektiv schreibt das Buch nur einmal (während des Trainings), und der Wachmann nutzt es für immer.

3. Der „Detektiv auf Abruf“ (LLM-Argumentation)

Was passiert, wenn eine neue, seltsame Situation auftritt, die weder auf Ihrem Spickzettel noch in Ihrem Regelwerk steht?

Wie es funktioniert: Das System ruft den superintelligenten Detektiv nur für genau diese spezifische, verwirrende Situation. Der Detektiv betrachtet die Ereignisse, erklärt, was gerade passiert, und gibt einen Konfidenzwert an. Entscheidend ist, dass das System diese Erklärung speichert. Wenn dieselbe seltsame Situation später erneut auftritt, zieht das System einfach die gespeicherte Erklärung aus seiner Tasche, anstatt den Detektiv erneut zu rufen.
Die Analogie: Es ist, als würde man einen Berater für ein einzigartiges Problem anrufen, dessen Rat aufschreiben und dann ablegen, damit man ihn für dasselbe Problem nie wieder bezahlen muss.

Alles zusammengeführt

Wenn ein neuer „Mensch“ (eine Log-Session) durch das Tor geht:

Die Kamera (die ursprüngliche KI) wirft einen Blick darauf und gibt einen Score ab.
Der Muster-Erkenner prüft den Spickzettel.
Das Regelwerk prüft die strikten Regeln.
Der Detektiv auf Abruf wird nur dann gerufen, wenn die ersten drei unsicher sind oder wenn die Situation neu ist.

All diese Beweise werden kombjeminiert. Wenn irgendeiner von ihnen sagt: „Das sieht schlecht aus“, löst das System Alarm aus. Aber viel wichtiger: Es überreicht Ihnen einen Bericht, der besagt: „Wir haben dies gemeldet, weil: (1) Sie das ‚Tür-Fenster-Weglaufen‘-Muster zeigten, UND (2) Sie eine Notiz hinterließen, aber die Tür nicht abschlossen, UND (3) der Detektiv bestätigt hat, dass dies wie ein Diebstahl aussieht.“

Warum ist das eine große Sache?

Die Autoren haben dies auf drei verschiedenen „Städten“ (Datensätze: HDFS, BGL und Liberty) mit vier verschiedenen Sicherheitskameras getestet.

Bessere Erkennung: Es hat fast alle Kriminellen erwischt, die die ursprünglichen Kameras übersehen hatten (Wiederherstellung von 98,8 % der False Negatives).
Bessere Erklärungen: Als sie menschliche Experten baten, die Erklärungen zu lesen, bevorzugten die Experten die Berichte von LogSemFuse gegenüber den Rohberichten des Detektivs. Die Experten fanden die Erklärungen von LogSemFuse klarer, logischer und besser mit den tatsächlichen Ereignissen verknüpft.
Günstig und Schnell: Da es die Spickzettel und Regelwerke wiederverwendet, muss es den teuren Detektiv nicht für jeden einzelnen Menschen rufen. Es fügt nur eine winzige, stabile Menge an Zeit zum Prozess hinzu.

Kurz gesagt: LogSemFuse nimmt eine kluge, aber stumme Sicherheitskamera und gibt ihr eine Stimme, ein Notizbuch voller Regeln und eine Möglichkeit, nur bei Bedarf um Hilfe zu bitten. Es macht das System intelligenter, schneller und für Menschen viel leichter vertrauenswürdig.

Technisches Resümee: LogSemFuse

Problemstellung

Die Anomalieerkennung in Protokollen (Logs) ist für die Überwachung moderner Softwaresysteme essenziell, doch bestehende modellbasierte Detektoren stehen vor zwei primären Einschränkungen. Erstens erreichen sie zwar eine starke Erkennungsleistung, geben jedoch typischerweise nur Anomalie-Scores oder binäre Labels aus, ohne die operative Semantik hinter der Entscheidung zu liefern. Dieser Mangel an Evidenz zwingt Operatoren dazu, Protokolle manuell zu inspizieren, um zu verstehen, warum eine Sitzung als anomal markiert wurde, was die effiziente Diagnose und Reaktion auf Vorfälle behindert. Zweitens können Large Language Models (LLMs) zwar reiche Log-Semantiken wiederherstellen, ihr Einsatz als eigenständige Detektoren ist jedoch oft kostspielig, anfällig für Variabilität bei der Inferenz und bildet Erklärungen möglicherweise nicht auf Basis der spezifischen, der Entscheidung zugrunde liegenden Evidenz ab. Darüber hinaus ist das direkte Prompten von LLMs für jede einzelne Sitzung rechenintensiv und schwer skalierbar.

Die zentrale Herausforderung besteht darin, wie bestehende, leistungsstarke Backbone-Detektoren mit interpretierbarer semantischer Evidenz und Erklärungen angereichert werden können, ohne deren Trainings-Pipelines zu ersetzen oder prohibitive Laufzeitkosten zu verursachen.

Methodik: Das LogSemFuse-Framework

LogSemFuse wird als ein Plug-in-Rahmenwerk zur semantischen Augmentierung vorgeschlagen. Es ersetzt nicht den Backbone-Detektor und verändert dessen Trainingsziel nicht. Stattdessen operiert es in der Inferenzphase, indem es die Vorhersage des Backbones mit strukturierter semantischer Evidenz fusioniert, die aus drei distinkten Modulen abgelebt wird. Das Framework unterhält eine Knowledge Bank ( $K$ ), die während des Trainings aufgebaut wird und wiederverwendbare Artefakte speichert, um den LLM-Einsatz während der Inferenz zu minimieren.

1. Konstruktion der Evidenz während der Trainingszeit

Vor der Inferenz verarbeitet LogSemFuse die Trainingsdaten, um zwei Arten von wiederverwendbarer Evidenz aufzubauen:

Lokale Event-Pattern-Bank ( $K_{ngram}$ ): Das System extrahiert diskriminative Unigramme, Bigramme und Trigramme aus EventId-Sequenzen in gelabelten anomalen Trainingssitzungen. Diese Muster werden nach dem „Lift“ (anomale Unterstützung im Verhältnis zur normalen Unterstützung) bewertet und validiert, um sicherzustellen, dass sie nicht übermäßig häufig in normalen Sitzungen auftreten. Diese Muster liefern deterministische, interpretierbare Evidenz für kurze, zusammenhängende anomale Verhaltensweisen (z. B. wiederholte Retries oder Exception-Sequenzen).
Cluster-basierte Regel-Bank ( $K_{rule}$ ): Anomale Trainingssitzungen werden mittels HDBSCAN basierend auf ihren Event-Verteilungen geclustert. Für jedes Cluster wird ein LLM angewiesen, das gemeinsame operative Verhalten zusammenzufassen und strukturierte, ausführbare Regeln zu induzieren. Diese Regeln nutzen Primitiven wie contains_ngram, ordered_subset, min_count und absent_within. Die resultierenden Regeln erfassen breitere, nicht-zusammenhängende operative Muster und werden für das deterministische Matching zur Inferenzzeit gespeichert.

2. Semantische Augmentierung zur Inferenzzeit

Für eine eingehende Log-Sitzung $x$ aggregiert LogSemFuse vier binäre Signale, um eine endgültige Entscheidung und Erklärung zu erzeugen:

Backbone-Signal ( $s_b$ ): Der ursprüngliche Anomalie-Score oder das Label des Backbone-Detektors (z. B. DeepLog, LogBERT).
Lokales Pattern-Signal ( $s_n$ ): Bestimmt durch den Abgleich der EventId-Sequenz der Sitzung gegen $K_{ngram}$ .
Regel-Signal ( $s_r$ ): Bestimmt durch die Ausführung der Regeln in $K_{rule}$ gegen die Sitzung.
LLM-Semantisches Reasoning-Signal ( $s_\ell$ ): Ein LLM analysiert die Sitzung, um eine Hochrisiko-Vorhersage, einen Konfidenz-Score und eine Begründung (erwartetes vs. beobachtetes Verhalten) bereitzustellen. Um die Kosten zu kontrollieren, wird das LLM nur für neue Sitzungen aufgerufen; die Ergebnisse werden anhand der Sitzungs-ID zwischengespeichert, um eine Wiederverwendung zu ermöglichen.

Fusion und Erklärung:
Ein Fusionsoperator (ausgewählt aus OR-, AND- oder Vote- $k$ -Policies basierend auf Validierungsdaten) kombiniert diese vier Signale, um das endgültige Anomalie-Label zu bestimmen. Das System generiert anschließend eine evidenzbasierte Erklärung, indem es die beitragenden Signale zurückverfolgt: gematchte lokale Muster, ausgelöste Cluster-basierte Regeln (mit den zugehörigen Cluster-Erklärungen) und das LLM-Reasoning.

Wichtigste Beiträge

Das Paper leistet die folgenden spezifischen Beiträge:

Plug-in-Framework: Eine Methode, um bestehende Log-Detektoren mit ausführbarer semantischer Evidenz zu erweitern, ohne deren ursprüngliche Trainings- oder Inferenz-Pipelines zu modifizieren.
Design der Knowledge Bank: Ein Mechanismus zum Speichern von wiederverwendbaren lokalen Event-Mustern und Cluster-basierten Regeln sowie zwischengespeichertem LLM-Reasoning auf Sitzungsebene, was eine effiziente, kostengünstige Wiederverwendung ermöglicht.
Evidenzbasierte Erklärung: Ein Ansatz, der Anomalie-Entscheidungen unter Verwendung von ausgelösten Mustern, Regeln und LLM-Rationales erklärt, anstatt auf Post-hoc-Feature-Attributionen zu setzen.
Empirische Validierung: Eine umfassende Evaluierung über drei Datensätze (HDFS, BGL, Liberty) und vier Backbone-Detektoren, die eine verbesserte Erkennungsleistung und Erklärungsqualität bei moderatem Overhead demonstriert.

Evaluierungsergebnisse

Das Framework wurde auf den Datensätzen HDFS, BGL und Liberty unter Verwendung von DeepLog, LogAnomaly, LogBERT und NeuralLog als Backbones evaluiert.

Erkennungsleistung: LogSemFuse verbesserte den F1-Score für jeden nicht-perfekten Baseline-Detektor. Es konnte 98,8 % der False Negatives des Backbones über die Testsets hinweg rekonstruieren. Bemerkenswerterweise blieb die perfekte Leistung in Fällen erhalten, in denen der Backbone bereits optimal war (z. B. LogAnomaly auf Liberty).
Effizienz: Das Framework fügt einen moderaten und stabilen Inferenz-Overhead hinzu (zwischen ~2,3 und 5,8 Sekunden, abhängig vom Datensatz), da es sich auf lokales Pattern-Matching und die Ausführung von Regeln stützt, statt wiederholt LLM-Aufrufe zu tätigen. Der LLM-Token-Verbrauch wird durch die Wiederverwendung von zwischengespeicherten Ergebnissen und der Knowledge Bank amortisiert.
Human Evaluation: Eine Nutzerstudie mit 14 Teilnehmern (darunter Entwickler und Forscher) zeigte, dass die Erklärungen von LogSemFuse im Vergleich zu direkten LLM-Erklärungen über alle Metriken hinweg (logische Kohärenz, technische Fundiertheit, Klarheit usw.) signifikant besser bewertet wurden. LogSemFuse erreichte eine mittlere Gesamtqualitätsbewertung von 4,13 im Vergleich zu 3,06 für die Baseline-LLM.
Ablationsstudien: Das Entfernen der lokalen Event-Muster verursachte die signifikanteste Leistungsverschlechterung, was deren kritische Rolle bei der Erkennung spezifischer Anomalie-Indikatoren unterstreicht. Die Cluster-basierte Regel-Bank lieferte wiederverwendbare Evidenz für Erklärungen, während das LLM-Reasoning gezielte Gewinne in schwierigen Konfigurationen bot.

Bedeutung und Ansprüche

Das Paper behauptet, dass LogSemFuse zeigt, dass semantische Augmentierung eine praktikable Strategie ist, um bestehende Log-Anomalie-Detektoren zu stärken. Indem das Framework LLMs und Regel-Induktion als Quellen für wiederverwendbare Evidenz statt als eigenständige Detektoren behandelt, erreicht es:

Verbesserte Effektivität: Rekonstruktion verpasster Anomalien, die sequenzbasierte Modelle aufgrund spärlicher oder verdünnter Signale übersehen.
Interpretierbarkeit: Bereitstellung von konkreten, evidenzbasierten Erklärungen (Muster, Regeln und Rationales) für Operatoren anstelle von opaken Scores.
Skalierbarkeit: Aufrechterhaltung niedriger und stabiler Laufzeitkosten durch das Caching semantischer Artefakte und die Vermeidung von pro Sitzung erfolgender LLM-Inferenz.

Die Autoren positionieren LogSemFuse nicht als Ersatz für traditionelle Detektoren oder als ein neues LLM-zentriertes Paradigma, sondern als eine vereinheitlichte Methode, um die Lücke zwischen hochperformanter Detektion und handlungsorientiertem, semantischem Verständnis in der Software-Zuverlässigkeitstechnik zu schließen.