Technische Zusammenfassung: AllLinLog – Log-basierte Anomalieerkennung mit linearer Self-Attention

1. Problemstellung

Da sich vernetzte Systeme ausdehnen, wächst die Angriffsfläche für Cyber-Bedrohungen, was eine rechtzeitige Erkennung von Anomalien in Systemprotokollen (Logs) entscheidend macht. Während die logbasierte Anomalieerkennung ein Standardansatz ist, stehen bestehende Methoden vor zwei primären Herausforderungen:

1. Abhängigkeit vom Log-Parsing: Die meisten aktuellen Ansätze erfordern einen Log-Parsing-Schritt, um unstrukturierte Rohprotokolle in strukturierte Ereignistemplates zu transformieren. Dieser Prozess ist anfällig für Fehler, wie etwa die Fehlinterpretation von Parametern als Schlüsselwörter oder das Zusammenführen distinkter Nachrichten, was zu semantischen Missverständnissen und dem Verlust von Kontextdetails führt. Darüber hinaus erfordern sich entwickelnde Softwaresysteme häufige Neuschulungen der Parser, um neue Templates handhaben zu können.
2. Rechenkomplexität langer Sequenzen: Um vollständige semantische Informationen zu bewahren, müssen Modelle die Rohlogs direkt verarbeiten, was zu extrem langen Eingabesequenzen (oft tausende Token) führt. Standardmäßige Transformer-basierte Modelle, die auf Multi-Head-Self-Attention basieren, leiden unter einer quadratischen Rechenkomplexität ($O(n^2)$) relativ zur Sequenzlänge. Dies zwingt Modelle dazu, Eingaben zu kürzen oder Merkmale zu verwerfen, was potenziell wertvolle Anomalieindikatoren verlieren kann.

2. Methodik: AllLinLog

Die Autoren schlagen AllLinLog (All Contextual Information with Linear Self-Attention Encoder) vor, ein gestrafftes Framework, das darauf ausgelegt ist, Anomalien direkt auf Rohsystemprotokollen ohne Parsing durchzuführen. Das Modell besteht aus drei Kernkomponenten:

A. Datenverarbeitung

• Sessions-Konstruktion: Rohprotokolle werden mittels Session ID Grouping (für Datensätze mit eindeutigen Identifikatoren wie HDFS) oder Sliding Window Grouping (für Datensätze ohne klare IDs wie BGL und Thunderbird) in Sessions gruppiert.
• Tokenisierung: Anstatt einen Log-Parser zu verwenden, nutzt das Modell den GPT-4 BPE (Byte Pair Encoding) Tokenizer. Dieser Byte-Level Subword-Tokenizer konvertiert Rohlog-Nachrichten in Token-IDs und bewältigt so effektiv Out-of-Vocabulary (OOV) Probleme, indem er unbekannte Wörter in Subword-Einheiten zerlegt (z. B. "crond" $\rightarrow$ "cr", "ond").
• Positions-Embeddings: Um zeitliche Abhängigkeiten zu erfassen, werden zählbasierte absolute Positions-Embeddings zu den Token-Vektoren hinzugefügt.
• Umgang mit Klassenimbalance: In Anerkennung der starken Imbalance zwischen regulären und anomalen Sessions in Log-Datensätzen wendet das Modell vor dem Embedding Random Oversampling (ROS) auf die Rohdaten an. Das Ziel-Anomalieverhältnis wird während des Trainings auf 40 % gesetzt, um eine unverzerrte Klassifizierung zu gewährleisten.

B. Linear Self-Attention (LSA) Encoder

Um die Ineffizienz bei der Verarbeitung langer Sequenzen zu adressieren, ersetzt AllLinLog den standardmäßigen quadratischen Self-Attention-Mechanismus durch einen Linear Self-Attention Encoder.

• Low-Rank-Approximation: Die Methode nutzt die Low-Rank-Natur der Attention-Matrix. Anstatt die Attention über den vollen $n \times n$ Raum zu berechnen, führt sie zwei lernbare Projektionsmatrizen ($E$ und $F$) ein, um die Key- ($K$) und Value-Sequenzen ($V$) in eine niedrigere Dimension $k$ (wobei $k \ll n$) zu komprimieren.
• Reduktion der Komplexität: Dies transformiert die Rechenkomplexität von $O(n^2)$ zu $O(nk)$, wodurch die Zeit- und Speicheranforderungen im Verhältnis zur Sequenzlänge effektiv linearisiert werden.
• Effizienz der Parameter: Das Modell nutzt Layer-wise Parameter Sharing, wobei eine einzige Projektionsmatrix $E$ über alle Layer und Heads hinweg verwendet wird, um den Speicherbedarf weiter zu reduzieren.

C. Klassifizierungsschicht

Die Encoder-Outputs werden mittels Average Pooling über die Sequenzlänge aggregiert, um eine Session-Level-Repräsentation zu generieren. Dieser Vektor wird durch eine lineare Schicht geleitet, um Logits für die binäre Klassifizierung (regulär vs. anomal) zu erzeugen. Das Modell verwendet eine gewichtete Cross-Entropy-Loss-Funktion, um Fehlklassifizierungen der Minderheitsklasse (anomal) weiter zu sanktionieren.

3. Wichtigste Beiträge

• Parser-freie Architektur: AllLinLog eliminiert die Notwendigkeit von Log-Parsern und vermeidet dadurch semantische Fehler sowie die Bewahrung aller inhärenten Kontextinformationen (einschließlich dynamischer Parameter) der Rohlogs.
• Lineare Komplexität für lange Sequenzen: Durch die Integration eines linearen Self-Attention-Encoders ermöglicht das Modell die Verarbeitung vollständiger Log-Sessions (tausende Token) ohne Kürzung, wodurch die Skalierbarkeitseinschränkungen standardmäßiger Transformer überwunden werden.
• Robustheit gegenüber OOV: Die Verwendung der GPT-4 BPE Tokenisierung stellt sicher, dass unbekannte technische Begriffe und Parameter effektiv gehandhabt werden, ohne dass ein vordefiniertes Vokabular oder Parsing-Regeln erforderlich sind.
• Effizienz: Die Architektur reduziert sowohl die Inferenzzeit als auch den Speicherverbrauch im Vergleich zu Standard-Transformer-Encodern signifikant, was sie für ressourcenbeschränkte Umgebungen geeignet macht.

4. Experimentelle Ergebnisse

Das Modell wurde auf den öffentlichen Datensätzen BGL (Blue Gene/L) und HDFS (Hadoop Distributed File System) evaluiert, wobei Vergleiche mit State-of-the-Art-Baselines wie DeepLog, LogCluster, LogAnomaly und FSMFLog angestellt wurden.

• Erkennungsgenauigkeit: AllLinLog erreichte die höchste Performance über alle Metriken hinweg. Auf dem HDFS-Datensatz erreichte es eine Precision von 0,997, einen Recall von 0,995 und einen F1-Score von 0,996. Auf dem BGL-Datensatz erzielte es nahezu perfekte Werte mit einer Precision, einem Recall und einem F1-Score von 0,999. Diese Ergebnisse übertrafen die beste Baseline (FSMFLog), die F1-Scores von 0,966 (HDFS) und 0,961 (BGL) erreichte.
• Ablationsstudien:
  • Low-Rank-Faktor ($k$): Ein optimaler Wert von $k=32$ wurde identifiziert, der einen F1-Score von 0,99888 lieferte.
  • Encoder-Tiefe: Ein einzelner Encoder-Layer erwies sich als optimal, da er Leistung und Komplexität ausbalanciert.
  • LSA vs. Standard-Transformer: Das Ersetzen des LSA-Encoders durch einen Standard-Transformer führte zu einer marginalen Steigerung des F1-Scores (von 0,99888 auf 0,99967), jedoch zu erheblichen Kosten bei der Effizienz.
• Effizienz-Benchmarks:
  • Speicher: Wenn die Batch-Größe von 1 auf 16 erhöht wird, wuchs der Speicherverbrauch des LSA-Encoders nur um 202,61 MB, während der des Standard-Transformers um 2.931,48 MB anstieg.
  • Inferenzzeit: Der LSA-Encoder demonstrierte eine überlegene Skalierbarkeit. Eine Erhöung der Batch-Größe von 1 auf 16 erhöhte die Inferenzzeit für LSA um das 4,9-fache, verglichen mit dem 10,8-fachen des Standard-Transformers.
  • Durchsatz: Bei einer Batch-Größe von 16 erreichte der LSA-Encoder 4.032,52 Samples/Sek, was etwa dem 12,9-fachen des Durchsatzes des Standard-Transformers (312,02 Samples/Sek) entspricht.

5. Bedeutung und Limitationen

Das Paper postuliert, dass AllLinLog einen praktischen Vorteil für die logbasierte Anomalieerkennung bietet, indem es hohe Genauigkeit mit Recheneffizienz kombiniert. Durch die Entfernung der Abhängigkeit von unvollkommenen Log-Parsern und die Nutzung von linearer Self-Attention bewahrt das Modell den vollständigen semantischen Kontext und bleibt gleichzeitig skalierbar für lange Sequenzen.

Die Autoren räumen eine Einschränkung hinsichtlich des BPE-Tokenizers ein: Während dieser OOV-Probleme löst, kann er spezifische technische Parameter (z. B. IP-Adressen) in Sub-Words zerlegen, was potenziell die kontextuellen Informationen verzerrt und die Sequenzlänge erhöht. Die Autoren schlagen vor, dass zukünftige Arbeiten auf die Entwicklung von Byte-Level-Tokenisierungs-Methodologien fokussieren sollten, die in der Lage sind, Log-Nachrichten zu segmentieren, ohne solche Parameter in Sub-Words zu zerlegen, um die Integrität der Merkmale weiter zu bewahren.