Technische Samenvatting: AllLinLog – Log-gebaseerde anomaliedetectie met lineaire zelf-aandacht

1. Probleemstelling

Naarmate onderling verbonden systemen groeien, vergroot het aanvalsoppervlak voor cyberdreigingen, waardoor tijdige detectie van anomalieën in systeemlogs cruciaal wordt. Hoewel log-gebaseerde anomaliedetectie een standaardmethode is, kampen bestaande methoden met twee primaire uitdagingen:

1. Afhankelijkheid van Log-parsing: De meeste huidige benaderingen vereisen een log-parsing stap om ongestructureerde ruwe logs te transformeren naar gestructureerde event-templates. Dit proces is foutgevoelig, bijvoorbeeld door het verkeerd interpreteren van parameters als trefwoorden of het samenvoegen van verschillende berichten, wat leidt tot semantische misverstanden en het verlies van contextuele details. Bovendien vereisen evoluerende softwaresystemen frequente hertraining van parsers om nieuwe templates te kunnen afhandelen.
2. Computationele Complexiteit van Lange Sequenties: Om volledige semantische informatie te behouden, moeten modellen de ruwe logs direct verwerken, wat resulteert in extreem lange inputsequenties (vaak duizenden tokens). Standaard Transformer-gebaseerde modellen, die vertrouwen op multi-headed self-attention, lijden aan een kwadratische computationele complexiteit ($O(n^2)$) ten opzichte van de sequentielengte. Dit dwingt modellen om inputs te inkorten of kenmerken weg te gooien, wat waardevolle indicatoren van anomalieën kan doen verloren gaan.

2. Methodologie: AllLinLog

De auteurs stellen AllLinLog (All Contextual Information with Linear Self-Attention Encoder) voor, een gestroomlijnd framework ontworpen om anomaliedetectie direct op ruwe systeemlogs uit te voeren zonder parsing. Het model bestaat uit drie kerncomponenten:

A. Dataprocessing

• Sessieconstructie: Ruwe logs worden gegroepeerd in sessies met behulp van ofwel Session ID Grouping (voor datasets met unieke identificaties zoals HDFS) of Sliding Window Grouping (voor datasets zonder duidelijke ID's zoals BGL en Thunderbird).
• Tokenisatie: In plaats van een log-parser te gebruiken, maakt het model gebruik van de GPT-4 BPE (Byte Pair Encoding) tokenizer. Deze byte-niveau subword tokenizer zet ruwe logberichten om in token-ID's, waardoor Out-of-Vocabulary (OOV) problemen effectief worden afgehandeld door onbekende woorden op te splitsen in subword-eenheden (bijv. "crond" $\rightarrow$ "cr", "ond").
• Position Embeddings: Om temporele afhankelijkheden te vangen, worden counting-gebaseerde absolute position embeddings toegevoegd aan de token-vectoren.
• Afhandeling van Class Imbalance: Erkenning van de ernstige onbalans tussen reguliere en anomale sessies in log-datasets, past het model Random Oversampling (ROS) toe op de ruwe data vóór embedding. De doelstelling voor de anomalie-ratio wordt ingesteld op 40% tijdens de training om ongeëvenaaste classificatie te garanderen.

B. Linear Self-Attention (LSA) Encoder

Om de inefficiëntie bij het verwerken van lange sequenties aan te pakken, vervangt AllLinLog de standaard kwadratische self-attention mechanisme door een Linear Self-Attention encoder.

• Low-Rank Approximatie: De methode maakt gebruik van de low-rank aard van de attention-matrix. In plaats van de aandacht te berekenen over de volledige $n \times n$ ruimte, introduceert het twee leerbare projectiematrices ($E$ en $F$) om de Key ($K$) en Value ($V$) sequenties te comprimeren naar een lagere dimensie $k$ (waarbij $k \ll n$).
• Complexiteitsreductie: Dit transformeert de computationele complexiteit van $O(n^2)$ naar $O(nk)$, wat de tijd- en ruimtevereisten effectief lineariseert ten opzichte van de sequentielengte.
• Parameter Efficiëntie: Het model maakt gebruik van layer-wise parameter sharing, waarbij een enkele projectiematrix $E$ wordt gebruikt over alle lagen en heads om de geheugenvoetafdruk verder te verkleinen.

C. Classificatielaag

De encoder-outputs worden geaggregeerd met behulp van average pooling over de sequentielengte om een sessie-niveau representatie te genereren. Deze vector wordt door een lineaire laag gestuurd om logits te produceren voor binaire classificatie (regulier versus anomaal). Het model gebruikt een weighted cross-entropy loss function om misclassificaties van de minderheidsklasse (anomale klasse) verder te bestraffen.

3. Belangrijkste Bijdragen

• Parser-vrije Architectuur: AllLinLog elimineert de noodzaak voor log-parsers, waardoor semantische fouten worden vermeden en alle inherente contextuele informatie (inclus inclusief dynamische parameters) van de ruwe logs behouden blijft.
• Lineaire Complexiteit voor Lange Sequenties: Door een linear self-attention encoder te integreren, stelt het model de verwerking van volledige log-sessies (duizenden tokens) mogelijk zonder inkorting, waarmee de schaalbaarheidsbeperkingen van standaard Transformers worden overwonnen.
• Robuustheid tegen OOV: Het gebruik van GPT-4 BPE tokenisatie zorgt ervoor dat onbekende technische termen en parameters effectief worden afgehandeld zonder dat een vooraf gedefinieerde vocabulaire of parsing-regels nodig zijn.
• Efficiëntie: De architectuur vermindert zowel de inferentietijd als het geheugengebruik aanzienlijk vergeleken met standaard Transformer encoders, waardoor het geschikt is voor omgevingen met beperkte middelen.

4. Experimentele Resultaten

Het model werd geëvalueerd op de publieke datasets BGL (Blue Gene/L) en HDFS (Hadoop Distributed File System), met vergelijkingen met state-of-the-art baselines inclusief DeepLog, LogCluster, LogAnomaly en FSMFLog.

• Detectienauwkeurigheid: AllLinLog behaalde de hoogste prestaties over alle metrieken. Op de HDFS dataset bereikte het een Precision van 0,997, een Recall van 0,995 en een F1-score van 0,996. Op de BGL dataset behaalde het bijna perfecte scores met een Precision, Recall en F1-score van 0,999. Deze resultaten presteerden beter dan de beste baseline (FSMFLog), die F1-scores van 0,966 (HDFS) en 0,961 (BGL) behaalde.
• Ablatie-studies:
  • Low-Rank Factor ($k$): Een optimale waarde van $k=32$ werd geïdentificeerd, wat een F1-score van 0,99888 opleverde.
  • Encoder Diepte: Een enkele encoder-laag werd als optimaal beschouwd, waarbij een balans werd gevonden tussen prestaties en complexiteit.
  • LSA vs. Standaard Transformer: Het vervangen van de LSA encoder door een standaard Transformer resulteerde in een marginale F1-score toename (van 0,99888 naar 0,99967) maar tegen een aanzienlijke kosten voor efficiëntie.
• Efficiëntie Benchmarks:
  • Geheugen: Wanneer de batchgrootte werd verhoogd van 1 naar 16, groeide het geheugengebruik van de LSA encoder met slechts 202,61 MB, terwijl het geheugengebruik van de standaard Transformer met 2.931,48 MB steeg.
  • Inferentietijd: De LSA encoder demonstreerde superieure schaalbaarheid. Het verhogen van de batchgrootte van 1 naar 16 verhoogde de inferentietijd met 4,9x voor LSA, vergeleken met 10,8x voor de standaard Transformer.
  • Doorvoersnelheid (Throughput): Bij een batchgrootte van 16 bereikte de LSA encoder 4.032,52 samples/sec, ongeveer 12,9 keer de doorvoersnelheid van de standaard Transformer (312,02 samples/sec).

5. Betekenis en Beperkingen

Het artikel stelt dat AllLinLog een praktisch voordeel biedt voor log-gebaseerde anomaliedetectie door een hoge nauwkeurigheid te combineren met computationele efficiëntie. Door de afhankelijkheid van imperfecte log-parsers te verwijderen en lineaire zelf-aandacht te gebruiken, behoudt het model de volledige semantische context terwijl het schaalbaar blijft voor lange sequenties.

De auteurs erkennen een beperking met betrekking tot de BPE tokenizer: hoewel het OOV-problemen oplost, kan het specifieze technische parameters (bijv. IP-adressen) in sub-words opdelen, wat potentieel de contextuele informatie vertekent en de sequentielengte vergroot. De auteurs suggereren dat toekomstig werk zich moet richten op het ontwikkelen van byte-niveau tokenisatie-methodologieën die in staat zijn om logberichten te segmenteren zonder dergelijke parameters in sub-words op te breken, om zo de integriteit van kenmerken verder te bewaren.