Riepilogo Tecnico: AllLinLog – Rilevamento di Anomalie basato su Log con Self-Attention Lineare

1. Definizione del Problema

Man mano che i sistemi interconnessi si espandono, la superficie di attacco per le minacce informatiche cresce, rendendo critica la tempestività nel rilevamento delle anomalie nei log di sistema. Sebbene il rilevamento di anomalie basato sui log sia un approccio standard, i metodi esistenti affrontano due sfide primarie:

1. Dipendenza dal Parsing dei Log: La maggior parte degli approcci attuali richiede una fase di parsing dei log per trasformare i log grezzi non strutturati in template di eventi strutturati. Questo processo è soggetto a errori, come l'interpretazione errata di parametri come parole chiave o l'unione di messaggi distinti, il che porta a malintesi semantici e alla perdita di dettagli contestuali. Inoltre, l'evoluzione dei sistemi software richiede il riaddestramento frequente dei parser per gestire nuovi template.
2. Complessità Computazionale di Sequenze Lunghe: Per preservare l'informazione semantica completa, i modelli devono elaborare direttamente i log grezzi, il che risulta in sequenze di input estremamente lunghe (spesso migliaia di token). I modelli standard basati su Transformer, che si affidano alla multi-head self-attention, soffrono di una complessità computazionale quadratica ($O(n^2)$) rispetto alla lunghezza della sequenza. Ciò costringe i modelli a troncare gli input o a scartare le caratteristiche, perdendo potenzialmente preziosi indicatori di anomalia.

2. Metodologia: AllLinLog

Gli autori propongono AllLinLog (All Contextual Information with Linear Self-Attention Encoder), un framework snello progettato per eseguire il rilevamento di anomalie direttamente sui log di sistema grezzi senza parsing. Il modello è composto da tre componenti principali:

A. Elaborazione dei Dati

• Costruzione delle Sessioni: I log grezzi vengono raggruppati in sessioni utilizzando il Raggruppamento per Session ID (per dataset con identificatori unici come HDFS) o il Raggruppamento tramite Finestra Scorrente (per dataset senza ID chiari come BGL e Thunderbird).
• Tokenizzazione: Invece di utilizzare un parser di log, il modello impiega il tokenizer GPT-4 BPE (Byte Pair Encoding). Questo tokenizer a livello di byte converte i messaggi di log grezzi in ID di token, gestendo efficacementamente i problemi di Out-of-Vocabulary (OOV) scomponendo le parole sconosciute in unità di sub-parole (ad esempio, "crond" $\rightarrow$ "cr", "ond").
• Embedding di Posizione: Per catturare le dipendenze temporali, vengono aggiunti ai vettori di token degli absolute position embeddings basati sul conteggio.
• Gestione dello Sbilanciamento delle Classi: Riconoscendo il grave squilibrio tra sessioni regolari e anomale nei dataset di log, il modello applica il Random Oversampling (ROS) ai dati grezzi prima dell'embedding. Il rapporto target delle anomalie è impostato al 40% durante l'addestramento per garantire una classificazione imparziale.

B. Encoder di Linear Self-Attention (LSA)

Per affrontare l'inefficienza dell'elaborazione di sequenze lunghe, AllLinLog sostituisce il meccanismo di self-attention quadratica standard con un encoder di Linear Self-Attention.

• Approssimazione Low-Rank: Il metodo sfrutta la natura low-rank della matrice di attenzione. Inveiz di calcolare l'attenzione su tutto lo spazio $n \times n$, introduce due matrici di proiezione apprendibili ($E$ e $F$) per comprimere le sequenze Key ($K$) e Value ($V$) in una dimensione inferiore $k$ (dove $k \ll n$).
• Riduzione della Complessità: Questo trasforma la complessità computazionale da $O(n^2)$ a $O(nk)$, linearizzando di fatto i requisiti di tempo e spazio rispetto alla lunghezza della sequenza.
• Efficienza dei Parametri: Il modello utilizza la condivisione dei parametri per livello (layer-wise parameter sharing), utilizzando una singola matrice di proiezione $E$ attraverso tutti i livelli e le teste per ridurre ulteriormente l'impronta di memoria.

C. Strato di Classificazione

Gli output dell'encoder vengono aggregati tramite average pooling lungo la lunghezza della sequenza per generare una rappresentazione a livello di sessione. Questo vettore viene passato attraverso uno strato lineare per produrre i logit per la classificazione binaria (regolare vs anomala). Il modello utilizza una funzione di perdita weighted cross-entropy per penalizzare ulteriormente le classificazioni errate della classe minoritaria (anomala).

3. Contributi Chiave

• Architettura Senza Parser: AllLinLog elimina la necessità di parser di log, evitando così errori semantici e preservando tutta l'informazione contestuale (inclusi i parametri dinamici) inerente ai log grezzi.
• Complessità Lineare per Sequenze Lunghe: Integrando un encoder di linear self-attention, il modello consente l'elaborazione di sessioni di log a lunghezza completa (migliaia di token) senza troncamento, superando i limiti di scalabilità dei Transformer standard.
• Robustezza all'OOV: L'uso della tokenizzazione GPT-4 BPE garantisce che i termini tecnici e i parametri non visti siano gestiti efficacemente senza richiedere un vocabolario predefinito o regole di parsing.
• Efficienza: L'architettura riduce significativamente sia i tempi di inferenza che il consumo di memoria rispetto agli encoder Transformer standard, rendendola adatta ad ambienti con risorse limitate.

4. Risultati Sperimentali

Il modello è stato valutato sui dataset pubblici BGL (Blue Gene/L) e HDFS (Hadoop Distributed File System), con confronti effettuati contro i baseline allo stato dell'arte inclusi DeepLog, LogCluster, LogAnomaly e FSMFLog.

• Accuratezza di Rilevamento: AllLinLog ha ottenuto le prestazioni più elevate in tutte le metriche. Sul dataset HDFS, ha raggiunto una Precision di 0.997, un Recall di 0.995 e un F1-score di 0.996. Sul dataset BGL, ha ottenuto punteggi quasi perfetti con Precision, Recall e F1-score di 0.999. Questi risultati hanno superato il miglior baseline (FSMFLog), che ha ottenuto F1-score di 0.966 (HDFS) e 0.961 (BGL).
• Studi di Ablazione:
  • Fattore Low-Rank ($k$): È stato identificato un valore ottimale di $k=32$, che ha prodotto un F1-score di 0.99888.
  • Profondità dell'Encoder: Un singolo strato di encoder è risultato ottimale, bilanciando prestazioni e complessità.
  • LSA vs. Transformer Standard: Sostituendo l'encoder LSA con un Transformer standard, si è verificato un incremento marginale dell'F1-score (da 0.99888 a 0.99967) ma a un costo significativo in termini di efficienza.
• Benchmark di Efficienza:
  • Memoria: Aumentando la dimensione del batch da 1 a 16, l'uso della memoria dell'encoder LSA è cresciuto di soli 202.61 MB, mentre l'uso del Transformer standard è aumentato drasticamente di 2,931.48 MB.
  • Tempo di Inferenza: L'encoder LSA ha dimostrato una scalabilità superiore. Aumentare la dimensione del batch da 1 a 16 ha aumentato il tempo di inferenza di 4.9x per LSA, rispetto a 10.8x per il Transformer standard.
  • Throughput: Con una dimensione del batch di 16, l'encoder LSA ha raggiunto 4,032.52 campioni/sec, circa 12.9 volte il throughput del Transformer standard (312.02 campioni/sec).

5. Significato e Limitazioni

Il paper sostiene che AllLinLog offra un vantaggio pratico per il rilevamento di anomalie basato sui log combinando un'elevata accuratezza con l'efficienza computazionale. Rimuovendo la dipendenza da parser di log imperfetti e utilizzando la linear self-attention, il modello preserva il contesto semantico completo pur rimanendo scalabile per sequenze lunghe.

Gli autori riconoscono una limitazione riguardante il tokenizer BPE: sebbene risolva i problemi OOV, potrebbe tokenizzare specifici parametri tecnici (ad esempio, indirizzi IP) in sub-parole, distorcendo potenzialmente la loro informazione contestuale e aumentando la lunghezza della sequenza. Gli autori suggeriscono che il lavoro futuro dovrebbe concentrarsi sullo sviluppo di metodologie di tokenizzazione a livello di byte capaci di segmentare i messaggi di log senza scomporre tali parametri in sub-parole, preservando ulteriormente l'integrità delle caratteristiche.