LogSemFuse: Semantic Evidence Fusion for Explainable Log Anomaly Detection

Technische Samenvatting: LogSemFuse

Probleemstelling

Detectie van anomalieën in logs is essentieel voor het monitoren van moderne softwaresystemen, maar bestaande modelgebaseerde detectoren kampen met twee primaire beperkingen. Ten eerste bereiken ze weliswaar een sterke detectieprestatie, maar geven ze doorgaans alleen anomalie-scores of binaire labels zonder de operationele semantiek achter de beslissing te verstrekken. Dit gebrek aan bewijslast dwingt operators om logs handmatig te inspecteren om te begrijpen waarom een sessie als afwijkend is gemarkeerd, wat efficiënte diagnose en incidentrespons belemmert. Ten tweede kunnen Large Language Models (LLMs) rijke log-semantiek herstellen, maar het gebruik van hen als zelfstandige detectoren is vaak kostbaar, gevoelig voor inferentie-variabiliteit en mogelijk niet geworteld in de specifieke bewijslast die ten grondslag ligt aan een beslissing. Bovendien is het direct prompten van LLMs voor elke sessie computationeel duur en moeilijk schaalbaar.

De kernuitdaging die wordt aangepakt, is hoe bestaande, hoogwaardige backbone-detectoren kan worden versterkt met interpreteerbare semantische bewijslast en verklaringen zonder hun trainingspipelines te vervangen of excessieve runtime-kosten te veroorzaken.

Methodologie: LogSemFuse Framework

LogSemFuse wordt voorgesteld als een plug-in semantisch augmentatie-framework. Het vervangt de backbone-detector niet en wijzigt de trainingsdoelstelling niet. In plaats daarvan opereert het tijdens de inferentiefase door de voorspelling van de backbone te fuseren met gestructureerde semantische bewijslast afgeleid van drie verschillende modules. Het framework onderhoudt een Knowledge Bank ($K$) die tijdens de training wordt opgebouwd en die herbruikbare artefacten opslaat om het gebruik van LLMs tijdens de inferentie te minimaliseren.

1. Bewijslastconstructie tijdens de training

Vóór de inferentie verwerkt LogSemFuse de trainingsdata om twee soorten herbruikbare bewijslast op te bouwen:

• Local Event-Pattern Bank ($K_{ngram}$): Het systeem mijnt onderscheidende unigrammen, bigrammen en trigrammen uit EventId-sequenties in gelabelde anomalieën uit de trainingssessies. Patronen worden gerangschikt op basis van "lift" (anomalie-ondersteuning relatief aan normale ondersteuning) en gevalideerd om te garanderen dat ze niet overmatig voorkomen bij normale sessies. Deze patronen bieden deterministische, interpreteerbare bewijslast van korte, opeenvolgende anomalieën (bijv. herhaalde retries of uitzonderingssequenties).
• Cluster-Derived Rule Bank ($K_{rule}$): Anomalieën uit de trainingssessies worden geclusterd met behulp van HDBSCAN op basis van hun event-distributies. Voor elk cluster wordt een LLM geprompt om het gedeelde operationele gedrag samen te vatten en gestructureerde, uitvoerbare regels af te leiden. Deze regels maken gebruik van primitieven zoals contains_ngram, ordered_subset, min_count en absent_within. De resulterende regels vangen bredere, niet-opeenvolgende operationele patronen op en worden opgeslagen voor deterministische matching tijdens de inferentie.

2. Semantische Augmentatie tijdens de Inferentie

Voor een binnenkomende log-sessie $x$ aggregeert LogSemFuse vier binaire signalen om een definitieve beslissing en verklaring te produceren:

1. Backbone Signaal ($s_b$): De oorspronkelijke anomalie-score of label van de backbone-detector (bijv. DeepLog, LogBERT).
2. Local Pattern Signaal ($s_n$): Bepaald door de EventId-sequentie van de sessie te matchen tegen $K_{ngram}$.
3. Rule Signaal ($s_r$): Bepaald door de regels in $K_{rule}$ uit te voeren tegen de sessie.
4. LLM Semantic Reasoning Signaal ($s_\ell$): Een LLM analyseert de sessie om een hoog-risico voorspelling, een betrouwbaarheidsscore en een ratio te leveren (verwacht versus geobserveerd gedrag). Om kosten te beheersen, wordt de LLM alleen aangeroepen voor nieuwe sessies; resultaten worden per sessie-identificator gecached voor hergebruik.

Fusie en Verklaring:
Een fusie-operator (gekozen uit OR, AND, of vote-$k$ policies op basis van validatiedata) combineert deze vier signalen om de definitieve anomalie-label te bepalen. Het systeem genereert vervolgens een bewijsgebaseerde verklaring door de bijdragende signalen te traceren: gematchte lokale patronen, getriggerde cluster-afgeleide regels (met hun cluster-niveau verklaringen) en de LLM-ratio.

Belangrijkste Bijdragen

Het artikel levert de volgende specifieke bijdragen:

• Plug-in Framework: Een methode om bestaande log-detectoren te versterken met uitvoerbare semantische bewijslast zonder hun originele training of inferentie-pipelines te wijzigen.
• Knowledge Bank Design: Een mechanisme om herbruikbare lokale event-patronen en cluster-afgeleide regels op te slaan, samen met gecachte sessie-niveau LLM-redeneringen, wat efficiënt en goedkoop hergebruik mogelijk maakt.
• Evidence-Based Explanation: Een benadering die beslissingen over anomalieën verklaart met behulp van gefirede patronen, getriggerde regels en LLM-ratio's, in plaats van post-hoc feature attributies.
• Empirische Validatie: Uitgebreide evaluatie over drie datasets (HDFS, BGL, Liberty) en vier backbone-detectoren, waarbij verbeterde detectieprestaties en verklaringskwaliteit met bescheiden overhead worden aangetoond.

Evaluatieresultaten

Het framework werd geëvalueerd op de HDFS, BGL en Liberty datasets met DeepLog, LogAnomaly, LogBERT en NeuralLog als backbones.

• Detectieprestaties: LogSemFuse verbeterde de F1-score voor elke niet-perfecte baseline. Het herstelde 98,8% van de false negatives van de backbone over de testsets. Opvallend genoeg behield het perfecte prestaties in gevallen waar de backbone al optimaal was (bijv. LogAnomaly op Liberty).
• Efficiëntie: Het framework voegt een bescheiden en stabiele inferentie-overhead toe (variërend van ~2,3 tot 5,8 seconden afhankelijk van de dataset) door te vertrouren op lokale patroonmatching en regel-executie in plaats van herhaalde LLM-aanroepen. LLM-tokenverbruik wordt geamortiseerd door het hergebruik van gecachte resultaten en de knowledge bank.
• Menselijke Evaluatie: Een gebruikersstudie met 14 deelnemers (inclusief ontwikkelaars en onderzoekers) toonde aan dat de verklaringen van LogSemFuse significant hoger werden beoordeeld dan directe LLM-verklaringen over alle metrieken (logische coherentie, technische nauwkeurigheid, helderheid, etc.). LogSemFuse behaalde een gemiddelde kwaliteits score van 4,13 vergeleken met 3,06 voor de baseline LLM.
• Ablatie-studies: Het verwijderen van lokale event-patronen veroorzaakte de meest significante prestatiedegradatie, wat wijst op hun cruciale rol bij het detecteren van specifieke anomalie-indicatoren. De cluster-afgeleide regelbank bood herbruikbare bewijslast voor verklaringen, terwijl LLM-redenering gerichte winst bood in moeilijke configuraties.

Betekenis en Claims

Het artikel claimt dat LogSemFuse aantoont dat semantische augmentatie een praktische strategie is om bestaande log-anomalie-detectoren te versterken. Door LLMs en regel-inductie te behandelen als bronnen van herbruikbare bewijslast in plaats van als zelfstandige detectoren, bereikt het framework:

1. Verbeterde Effectiviteit: Het herstellen van gemiste anomalieën die sequentie-gebaseerde modellen missen door schaarse of verdunde signalen.
2. Interpreteerbaarheid: Het voorzien van operators van concrete, bewijsgebaseerde verklaringen (patronen, regels en ratio's) in plaats van opake scores.
3. Schaalbaarheid: Het handhaven van lage en stabiele runtime-kosten door semantische artefacten te cachen en per verzoek LLM-inferentie te vermijden.

De auteurs positioneren LogSemFuse niet als een vervanging voor traditionele detectoren of een nieuw LLM-centrisch paradigma, maar als een verenigde methode om de kloof te overbruggen tussen hoogwaardige detectie en actiebare, semantische interpretatie in softwarebetrouwbaarheidstechniek.