SCOPE: Tree-based Self-Correcting Online Log Parsing via Syntactic-Semantic Collaboration

Probleemstelling

Logparsing is een fundamentele stap in de geautomatiseerde analyse van logs voor complexe systemen, essentieel voor taken zoals anomaliedetectie en root-cause analyse. Bestaande methoden kampen echter met twee belangrijke beperkingen:

1. Traditionele heuristische methoden (zoals Drain en Brain) zijn zeer efficiënt en geschikt voor online verwerking, maar missen semantisch inzicht. Ze vertrouwen op handgemaakte regels en zijn vaak onnauwkeurig bij diverse logformaten of vereisen veel handmatige tuning.
2. LLM-gebaseerde methoden (Large Language Models) bieden uitstekend semantisch inzicht en hoge nauwkeurigheid, maar leiden tot hoge latentie en aanzienlijke operationele kosten door frequente API-aanroepen. Veel bestaande LLM-methoden roepen het model aan voor elke cluster of zelfs elke log, wat inefficiënt is voor eenvoudige logs.

Er is een gebrek aan een geïntegreerde aanpak die de snelheid van heuristieken combineert met de nauwkeurigheid van LLM's, zonder de nadelen van beide te erven.

Methodologie: Het SCOPE Framework

SCOPE (Tree-based Self-Correcting Online log Parsing with syntactic-Emantic collaboration) is een uniek framework dat drie kerncomponenten combineert om online logparsing te optimaliseren:

1. Bi-Directional Parse Tree (BDPT)

In plaats van een traditionele boom die alleen voorwaarts leest, gebruikt SCOPE een boomstructuur die logberichten in twee richtingen (voorwaarts en achterwaarts) matcht.

• Dynamische diepte: De boom heeft een dynamische diepte die wordt berekend op basis van de lengte van het token-bericht.
• Werking: Het systeem probeert een template te vinden door de boom zowel van begin naar einde als van einde naar begin te traverseren. Dit verhoogt de kans op een succesvolle match, vooral wanneer variabele tokens zich in het midden of aan het einde van een bericht bevinden.
• Zelf-correctie: Als een bericht niet lokaal matcht, wordt de boom bijgewerkt. Foutieve takken worden gemarkeerd als verouderd en nieuwe takken worden toegevoegd, wat de structuur continu optimaliseert.

2. Priority-based Template Match Pool (PTMP)

Als de BDPT geen match vindt (bijvoorbeeld omdat variabelen aan beide uiteinden van het bericht voorkomen), activeert PTMP een globale zoektocht.

• Prioritering: Templates in de pool worden gesorteerd op basis van prioriteit. Templates die nog niet vaak zijn gebruikt of niet zijn bijgewerkt, krijgen een hogere prioriteit. Dit zorgt ervoor dat onzekere templates eerst worden gecontroleerd, wat de efficiëntie van de globale matching verbetert.
• Correctie: Een succesvolle match in de pool leidt tot het corrigeren van eerdere fouten in de BDPT.

3. NLP-based Template Extractor (NLPE)

Dit is een tweestapsmodule die de kern vormt van de "syntactisch-semantische samenwerking":

• Fase 1 (Syntactisch): Een lichtgewicht NLP-model (zoals spaCy) gebruikt Part-of-Speech (POS) tagging. Als tokens op dezelfde positie verschillen, maar beide als vaste constanten worden geïdentificeerd (bijv. werkwoorden of leestekens), wordt de match direct afgewezen. Dit voorkomt onnodige LLM-aanroepen voor eenvoudige verschillen.
• Fase 2 (Semantisch): Alleen als Fase 1 onzeker blijft, wordt een LLM ingeschakeld. De LLM voert een semantische analyse uit om te bepalen of de logberichten tot dezelfde template behoren.
• Prompt Engineering: Om de LLM nauwkeuriger te maken, wordt een Chain-of-Thought (CoT) strategie gebruikt. De LLM wordt eerst gevraagd om templates apart te extraheren en deze vervolgens te vergelijken, in plaats van direct een oordeel te vellen. Dit vermindert semantische bias.

Belangrijkste Bijdragen

1. Eerste geïntegreerde framework: SCOPE is het eerste systeem dat traditionele heuristische technieken en LLM-based semantische analyse combineert in één online, zelfcorrigerend framework.
2. Bi-Directional Parse Tree (BDPT): Een innovatieve boomstructuur met dynamische diepte die matchen in beide richtingen mogelijk maakt, wat de dekking van templates significant verbetert ten opzichte van eendirectionele bomen.
3. Syntactisch-Semantische Collaboratie: Een tweestapsmechanisme dat de meeste taken afhandelt met snelle syntactische analyse (POS), waarbij de dure LLM alleen als fallback wordt gebruikt. Dit verlaagt de kosten en latentie drastisch.
4. Open Source: De auteurs hebben de code en datasets publiek beschikbaar gesteld om reproduceerbaarheid en verder onderzoek te bevorderen.

Resultaten

De evaluatie is uitgevoerd op 14 grote datasets van Loghub-2.0, met vergelijkingen met state-of-the-art methoden zoals Drain, Brain, LILAC, LogBatcher en LUNAR.

• Nauwkeurigheid: SCOPE behaalt de hoogste gemiddelde scores op alle metrieken:
  • Group Accuracy (GA): 96,8% (16,1% beter dan Drain, 3,8% beter dan beste LLM-methoden).
  • Parsing Accuracy (PA): 90,4% (49,5% beter dan Brain, 13,5% beter dan beste LLM-methoden).
  • F1-scores (FGA en FTA): SCOPE overtreft alle baselines aanzienlijk, met name in het onderscheiden van complexe templates.
• Efficiëntie:
  • SCOPE is sneller dan Drain (de snelste heuristische parser) en verwerkt 3,6 miljoen logs in gemiddeld 483 seconden.
  • LLM-gebruik: SCOPE reduceert het aantal LLM-aanroepen met ongeveer 85% (een factor 6 minder) vergeleken met andere LLM-baselines, terwijl het de nauwkeurigheid behoudt.
  • Kosten: Door het verminderde aantal API-aanroepen is de operationele kosten aanzienlijk lager, hoewel het token-gebruik iets hoger is door de CoT-strategie, wat ruimschoots wordt gecompenseerd door de prestatieverbetering.

Betekenis en Impact

SCOPE stelt een nieuwe standaard voor logparsing door de efficiëntie van traditionele methoden te verenigen met de intelligentie van moderne LLM's.

• Praktische toepasbaarheid: Het is ideaal voor productieomgevingen waar snelheid en lage kosten cruciaal zijn, maar waar complexe logformaten voorkomen die heuristieken niet aankunnen.
• Kosteneffectiviteit: Door het "smart fallback"-mechanisme (eerst POS, dan LLM) wordt de financiële last van LLM-gebruik geminimaliseerd zonder in te leveren op kwaliteit.
• Robuustheid: Het systeem werkt goed met verschillende LLM-modellen (van klein tot groot) en is minder afhankelijk van gelabelde data, wat het een krachtige oplossing maakt voor onbewaakte systemen.

Kortom, SCOPE lost het fundamentele dilemma op tussen snelheid en nauwkeurigheid in logparsing en biedt een schaalbare, zelfcorrigerende oplossing voor de moderne softwareontwikkeling.