VarParser: Unleashing the Neglected Power of Variables for LLM-based Log Parsing

Probleemstelling

Logbestanden zijn een cruciale bron voor het diagnosticeren van fouten in grote online servicesystemen. Logparsing (het omzetten van ongestructureerde logberichten naar gestructureerde gebeurtenissen) is een essentiële eerste stap voor taken zoals anomaliedetectie en foutdiagnose. Hoewel Large Language Models (LLM's) vanwege hun sterke tekstbegrip effectief zijn gebleken voor logparsing, hebben bestaande LLM-gebaseerde parsers een fundamenteel tekortkoming: ze focussen uitsluitend op de constante delen van logs en negeren de bijdrage van de variabele delen.

Deze "constante-gerichte" strategie leidt tot vier belangrijke problemen:

1. Inefficiënte groepering: Loggroepering en -sampling op basis van constante informatie zijn inefficiënt, omdat het aantal groepen vaak gelijk is aan het aantal sjablonen.
2. Hoge kosten en lage snelheid: Door een cache die alleen op constanten is gebaseerd, vinden veel matches niet plaats, wat leidt tot een groot aantal LLM-oproepen en lage efficiëntie.
3. Hoge token-kosten: Prompts bevatten veel constante tokens die weinig toevoegen aan het begrip van de LLM, wat de kosten per oproep verhoogt.
4. Verlies van inzicht: Bestaande methoden behouden alleen placeholders in de resultaten, waardoor waardevolle dynamische informatie (zoals IP-adressen, tijdstippen of foutcodes) verloren gaat, wat de zichtbaarheid van het systeem vermindert.

Methodologie: VarParser

De auteurs stellen VarParser voor, de eerste logparser die een variabele-gerichte strategie hanteert. Het systeem is ontworpen om de dynamische delen van logs volledig te benutten. De architectuur bestaat uit drie kernmodules:

1. Variabele Bijdrage Sampling (Variable Contribution Sampling)

In plaats van logs te groeperen op basis van frequente constante tokens, groepeert VarParser logs op basis van ongewone tokens (variabelen).

• Groepering: Logs worden getokeniseerd en gemeenschappelijke woorden worden gefilterd. Logs met dezelfde variabele patronen worden gegroepeerd, ongeacht hun sjabloon.
• Bijdrageberekening: Een clustering-algoritme (gebaseerd op Jaccard-similariteit) groepeert tokens die tot hetzelfde variabele type behoren. De bijdrage van een cluster wordt bepaald door hoe vaak het in verschillende logs voorkomt.
• Greedy Diversified Sampling: Er wordt een selectie gemaakt van logs met de hoogste bijdrage. Na het selecteren van een log worden de bijdragen van de bijbehorende variabele clusters gereset, zodat de volgende selectie diversiteit garandeert. Dit verkleint het aantal benodigde groepen aanzienlijk ten opzichte van het aantal sjablonen.

2. Variabele-gerichte Parsing Cache

VarParser gebruikt een prefix-boomstructuur voor sjablonen, maar introduceert een nieuw concept: variabele eenheden (variable units).

• Variabele Fuzzy Matching: Een tabel wordt bijgehouden die logberichten koppelt aan hun sjabloon, waarbij dynamische inhoud (zoals IP's of nummers) is gemaskeerd. Dit voorkomt onnodige LLM-oproepen voor logs die alleen in variabelen verschillen.
• Mask Matching: Als een log niet direct matcht, zoekt VarParser in de cache naar "relevante sjablonen". In plaats van de LLM direct aan te roepen, worden de bekende variabele posities in het sjabloon gemaskeerd en wordt de Jaccard-similariteit berekend. Als de similariteit boven een drempelwaarde ligt, wordt de log als een match beschouwd en worden de inconsistenties als nieuwe variabelen opgeslagen. Dit vermindert het aantal LLM-oproepen en verbetert de consistentie.
• Cache Correctie: Om hallucinaties van de LLM te voorkomen (waarbij de LLM onterecht variabelen creëert), worden labels van variabele eenheden gevalideerd. Als een label onzinnig is (bijv. een leesteken of een woord dat identiek is aan de inhoud), wordt het teruggezet naar een constante.

3. Adaptieve Variabele-bewuste In-Context Learning (ICL)

Wanneer een log niet in de cache past, wordt de LLM geraadpleegd via ICL.

• Token-level Voorbeelden: In plaats van volledige log-sjabloonparen te gebruiken, selecteert VarParser adaptief token-niveau voorbeelden van variabele informatie uit de cache.
• Prompt Design: De prompt bevat instructies, variabele voorbeelden (in het formaat variabele -> {label}) en een formatreferentie. Dit vermindert de token-gebruik aanzienlijk omdat herhalende natuurlijke taal (constanten) wordt weggelaten, terwijl de LLM wel de nodige context krijgt om variabelen correct te identificeren.

Belangrijkste Bijdragen

1. Nieuwe Strategie: Introductie van de eerste "variabele-gerichte" logparsing-strategie die de kracht van variabele informatie in ruwe logs benut.
2. VarParser Implementatie: Een volledig werkend systeem dat variabele eenheden cacheert, waardoor rijkere informatie (types, instanties, frequenties) behouden blijft.
3. Efficiëntie en Kosten: Significant verminderde LLM-oproepen en token-gebruik door slimme caching en adaptieve voorbeeldselectie.
4. Resultaatintegriteit: In tegenstelling tot eerdere methoden die alleen sjablonen teruggeven, behoudt VarParser de daadwerkelijke variabele waarden, wat de systeemzichtbaarheid voor engineers verbetert.

Resultaten

De auteurs hebben VarParser geëvalueerd op de grote, openbare dataset Loghub-2.0 (14 datasets, gemiddeld 3,69 miljoen logs per dataset) en vergeleken met acht state-of-the-art baselines (syntaxis-, semantiek- en LLM-gebaseerd).

• Nauwkeurigheid: VarParser behaalde de hoogste gemiddelde nauwkeurigheid over alle metrics.
  • Gemiddelde verbetering t.o.v. de beste baseline: +3,9% in Groeperingsnauwkeurigheid (GA), +8,5% in Parsingnauwkeurigheid (PA) en +5,8% in Template F1-score (FTA).
  • Op de meest strenge metric (FTA) presteerde VarParser consistent beter dan alle concurrenten.
• Efficiëntie:
  • Sampling: 2,3x sneller dan LILAC door het verkleinen van de sampling-pool van sjabloon-niveau naar variabele-niveau.
  • Parsing: 51,2% minder tijd nodig dan LILAC en 14,8% minder dan LogBatcher. De snelheid is vergelijkbaar met traditionele syntaxis-parsers zoals Drain.
• Kosten:
  • VarParser verlaagde het totale token-verbruik per dataset met gemiddeld 56,1% ten opzichte van LILAC.
  • Zelfs ten opzichte van LogBatcher (dat logs in batches verwerkt) werd een besparing van 13,0% in totale tokens bereikt, terwijl VarParser wel geschikt is voor streaming-scenario's.
• Robuustheid: De prestaties bleven stabiel over verschillende LLM's (gpt-3.5-turbo, llama3-70b, qwen-plus).

Betekenis en Impact

VarParser markeert een verschuiving in het veld van logparsing. Het paper demonstreert dat het negeren van variabele informatie in logs een groot potentieel laat liggen. Door deze informatie actief te benutten, kan men:

1. De kosten van LLM-gebaseerde loganalyse drastisch verlagen, wat het toepasbaar maakt voor industriële schaal.
2. De snelheid verbeteren tot het niveau van traditionele methoden, zonder in te leveren op nauwkeurigheid.
3. De kwaliteit van de resultaten verbeteren door dynamische data te behouden, wat essentieel is voor diepgaande systeemonderzoek en foutopsporing.

De studie biedt een nieuwe richting voor toekomstig onderzoek waarin LLM's en kleine modellen gecombineerd kunnen worden om nog efficiëntere en nauwkeurigere systemen te bouwen.