Technische Samenvatting: CelerLog: Snelle Logparsing via Dynamische Routering

Probleemstelling

Logparsing is een voorwaarde voor geautomatiseerde systeemanalyse, waarbij ruwe, semi-gestructureerde logberichten worden omgezet in gestructureerde formaten die bestaan uit statische sjablonen en dynamische parameters. Hoewel syntaxgebaseerde parsers (bijvoorbeeld Drain) een hoge efficiëntie bieden, missen ze vaak het semantische redeneringsvermogen dat nodig is om complexe of evoluerende logpatronen te hanteren, wat leidt tot een lagere nauwkeurigheid. Daarentegen bereiken opkomende op LLM's gebaseerde semantische parsers superieure nauwkeurigheid door gebruik te maken van natuurlijk taalbegrip, maar lijden ze onder prohibitieve latentie en financiële kosten. Deze kosten vloeien voort uit het fundamentele ontwerpgebrek om zware semantische inferentie toe te passen op elk logbericht, ongeacht of dergelijke complexiteit noodzakelijk is. Bestaande optimalisatiestrategieën zoals caching of steekproeven nemen de oorzaak niet weg: het onvermogen om logs te onderscheiden die semantisch redeneren vereisen van die welke kunnen worden opgelost via eenvoudige statistische analyse.

Methodologie

De auteurs stellen CelerLog voor, een hybride logparser die logs dynamisch routeert naar de meest geschikte verwerkingse engine op basis van hun statistische kenmerken. De kerninzicht is dat het overgrote deel van de logs repetitieve patronen vertoont met variërende parameters (dichte groepen) die via statistische analyse kunnen worden geparsed, terwijl slechts een minderheid van de logs dergelijke patronen mist (spare groepen) en LLM-gebaseerde semantische inferentie vereist.

CelerLog bestaat uit drie hoofdcomponenten:

1. Dynamische Router

De router fungeert als verkeersregelaar en classificeert inkomende logs via een tweestapsproces in dichte en spare groepen:

• Tweestaps Groepering:
  • Maskerend Skeletgebaseerde Groepering: Ruwe logs worden voorbewerkt om variabele tokens (getallen, strings, enz.) te maskeren tot aangewezen placeholders (bijvoorbeeld <NUM>, <UCL>), waardoor "gemaskerde skeletten" ontstaan. Logs met identieke skeletten worden gegroepeerd.
  • Lengtegebaseerde Groepering: Deze skeletgroepen worden verder geaggregeerd tot "emmers" op basis van hun tokenlengte, aangezien logs van hetzelfde sjabloon doorgaans dezelfde lengte delen.
• Ankergebaseerde Samenvoeging: Binnen elke emmer identificeert de router "anker"-groepen (die met het hoogste aantal unieke logs). Vervolgens berekent het de Positie-bewuste Jaccard-ähnelijkheid tussen het anker en andere groepen.
  • Een dynamische similariteitsdrempel wordt afgeleid van de "Singleton Ratio Curve" om de optimale afkapwaarde voor samenvoeging te bepalen, waardoor over-samenvoeging wordt voorkomen terwijl geldige patronen wel worden vastgelegd.
  • Een lichtgewicht werkwoordcontrole zorgt voor semantische consistentie (bijvoorbeeld ervoor zorgen dat het kernwerkwoord wordt gedeeld).
  • Groepen die succesvol samenvoegen met een anker worden geclassificeerd als dichte loggroepen. Niet-samengevoegde groepen worden geclassificeerd als spare loggroepen.

2. Statistische Processor (Snelle Route)

Dichte loggroepen worden naar deze efficiënte module gerouteerd. In plaats van een LLM aan te roepen, voert deze een rechttoe-rechtaan statistische analyse uit:

• Het richt de logs in de groep uit en analyseert de waardeverdeling op elke tokenpositie.
• Posities met meerdere verschillende waarden worden geïdentificeerd als parameters en gemaskeerd met wildcards (bijvoorbeeld <*>).
• Posities met enkele waarden worden behouden als statische sjabloononderdelen.
• Dit proces levert het uiteindelijke sjabloon en de parameters op met minimale rekenkosten en nul risico op LLM-hallucinatie.

3. LLM-gebaseerde Processor (Trage Route)

Spare loggroepen, die onvoldoende statistische signalen vertonen, worden naar een LLM gerouteerd.

• Taakontwerp: Om hallucinatie en kosten te minimaliseren, wordt de LLM niet gevraagd om het volledige sjabloon te genereren. In plaats daarvan wordt de LLM geprompt om variabele identificatie uit te voeren, waarbij een lijst met exacte variabele strings die in het log voorkomen, wordt teruggegeven.
• Verificatie: Het systeem verifieert dat de geïdentificeerde variabelen in het originele log bestaan voordat ze worden gemaskeerd om het uiteindelijke sjabloon te genereren. Als de LLM faalt of ongeldige output produceert, keert het systeem terug naar het originele log om fouten te voorkomen.
• Parallelisme: Om schaalbaarheid te hanteren, maakt CelerLog gebruik van dataparallelisme voor de routeringsfase (verwerking van emmers over CPU-kernen) en asynchrone I/O voor de LLM-fase (batchen van verzoeken).

Belangrijkste Bijdragen

1. Inzicht in Logdistributie: De auteurs identificeren dat de bottleneck in bestaande op LLM's gebaseerde parsers de uniforme toepassing van semantische inferentie is. Ze tonen aan dat een meerderheid van de logs repetitieve statistische patronen bezit die voldoende zijn voor parsing zonder LLM's.
2. Dicht versus Spars Categorisering: Het artikel definieert formeel dichte loggroepen (rijk aan statistische variatie) en spare loggroepen (statisch of geïsoleerd), en stelt een hybride strategie voor om dit onderscheid te benutten.
3. CelerLog Framework: De introductie van een dynamisch routeringsmechanisme dat logs richt naar ofwel een snelle statistische processor of een LLM-gebaseerde processor, waardoor zowel efficiëntie als effectiviteit worden gemaximaliseerd.
4. Uitgebreide Evaluatie: Uitgebreide experimenten op 14 publieke datasets tonen aan dat CelerLog de state-of-the-art baselines overtreft in nauwkeurigheid, terwijl tijd en kosten drastisch worden gereduceerd.

Experimentele Resultaten

Geëvalueerd op 14 publieke datasets (waaronder Apache, HPC, OpenSSH en Zookeeper), toont CelerLog aanzienlijke superioriteit ten opzichte van zowel syntaxgebaseerde (Drain, AEL, Brain) als LLM-gebaseerde (LILAC, LogBatcher, LUNAR) baselines:

• Effectiviteit: CelerLog bereikt een gemiddelde Groeperingsnauwkeurigheid (GA) van 0,927 en Parsingnauwkeurigheid (PA) van 0,875, en presteert aanzienlijk beter dan de beste LLM-gebaseerde baseline (LogBatcher) in PA (0,875 versus 0,786).
• Efficiëntie:
  • CelerLog is 7,9× tot 18,6× sneller dan LLM-gebaseerde methoden.
  • Opmerkelijk is dat de parallelle versie van CelerLog tot 1,5× sneller is dan de wijdverspreide syntaxgebaseerde parser Drain.
• Kostenreductie:
  • Tokenverbruik: Gereduceerd met 80,2%–94,1% ten opzichte van LLM-methoden (bijvoorbeeld van ~207k tokens voor LUNAR naar ~12k voor CelerLog).
  • LLM-aanroepen: Gereduceerd met 86,4%–90,9% (bijvoorbeeld van ~370 aanroepen voor LUNAR naar ~34 voor CelerLog).
• Robuustheid: Ablatiestudies bevestigen dat het verwijderen van de router of de statistische processor de prestaties ernstig verslechtert of de kosten verhoogt. Sensitiviteitsanalyse toont aan dat CelerLog robuust is voor hyperparameterinstellingen (similariteitsdrempels en top-k selectie). Bovendien behoudt het systeem stabiele prestaties over verschillende backbone LLM's, van grote modellen (Gemini-3-pro) tot kleinere (Qwen3-8b).

Betekenis

Het artikel stelt dat CelerLog een nieuwe Pareto-grens vestigt voor logparsing, en een oplossing biedt die tegelijkertijd uiterst nauwkeurig en kosteneffectief is. Door te erkennen dat niet alle logs complexe semantische begrijping vereisen, overbrugt CelerLog de kloof tussen de snelheid van syntaxgebaseerde parsers en de nauwkeurigheid van semantische parsers. De auteurs positioneren dit werk als een praktische enable voor real-world, grootschalige loganalyse, waarbij de prohibitieve kosten van huidige LLM-gebaseerde benaderingen hun implementatie eerder hebben beperkt. De hybride aanpak zorgt ervoor dat dure LLM-bronnen alleen worden gereserveerd voor de logs die ze echt nodig hebben, waardoor geautomatiseerde loganalyse schaalbaar en economisch haalbaar wordt.