Detect, Localize, and Explain: Interactive Hierarchical Log Anomaly Analytics with LLM Augmentation

Technische Samenvatting: Krone-viz – Interactieve Hiërarchische Loganomalie-analyse met LLM-augmentatie

Probleemstelling
Moderne datagedreven infrastructuur is sterk afhankelijk van logs voor systeemmonitoring en anomaliediagnose. Echter, bestaande methoden voor loganomaliedetectie ondervinden aanzienlijke beperkingen. De meeste traditionele benaderingen werken op platte logsequenties, waarbij ze een enkele anomaliewaarde genereren voor een hele sequentie zonder de mogelijkheid om resultaten te interpreteren of specifieke anomalie-segmenten te lokaliseren. Hoewel recente methoden op basis van Large Language Models (LLM) de interpreteerbaarheid verbeteren door middel van uitleg in natuurlijke taal, werken zij nog steeds op platte sequenties. Bovendien lijden deze op LLM gebaseerde methoden aan beperkingen in de contextvenster en onaanvaardbaar hoge rekenkosten wanneer ze worden toegepast op enorme logdatasets. Er ontbreekt een systeem dat logs effectief kan ontleden in semantische eenheden om precieze lokalisatie en uitleg mogelijk te maken, terwijl het tegelijkertijd de kosten van LLM's beheerst.

Methodologie: Het Krone-kader
Het artikel introduceert Krone, een kader dat is ontworpen om platte logsequenties om te zetten in semantisch samenhangende hiërarchische eenheden. Krone-viz is het interactieve visualisatiesysteem dat is gebouwd op dit kader om deze mogelijkheden bruikbaar te maken voor ingenieurs. De methodologie rust op drie kerninnovaties:

1. Krone Log Abstraction Model (Krone-Tree):
   Krone introduceert een hiërarchische abstractie die uitvoeringssemantiek direct reconstrueert vanuit logs. Het definieert een semantische hiërarchie van drie niveaus:

   • Entiteiten: Corresponderen met systeemcomponenten.
   • Acties: Vangen uitgevoerde bewerkingen op.
   • Statussen: Reflecteren het resultaat van elke actie.
     Met behulp van op LLM gebaseerde Named Entity Recognition (NER) op logtemplates, construeert Krone een Krone-Tree. Deze boom staat toe om lange, platte logsequenties te ontleden in Krone Seqs—aaneengesloten, semantisch samenhangende segmenten die worden weergegeven als knoopsequenties over de niveaus van entiteit, actie en status.

2. Hiërarchische en Modulaire Anomaliedetectie:
   Anomaliedetectie wordt geformuleerd als modulaire taken over de ontbonden Krone Seqs. Het systeem hanteert een bottom-up orchestratiestrategie:

   • Lichtgewicht Filtering: Een detector op basis van patroonherkenning (PM) evalueert eerst Krone Seqs om bekende normale patronen efficiënt te filteren.
   • Selectieve LLM-uitnodiging: Alleen onzekere of onbekende Krone Seqs triggeren redenering op basis van LLM.
   • Vroegtijdige Stop: Het systeem onderzoekt eerst segmenten op lager niveau (Status). Als er op een lager niveau een anomalie wordt gedetecteerd, stopt het proces onmiddellijk om onnodige berekening op hogere niveau-composities te voorkomen, aangezien anomalieën zich naar boven voortplanten.
   • Contextuele Verificatie: De hiërarchie biedt een goed gedefinieerde semantische reikwijdte, waardoor de LLM zijn redenering kan verankeren in normale gedragspatronen (bijvoorbeeld typische actietransities binnen een entiteit) met behulp van voorbeelden in de context.

3. Kennisbank voor Geamortiseerde Detectie:
   Inzichtelijk makend dat Krone Seqs atomaire uitvoeringseenheden zijn die frequent terugkeren in verschillende logsequenties, onderhoudt Krone een hiërarchische Kennisbank.

   • Hergebruik: Zodra een Krone Seq is geëvalueerd (door PM of LLM), worden het resultaat en de uitleg opgeslagen.
   • Kostenreductie: Tijdens de detectie vraagt het systeem eerst deze kennisbank op en roept de LLM alleen aan als er geen overeenkomend item bestaat. Dit vermindert aanzienlijk de overbodige LLM-aanroepen.
   • Continue Verfijning: De kennisbank ondersteunt correcties door mensen in de lus, waardoor gebruikers opgeslagen kennis kunnen herzien om de kwaliteit van toekomstige detectie en uitleg te verbeteren.

Krone-viz Demonstratie
Het artikel presenteert Krone-viz, een interactief platform gedemonstreerd op de veelgebruikte HDFS-benchmarkdataset. Het systeem visualiseert de vier fasen van de Krone-workflow:

1. Hiërarchie-extractie: Gebruikers laden logtemplates en het systeem construeert de Krone-Tree, waarbij het de semantische relaties tussen entiteiten, acties en statussen visualiseert.
2. Verwerking van trainingsdata: Gebruikers observeren hoe normale logsequenties worden ontbonden in hiërarchische Krone Seqs en worden opgeslagen als ground-truth uitvoeringseenheden.
3. Anomaliedetectie: Gebruikers starten detectie op testsequenties. De interface visualiseert het modulaire bottom-up proces, markeert segmenten die door de patroonmatcher zijn aangeduid en biedt door LLM gegenereerde uitleg voor bevestigde anomalieën.
4. Kennisbeheer: Gebruikers kunnen de opgebouwde kennisbank verkennen, statistieken voor specifieke knopen bekijken, gedetailleerde detectieresultaten inspecteren en opgeslagen kennis overschrijven of herzien om toekomstige analyses te sturen.

Belangrijkste Resultaten
Het artikel rapporteert alomvattende verbeteringen van het Krone-kader ten opzichte van eerdere methoden op basis van real-world publieke benchmarks:

• Nauwkeurigheid: De F1-score steeg van 82,76% (eerdere methoden) naar 92,83%.
• Data-efficiëntie: De benadering verkleinde de vereiste dataruimte met een factor van 117,3×.
• LLM-bronnenefficiëntie: Het systeem verlaagde het LLM-gebruik tot 1,1%–3,3% van de grootte van de testdata door gebruik te maken van de kennisbank en selectieve uitnodiging.

Betekenis
Het artikel stelt dat Krone-viz de kritieke kloof in loganalyse aanpakt door hiërarchische ontleding, anomalielokalisatie en uitleg interpreteerbaar en bruikbaar te maken voor software-ingenieurs en systeembestuurders. Door efficiënt LLM-gebruik te integreren met een modulair, hiërarchisch kader, stelt Krone het volgende in staat:

• Precieze Lokalisatie: Het identificeren van specifieke anomalie-segmenten binnen uitvoeringscontexten in plaats van het labelen van hele sequenties.
• Kosteneffectieve Schaalbaarheid: Het drastisch verminderen van rekenkosten en data-eisen in vergelijking met LLM-benaderingen voor platte sequenties.
• Mens-in-de-lus Analyse: Gebruikers de bevoegdheid geven om door AI gegenereerde inzichten te bekijken, te corrigeren en te verfijnen, waardoor risico's op hallucinaties worden verminderd en een herbruikbare kennisbasis wordt opgebouwd voor continue systeemverbetering.

Het werk wordt gepresenteerd als een demonstratie van hoe schaalbare, interpreteerbare loganalyse kan worden bereikt door efficiënte, kostenbewuste LLM-integratie.