LLM-Enhanced Log Anomaly Detection: A Comprehensive Benchmark of Large Language Models for Automated System Diagnostics

Probleemstelling

Het monitoren van grote software-systemen genereert enorme hoeveelheden logbestandsdata, die cruciaal zijn voor het detecteren van fouten, beveiligingsinbreuken en prestatiedegradatie. Traditionele methoden voor anomaliedetectie in logs hebben echter te kampen met beperkingen:

1. Heterogeniteit en evolutie: Logformaten veranderen voortdurend, wat leidt tot constante onderhoudsvereisten voor parsers en modellen.
2. Afhankelijkheid van gelabelde data: Traditionele pipelines vereisen vaak veel gelabelde data voor training en aanzienlijke engineering-inspanning voor het configureren van parsers.
3. Gebrek aan systematische vergelijking: Hoewel er recente studies zijn over het gebruik van Large Language Models (LLMs) voor loganalyse, ontbreekt er een uitgebreide, eerlijke vergelijking tussen traditionele methoden, fijngefineerde transformers en prompt-gebaseerde LLM-methoden op gestandaardiseerde benchmarks.

Methodologie

De auteurs hebben een uitgebreid benchmark-studie opgezet om drie categorieën van methoden te evalueren op vier publieke datasets (HDFS, BGL, Thunderbird en Spirit):

1. Traditionele Pipelines:

   • Log Parsing: Gebruik van parsers zoals Drain, Spell en AEL om ongestructureerde logs om te zetten in gestructureerde sjablonen.
   • Classificatie: Training van machine learning-classifiers (Logistic Regression, Random Forest, SVM, Isolation Forest) op de geparseerde data.

2. Fijngefineerde Transformer-modellen:

   • Directe fine-tuning van pre-trained modellen (BERT, RoBERTa, DeBERTa-v3) op ruwe logberichten, zonder tussenkomst van een parser.
   • Doel: Het benutten van de semantische capaciteiten van transformers voor directe anomaliedetectie.

3. Prompt-gebaseerde LLM-benaderingen:

   • Evaluatie van modellen (GPT-3.5, GPT-4, LLaMA-3) in zero-shot (zonder training) en few-shot (met enkele voorbeelden) settings.
   • Innovatie: Introductie van Structured Log Context Prompting (SLCP). Deze strategie verrijkt de prompt met vier elementen:
     • Systeemcontext (beschrijving van het systeem).
     • Temporele context (tijdstempels en frequentiestatistieken).
     • Semantische markers (bekende foutpatronen zoals "error", "fatal").
     • Duidelijke classificatie-instructies.

Evaluatiemetrics: F1-score (als primaire metric vanwege class-imbalance), precisie, recall, AUC, inferentiële latentie (ms) en kosten (API-kosten per 1000 voorspellingen).

Belangrijkste Bijdragen

• Unificatie Framework: Een gestandaardiseerde evaluatiepijplijn die drie verschillende paradigma's (traditioneel, fine-tuned, prompt-based) eerlijk tegen elkaar afweegt op vier diverse datasets.
• SLCP-strategie: Een nieuwe prompting-techniek die de zero-shot prestaties van LLMs significant verbetert zonder extra training.
• Praktische richtlijnen: Een analyse van de trade-offs tussen nauwkeurigheid, kosten, latentie en label-efficiëntie, wat leidt tot concrete implementatieadviezen.
• Reproduceerbaarheid: Alle code, configuraties en verwerkte datasets zijn openbaar beschikbaar gesteld.

Resultaten

De experimenten leveren de volgende kernbevindingen op:

1. Nauwkeurigheid: Fijngefineerde transformers (vooral DeBERTa-v3) behalen de hoogste prestaties met F1-scores tussen 0,95 en 0,99. Dit bevestigt dat fine-tuning de beste optie is als gelabelde data beschikbaar is.
2. Zero-shot Capabilities: Prompt-gebaseerde LLMs (met name GPT-4) tonen opmerkelijke zero-shot capaciteiten met F1-scores van 0,82 tot 0,91, zelfs zonder enige gelabelde trainingsdata. Dit overtreft soms zelfs traditionele methoden die wel getraind zijn.
3. Impact van SLCP: De Structured Log Context Prompting verbetert de zero-shot F1-score van GPT-4 met 2,9% tot 3,1% en brengt de prestaties in de few-shot setting (5 voorbeelden) dicht in de buurt van traditionele methoden.
4. Kosten en Latentie:
   • Traditionele methoden (Drain + Random Forest) zijn extreem snel (0,3 ms/voorspelling) en gratis.
   • Fijngefineerde transformers zijn snel (12,4 ms) en gratis (lokaal).
   • GPT-4 via API is traag (890 ms) en duur ($8,40 per 1000 voorspellingen), maar biedt de beste prompt-gebaseerde nauwkeurigheid.
   • LLaMA-3 (lokaal gedraaid) biedt een kosteneffectief alternatief met redelijke snelheid.
5. Label-efficiëntie: LLMs blinken uit in scenario's met weinig labels. Met slechts 1% gelabelde data (als few-shot voorbeelden) presteert GPT-4 + SLCP aanzienlijk beter dan traditionele methoden. De prestatiekloof met fine-tuned modellen sluit pas naarmate meer labels beschikbaar komen (rond de 25%).

Betekenis en Conclusie

Dit paper vult een cruciale leemte in de AIOps-literatuur door een systematisch inzicht te geven in de rol van LLMs voor loganalyse. De belangrijkste implicaties zijn:

• Paradigmaverschuiving: LLMs zijn niet langer alleen theoretisch interessant; ze bieden een praktische, hoogwaardige oplossing voor situaties waar gelabelde data schaars is (zero-shot/few-shot).
• Keuzerichtlijnen voor practitioners:
  • Voor maximale nauwkeurigheid met voldoende data: Gebruik DeBERTa-v3.
  • Voor geen labels en budget is minder kritiek: Gebruik GPT-4 + SLCP.
  • Voor geen labels en kostenbesparing: Gebruik LLaMA-3 (lokaal) + SLCP.
  • Voor hoge doorvoer en lage latentie: Blijf bij traditionele pipelines (Drain + RF).
• Toekomstperspectief: Hoewel LLMs robuuster zijn tegen veranderende logformaten dan traditionele parsers, blijven uitdagingen bestaan rondom kosten, consistentie (temperatuur-afhankelijkheid) en het analyseren van numerieke anomalieën.

De studie concludeert dat LLMs een krachtige aanvulling zijn op het bestaande arsenaal voor systeemdiagnose, vooral in dynamische omgevingen waar het verzamelen van gelabelde data een bottleneck vormt.