Technische Samenvatting: FAME – Failure-Aware Mixture-of-Experts voor Anomaliedetectie op Berichtniveau in Logbestanden

Probleemstelling

Productiedistributed systemen genereren dagelijks miljoenen logregels, maar bestaande anomaliedetectoren werken doorgaans op venster- of sessieniveau. Deze grove granulariteit wijst één anomalie-label toe aan een aaneengesloten groep regels, waardoor operators handmatig honderden routineberichten moeten inspecteren om de specifieke fout te lokaliseren. Hoewel detectie op berichtniveau (regelniveau) de benodigde precisie biedt voor directe foutlokaliseren, staat het voor drie aanzienlijke uitdagingen:

1. Template-Ambiguïteit (C1): Een enkele event-template (afgeleid van logparsing) kan zowel normale als anomalie-instanties bevatten, afhankelijk van parameterwaarden, waardoor template-identiteit ontoereikend is voor classificatie.
2. Heterogene Falingsmodi (C2): Anomalieën omvatten diverse subsystemen (bijv. geheugenfouten, netwerkpartities, bestandssysteemfouten). Een enkele globale classifier worstelt om één beslissingsgrens te vinden voor deze heterogene populaties zonder precisie of recall te offeren.
3. Labeltekort (C3): Het handmatig labelen van miljoenen regels op berichtgranulariteit is operationeel onuitvoerbaar. Hoewel Large Language Models (LLM's) kunnen redeneren over logsemantiek, leidt het oproepen ervan voor elke regel in een continue stream tot onaanvaardbare API-kosten en latentie.

Methodologie: FAME-raamwerk

FAME (Failure-Aware Mixture-of-Experts) adresseert deze uitdagingen via een label-efficiënt, failure-aware Mixture-of-Experts (MoE)-architectuur. De kerninzicht is dat LLM-redenering slechts één keer nodig is tijdens een offline opzetfase; alle daaropvolgende inferentie draait op lichtgewicht, on-premise modellen.

1. Offline Opzetfase

• Logparsing & K-Shot Sampling: Ruwe logs worden geparsed naar EventIDs met Drain3. Om annotatiekosten te beheersen, samplet het systeem maximaal K gelabelde regels per EventID (bijv. K=100). Deze samples worden opgesplitst in trainings- en kalibratiesubsets.
• LLM-geleide Semantische Partitionering: Een LLM wordt één keer offline opgeroepen. Het ontvangt statistieken en representatieve voorbeelden voor elke EventID en stelt een partitionering van templates voor in semantisch samenhangende falingsdomeinen (bijv. "DDR-geheugenfouten", "Netwerklinkstoringen").
• Certificering: Het voorstel van de LLM wordt deterministisch gevalideerd tegen de K-shot labels:
  • Pure-Anomalie Domeinen: Als alle K-samples in een domein anomalieën zijn, wordt het domein gecertificeerd als "pure-anomalie". Er wordt geen classifier getraind; het routeringsmechanisme fungeert zelf als de detector.
  • Gemengde Domeinen: Als samples zowel normale als anomalie-regels bevatten, wordt een dedicated expert-classifier getraind.
  • Universeel Normaal: Niet-toegewezen of niet-anomalie templates vallen standaard onder een universeel normaal pool.
• Modeltraining:
  • Router: Een lichtgewicht DistilBERT-model wordt getraind om inkomende regels naar het juiste falingsdomein (of het Universeel Normaal-pool) te routeren. Het bestaat uit een binaire Gate (expert vs. normaal) en een multiclass Selector (specifieke expert).
  • Experts: Gemengde domeinen worden getraind met een Twee-fasen aanpak:
    1. Domein-adaptieve MLM Pre-training: BERT ondergaat voortgezette pre-training op een groot corpus normale logs om zich aan te passen aan logsyntaxis.
    2. Supervised Fine-tuning: Experts worden gefinetuned met Focal Loss om ernstige class-imbalance te hanteren, gebruikmakend van de K-shot gelabelde data en een pool normale regels.

2. Online Inferentiefase

• Routing: Inkomende logregels worden verwerkt door de Gate. Is de score onder de drempel, dan wordt de regel naar de Universeel Normaal-expert gerouteerd. Is deze boven de drempel, dan routeert de Selector het naar een specifiek falingsdomein.
• Detectie:
  • Regels gerouteerd naar Pure-Anomalie domeinen worden direct gemarkeerd als anomalieën.
  • Regels gerouteerd naar Gemengde domeinen worden gescoord door de specifieke expert en vergeleken met een gekalibreerde drempel.
  • Regels gerouteerd naar Universeel Normaal worden gescoord door een gefuseerd model (combinatie van expert-score en gate-uitvoer) om verkeerd gerouteerde anomalieën te vangen.
• Output: Het systeem output een binaire anomaliebeslissing en een falingsdomein-label, wat directe foutlokaliseren mogelijk maakt zonder sessiereconstructie.

Belangrijkste Bijdragen

1. Detectie op Berichtniveau met Falingsdomein-Routing: FAME produceert zowel een binaire anomaliebeslissing als een benoemd falingsdomein-label voor elke logregel, wat directe foutlokaliseren mogelijk maakt.
2. Failure-Aware Asymmetrische MoE: Het raamwerk formaliseert een asymmetrisch vertrouwenseigenschap onder K-shot sampling: het waarnemen van uitsluitend anomalie-labels in een domein is statistisch concluderend (waardoor detectie alleen via routing mogelijk is), terwijl uitsluitend normale labels dat niet zijn. Dit stelt het systeem in staat het trainen van classifiers voor pure-anomalie domeinen over te slaan.
3. Volledig On-Premise Inferentie met Minimale Labeling: Na één enkele offline LLM-oproep draait alle inferentie op lokale modellen, waardoor terugkerende API-kosten en data-egress worden geëlimineerd. Het systeem bereikt hoge prestaties met een 76-voudige reductie in annotatie-inspanning vergeleken met volledige labeling op regelniveau.

Experimentele Resultaten

Het raamwerk werd geëvalueerd op twee benchmarks: BGL (Blue Gene/L, heterogeen en moeilijk) en Thunderbird (supercomputer logs, structureel scheidbaar).

• Prestaties op BGL: Bij K=100 bereikt FAME een F1-score van 98,16 (Precisie: 98,18, Recall: 98,14). Dit presteert aanzienlijk beter dan single-model baselines (bijv. Single BERT F1 ≈ 29,65) en klassieke detectoren. Het detecteert 86,3% van de anomalieën uit ongezette EventIDs (EventIDs die niet tijdens training zijn gezien), wat sterke generalisatie aantoont.
• Prestaties op Thunderbird: FAME bereikt F1 = 99,95 met perfecte recall, wat overeenkomt met de prestaties van eenvoudigere baselines op dit eenvoudigere dataset.
• Kostenefficiëntie:
  • Annotatie: Bij K=100 vereist FAME slechts 53.287 gelabelde regels op BGL, een 76-voudige reductie vergeleken met het labelen van het volledige dataset van 4,7 miljoen regels.
  • Inferentiekosten: FAME incasseert een eenmalige opzetkosten van $10,23 (inclusief training en één LLM-call). Daarentegen zou directe LLM-inferentie voor dezelfde taak tussen $6.698 en $10.047 per run kosten.
  • Throughput: Het systeem verwerkt tot 1,20 miljoen regels/uur op een enkele 4-GPU node.
• Ablatie-studies: Het verwijderen van de MoE-routing (het gebruik van één enkele globale detector) veroorzaakt een drastische prestatiedaling, wat bevestigt dat het ontleden van het probleem in gespecialiseerde subproblemen de primaire drijvende kracht van succes is. Het verwijderen van de LLM-gebaseerde groepering (het gebruik van TF-IDF) levert nog steeds sterke resultaten op (F1=93,01 op BGL), wat aangeeft dat de expert-decompositie-architectuur de dominante factor is, terwijl LLM's dienen als een semantische booster.

Betekenis en Claims

Het artikel claimt dat FAME aantoont dat sterke detectie op berichtniveau kan worden bereikt zonder de onaanvaardbare kosten van continue LLM-inferentie of exhaustieve handmatige labeling. Door gebruik te maken van een gerouteerde expert-architectuur en de statistische eigenschappen van K-shot sampling, verlegt FAME de last van redeneren naar een eenmalige offline opzet.

De auteurs benadrukken dat de primaire bijdrage de architectuur zelf is en niet de afhankelijkheid van LLM's. De LLM wordt uitsluitend gebruikt om een semantische partitionering voor te stellen, die vervolgens wordt gevalideerd en vastgezet. Het vermogen van het systeem om te generaliseren naar ongezette templates en falingsdomein-labels te leveren, maakt het een praktische oplossing voor real-world productiemilieu's waar operators precieze, actieerbare waarschuwingen nodig hebben zonder enorme API-kosten of handmatige review-overhead. Het raamwerk wordt gepresenteerd als een fundament voor toekomstig werk in online adaptatie en causale incidentanalyse, maar het huidige werk focust strikt op de effectiviteit van de offline-opzet, on-premise inferentie-pijplijn.