Technische Samenvatting: State Machine-gestuurde Multi-relationele Synthetische Data uit Logs voor Anomaliedetectie

Probleemformulering

Moderne softwaresystemen genereren enorme volumes aan ongestructureerde executielogs die gedrag, fouten en componentinteracties registreren. Hoewel deze logs centraal staan voor anomaliedetectie, behandelen bestaande methoden ze voornamelijk als platte sequenties van event-templates. Deze aanpak negeert de latente relationele executiestructuur—de control flow, staatsovergangen en afhankelijkheden tussen parameters, resources en componenten—die bepaalt hoe executies evolueren.

Huidige technieken voor logsynthese en augmentatie opereren vaak op template- of sequentieniveau, waardoor ze de onderliggende executiesemantiek niet respecteren. Gevolgelijk produceren ze vaak onrealistische of structureel ongeldige traces die niet generaliseren naar complexe foutmodi. Bovale de aanwezigheid van Large Language Models (LLMs) veelbelovend is voor het begrijpen van ongestructureerde tekst, is het toepassen ervan op een single-pass wijze voor logsynthese onvoldoende vanwege beperkingen in het contextvenster, een gebrek aan structurele garanties en de vatbaarheid voor hallucinaties bij het genereren van complexe executietraces. De kernuitdaging die wordt aangepakt, is de gezamenlijke ontdekking van de latente executiestructuur uit ruwe logs en het gebruik van die structuur om de principiële generatie van multi-relationele synthetische data te sturen.

Methodologie: LogSynthFSM

De auteurs stellen LogSynthFSM voor, een gecoördineerd multi-agent LLM-framework dat is ontworpen om latente executiestructuren te ontdekken en multi-relationele synthetische data te genereren. Het systeem deelt de synthesetaken op in gespecialiseerde agenten die opereren in een closed-loop pipeline:

1. Execution Parsing Agent: Zet ruwe, ongestructureerde logs om in gestructureerde event-representaties ($e_i = (t_i, \theta_i, \tau_i)$), waarbij templates, parameters en timestamps worden geëxtraheerd. Dit fungeert als een compressie-operator om lexicale ruis te verminderen en de contextbeperkingen van de LLM te mitigeren.
2. State Discovery Agent: Concludeert een latente Finite State Machine (FSM) ($F = (S, A, \delta)$) uit de gestructureerde event-sequenties. Het groepeert events in staten zodanig dat de resulterende sequentie aan de Markov-eigenschap voldoet, waarbij een balans wordt gevonden tussen expressiviteit en identificeerbaarheid om de control flow te herstellen die de executie stuurt.
3. Schema Induction Agent: Transformeert de geïnformeerde FSM naar een expliciet multi-table relationeel schema ($R$). Dit schema bevat tabellen voor traces, events, staten, transities en parameters, verbonden door primaire en vreemde sleutelrestricties. Deze factorisatie scheidt de control flow van de staat-specifieke attributen, wat structurele getrouwheid garandeert.
4. Relational Synthesis Agent: Genereert synthetische relationele data door geldige staatspaden te samplen uit de geïnformeerde FSM en event/parameter-records te synthetiseren, geconditioneerd op staat-specifieke distributies. Deze agent vergroot zeldzame maar geldige executiegedragingen terwijl strikt wordt vastgehouden aan de structurele en temporele restricties van de FSM.
5. Consistency Evaluation Agent: Beoordeelt de gegenereerde data over drie dimensies:
   • Structurele Consistentie: Verifieert schema-restricties (sleutels, ordening, geldige transities).
   • Proces Consistentie: Zorgt ervoor dat executies overeenkomen met legale FSM-traversals.
   • Distributionele Consistentie: Vergelijkt attribuutdistributies met echte data om drift te detecteren.
     Deze agent biedt feedback om iteratieve verfijning te sturen, waarbij ongeldige of gehallucineerde outputs worden gefilterd.

Het framework werkt als een iteratieve loop waarbij de Consistency Evaluation Agent batches synthetische data valideert tegen de geïnformeerde FSM en het schema, om er zeker van te zijn dat alleen structureel geldige en distributioneel realistische data behouden blijft voor downstream gebruik.

Belangrijkste Bijdragen

• Ontdekking van Latente Structuur: Het artikel toont aan dat executielogs impliciet een relationele database bevatten die wordt beheerd door een latente state machine, die direct uit ruwe logs kan worden hersteld zonder voorafgaande kennis van de systeemarchitectuur.
• Multi-Agent Framework: Het introduceert een nieuw multi-agent architectuur die de complexe taak van logsynthese deelt in verifieerbare fasen (parsing, state discovery, schema induction, synthese, evaluatie), waarmee de beperkingen van single-pass LLM-generatie worden overwonnen.
• Relationele Synthetische Data: In tegen tegenstelling tot sequentie-gebaseerde augmentatie, genereert LogSynthFSM multi-table relationele data die globale processemantiek, temporele ordening en cross-entity afhankelijkheden behoudt.
• Constraint-Aware Generatie: Door de herstelde FSM als een generatieve prior te gebruiken, zorgt het framework ervoor dat synthetische data voldoet aan strikte executierestricties, wat de creatie van semantisch incoherente traces voorkomt.

Experimentele Resultaten

Het framework werd geëvalueerd op vier real-world systeemlog-datasets (BGL, Thunderbird, Hadoop, OpenStack) met behulp van een Graph Neural Network (GNN) voor downstream anomaliedetectie.

• Anomaliedetectie Prestaties: LogSynthFSM behaalde een PR-AUC van 0,742, waarmee het de sterkste LLM-gebaseerde baseline (GraphMaster met 0,701) en klassieke augmentatiemethoden versloeg.
• Detectie van Zeldzame Events: De methode verbeterde de detectie van zeldzame gedragingen aanzienlijk, waarbij de Rare PR-AUC steeg van 0,438 (GraphMaster) naar 0,511.
• Structurele Getrouwheid:
  • Transition Validity Rate (TVR): 0,985, wat aangeeft dat 98,5% van de synthetische transities geldig was volgens de geïnformeerde FSM.
  • Distributionele Gelijkenis: De $k$-gram pad Jensen–Shannon divergentie werd verminderd tot 0,091 (vergeleken met 0,137 voor GraphMaster), wat wijst op een nauwere aansluiting bij echte executiedynamiek.
  • Onderscheidbaarheid: De Classifier Two-Sample Test (C2ST) AUC was 0,503 (nabij het ideale 0,50), wat suggereert dat synthetische traces moeilijk te onderscheiden zijn van echte traces.
• Ablatie-studies: Het verwijderen van de State Discovery Agent veroorzaakte de meest ernstige degradatie (Rare PR-AUC daalde naar 0,341), wat bevestigt dat expliciete staat-modellering essentieel is. Het verwijderen van de Consistency Evaluation Agent verminderde ook de PR-AUC (naar 0,703) en verhoogde de C2ST AUC (naar 0,567), wat het belang van closed-loop validatie benadrukt.
• Efficiëntie: Het systeem draait effectief op consumentenhardware (single RTX 4080 SUPER) met looptijden van 41–52 minuten, wat aantoont dat gespecialiseerde infrastructuur niet vereist is.

Betekenis en Claims

Het artikel claimt dat executielogs impliciet een relationele database bevatten die wordt beheerd door een latente state machine. Het herstellen van deze structuur maakt geprincieerde synthetische datageneratie mogelijk die zowel robuust als interpreteerbaar is.

De auteurs benadrukken dat de prestatiewinsten niet louter voortkomen uit het gebruik van grotere taalmodellen of een groter datavolume. In plaats daarvan komen de verbeteringen voort uit de architecturale integratie van executie-parsing, state discovery, schema induction en constraint-aware relationele synthese binnen een closed-loop multi-agent framework. Deze aanpak waarborgt structurele correctheid en distributionele realisme, en pakt de fundamentele beperking aan van bestaande methoden die de relationele en procesmatige structuur van software-executies negeren. Het werk suggereert een veelbelovende richting voor het genereren van executie-bewuste synthetische data om de anomaliedetectie in complexe, gedistribueerde softwaresystemen te verbeteren.