Résumé technique : Synthèse de données multi-relationnelles guidée par des machines à états à partir de journaux pour la détection d'anomalies

Formulation du problème

Les systèmes logiciels modernes génèrent des volumes massifs de journaux d'exécution non structurés qui enregistrent le comportement, les défaillances et les interactions entre composants. Bien que ces journaux soient centraux pour la détection d'anomalies, les méthodes existantes les traitent principalement comme des séquences plates de modèles d'événements. Cette approche néglige la structure relationnelle d'exécution latente — le flux de contrôle, les transitions d'état et les dépendances entre les paramètres, les ressources et les composants — qui régit l'évolution des exécutions.

Les techniques actuelles de synthèse et d'augmentation de journaux opèrent souvent au niveau du modèle ou de la séquence, échouant à respecter la sémantique d'exécution sous-jacente. Par conséquent, elles produisent fréquemment des traces irréalistes ou structurellement invalides qui ne se généralisent pas aux modes de défaillance complexes. De plus, bien que les grands modèles de langage (LLM) soient prometteurs pour comprendre le texte non structuré, l'application d'une génération en un seul passage pour la synthèse de journaux est insuffisante en raison des limites de la fenêtre de contexte, d'un manque de garanties structurelles et d'une susceptibilité à l'hallucination lors de la génération de traces d'exécution complexes. Le défi central abordé est la découverte conjointe de la structure d'exécution latente à partir de journaux bruts et l'utilisation de cette structure pour guider la génération principled de données synthétiques multi-relationnelles.

Méthodologie : LogSynthFSM

Les auteurs proposent LogSynthFSM, un cadre multi-agents coordonné basé sur les LLM, conçu pour découvrir les structures d'exécution latentes et générer des données synthétiques multi-relationnelles. Le système décompose la tâche de synthèse en agents spécialisés opérant dans un pipeline en boucle fermée :

1. Agent de parsing d'exécution : Convertit les journaux bruts et non structurés en représentations d'événements structurées ($e_i = (t_i, \theta_i, \tau_i)$), extrayant les modèles, les paramètres et les horodatages. Cela agit comme un opérateur de compression pour réduire le bruit lexical et atténuer les limitations de contexte des LLM.
2. Agent de découverte d'états : Infère une machine à états finis (FSM) latente ($F = (S, A, \delta)$) à partir des séquences d'événements structurées. Il regroupe les événements en états de sorte que la séquence résultante satisfasse une propriété de Markov, équilibrant expressivité et identifiabilité pour récupérer le flux de contrôle régissant le système.
3. Agent d'induction de schéma : Transforme la FSM inférée en un schéma relationnel multi-tables explicite ($R$). Ce schéma comprend des tables pour les traces, les événements, les états, les transitions et les paramètres, connectées par des contraintes de clés primaires et étrangères. Cette factorisation sépare le flux de contrôle des attributs conditionnés par l'état, assurant la fidélité structurelle.
4. Agent de synthèse relationnelle : Génère des données relationnelles synthétiques en échantillonnant des chemins d'états valides à partir de la FSM inférée et en synthétisant des enregistrements d'événements/paramètres conditionnés par les distributions spécifiques à l'état. Cet agent amplifie les comportements d'exécution rares mais valides tout en respectant strictement les contraintes structurelles et temporelles de la FSM.
5. Agent d'évaluation de la cohérence : Évalue les données générées selon trois dimensions :
   • Cohérence structurelle : Vérifie les contraintes de schéma (clés, ordonnancement, transitions valides).
   • Cohérence de processus : Garantit que les exécutions correspondent à des traversées de FSM légales.
   • Cohérence distributionnelle : Compare les distributions d'attributs avec les données réelles pour détecter la dérive.
     Cet agent fournit un feedback pour guider le raffinement itératif, filtrant les sorties invalides ou hallucinées.

Le cadre fonctionne comme une boucle itérative où l'Agent d'évaluation de la cohérence valide les lots de données synthétiques par rapport à la FSM et au schéma inférés, garantissant que seules les données structurellement valides et distributionnellement réalistes sont conservées pour l'utilisation en aval.

Contributions clés

• Découverte de structure latente : L'article démontre que les journaux d'exécution encodent implicitement une base de données relationnelle régie par une machine à états latente, qui peut être récupérée directement à partir de journaux bruts sans connaissance préalable de l'architecture du système.
• Cadre multi-agents : Il introduit une architecture multi-agents novatrice qui décompose la tâche complexe de synthèse de journaux en étapes vérifiables (parsing, découverte d'états, induction de schéma, synthèse et évaluation), surmontant les limites de la génération par LLM en un seul passage.
• Données synthétiques relationnelles : Contra-rément à l'augmentation basée sur les séquences, LogSynthFSM génère des données relationnelles multi-tables qui préservent la sémantique globale du processus, l'ordonnancement temporel et les dépendances entre entités.
• Génération sensible aux contraintes : En utilisant la FSM récupérée comme un a priori génératif, le cadre garantit que les données synthétiques respectent des contraintes d'exécution strictes, empêissant la création de traces sémantiquement incohérentes.

Résultats expérimentaux

Le cadre a été évalué sur quatre jeux de données de journaux de systèmes réels (BGL, Thunderbird, Hadoop, OpenStack) en utilisant un réseau de neurones sur graphes (GNN) pour la détection d'anomalies en aval.

• Performance de détection d'anomalies : LogSynthFSM a atteint un PR-AUC de 0,742, surpassant la base LLM la plus forte (GraphMaster à 0,701) et les méthodes d'augmentation classiques.
• Détection d'événements rares : La méthode a considérablement amélioré la détection des comportements rares, faisant passer le Rare PR-AUC de 0,438 (GraphMaster) à 0,511.
• Fidélité structurelle :
  • Taux de validité des transitions (TVR) : 0,985, indiquant que 98,5 % des transitions synthétiques étaient valides selon la FSM inférée.
  • Similitude distributionnelle : La divergence de Jensen–Shannon des chemins $k$-grammes a été réduite à 0,091 (contre 0,137 pour GraphMaster), montant un meilleur alignement avec la dynamique d'exécution réelle.
  • Distinguabilité : L'AUC du test d'échantillon de deux classes (C2ST) était de 0,503 (proche de l'idéal 0,50), suggérant que les traces synthétiques sont difficiles à distinguer des traces réelles.
• Études d'ablation : Le retrait de l'Agent de découverte d'états a causé la dégradation la plus sévère (le Rare PR-AUC est tombé à 0,341), confirmant que la modélisation explicite des états est essentielle. Le retrait de l'Agent d'évaluation de la cohérence a également réduit le PR-AUC (à 0,703) et augmenté l'AUC C2ST (à 0,567), soulignant la nécessité d'une validation en boucle fermée.
• Efficacité : Le système fonctionne efficacement sur du matériel grand public (une seule RTX 4080 SUPER) avec des temps d'exécution de 41 à 52 minutes, démontant qu'aucune infrastructure spécialisée n'est requise.

Signification et affirmations

L'article affirme que les journaux d'exécution encodent implicitement une base de données relationnelle régie par une machine à états latente. La récupération de cette structure permet une génération de données synthétiques fondée sur des principes qui soit à la fois robuste et interprétable.

Les auteurs soulignent que les gains de performance ne sont pas simplement dus à l'utilisation de modèles de langage plus grands ou à l'augmentation du volume de données. Au contraire, les améliorations proviennent de l'intégration architecturale du parsing d'exécution, de la découverte d'états, de l'induction de schéma et de la synthèse relationnelle sensible aux contraintes au sein d'un cadre multi-agents en boucle fermée. Cette approche garantit la correction structurelle et le réalisme distributionnel, répondant à la limitation fondamentale des méthodes existantes qui ignorent la structure relationnelle et de processus des exécutions logicielles. Ce travail suggère une direction prometteuse pour la génération de données synthétiques conscientes de l'exécution afin d'améliorer la détection d'anomalies dans les systèmes logiciels distribués et complexes.