Detect, Localize, and Explain: Interactive Hierarchical Log Anomaly Analytics with LLM Augmentation

Résumé Technique : Krone-viz – Analyse Interactive des Anomalies de Logs Hiérarchiques avec Augmentation par LLM

Énoncé du Problème
Les infrastructures modernes intensives en données reposent fortement sur les logs pour la surveillance système et le diagnostic des anomalies. Cependant, les méthodes existantes de détection d'anomalies dans les logs présentent des limitations significatives. La plupart des approches traditionnelles opèrent sur des séquences de logs plates, générant un score d'anomalie unique pour l'ensemble d'une séquence sans capacité d'interprétation des résultats ni de localisation de segments anormaux spécifiques. Bien que les approches récentes basées sur les Grands Modèles de Langage (LLM) améliorent l'interprétabilité grâce à des explications en langage naturel, elles opèrent toujours sur des séquences plates. De plus, ces méthodes basées sur les LLM souffrent de limitations de fenêtre de contexte et de coûts de calcul prohibitifs lorsqu'elles sont appliquées à des ensembles de données de logs massifs. Il manque des systèmes capables de décomposer efficacement les logs en unités sémantiques pour permettre une localisation et une explication précises tout en maîtrisant les coûts des LLM.

Méthodologie : Le Cadre Krone
L'article présente Krone, un cadre conçu pour transformer des séquences de logs plates en unités hiérarchiques sémantiquement cohérentes. Krone-viz est le système de visualisation interactive construit sur ce cadre pour rendre ces capacités actionnables pour les ingénieurs. La méthodologie repose sur trois innovations fondamentales :

1. Modèle d'Abstraction de Logs Krone (Krone-Tree) :
   Krone introduit une abstraction hiérarchique qui reconstruit la sémantique d'exécution directement à partir des logs. Il définit une hiérarchie sémantique à trois niveaux :

   • Entités : Correspondent aux composants du système.
   • Actions : Capturent les opérations effectuées.
   • Statuts : Reflètent le résultat de chaque action.
     En utilisant la Reconnaissance d'Entités Nommées (NER) basée sur les LLM sur les modèles de logs, Krone construit un Krone-Tree. Cet arbre permet de décomposer de longues séquences de logs plates en Krone Seqs — des segments contigus et sémantiquement cohérents représentés comme des séquences de nœuds à travers les niveaux d'entité, d'action et de statut.

2. Détection d'Anomalies Hiérarchique et Modulaire :
   La détection d'anomalies est formulée comme des tâches modulaires sur les Krone Seqs décomposés. Le système emploie une stratégie d'orchestration ascendante :

   • Filtrage Léger : Un détecteur par correspondance de motifs (PM) évalue d'abord les Krone Seqs pour filtrer efficacement les motifs normaux connus.
   • Invocation Sélective des LLM : Seuls les Krone Seqs incertains ou inconnus déclenchent un raisonnement basé sur les LLM.
   • Arrêt Anticipé : Le système examine d'abord les segments de bas niveau (Statuts). Si une anomalie est détectée à un niveau inférieur, le processus s'arrête immédiatement pour éviter des calculs inutiles sur les compositions de niveaux supérieurs, car les anomalies se propagent vers le haut.
   • Vérification Contextuelle : La hiérarchie fournit un périmètre sémantique bien défini, permettant au LLM d'ancrer son raisonnement dans des modèles de comportement normaux (par exemple, les transitions d'actions typiques au sein d'une entité) en utilisant des exemples en contexte.

3. Base de Connaissances pour une Détection Amortie :
   Reconnaissant que les Krone Seqs sont des unités d'exécution atomiques qui se reproduisent fréquemment à travers différentes séquences de logs, Krone maintient une Base de Connaissances hiérarchique.

   • Réutilisation : Une fois un Krone Seq évalué (soit par PM, soit par LLM), le résultat et l'explication sont stockés.
   • Réduction des Coûts : Lors de la détection, le système interroge d'abord cette base de connaissances, n'invocant le LLM que si aucune entrée correspondante n'existe. Cela réduit considérablement les appels LLM redondants.
   • Raffinement Continu : La base de connaissances prend en charge les corrections avec intervention humaine, permettant aux utilisateurs de réviser les connaissances stockées pour améliorer la qualité future de la détection et de l'explication.

Démonstration Krone-viz
L'article présente Krone-viz, une plateforme interactive démontrée sur le jeu de données de référence HDFS largement utilisé. Le système visualise les quatre étapes du flux de travail Krone :

1. Extraction de Hiérarchie : Les utilisateurs chargent des modèles de logs, et le système construit le Krone-Tree, visualisant les relations sémantiques entre les entités, les actions et les statuts.
2. Traitement des Données d'Entraînement : Les utilisateurs observent comment les séquences de logs normales sont décomposées en Krone Seqs hiérarchiques et stockées comme unités d'exécution de vérité terrain.
3. Détection d'Anomalies : Les utilisateurs déclenchent la détection sur des séquences de test. L'interface visualise le processus modulaire ascendant, mettant en évidence les segments signalés par le matching de motifs et fournissant des explications générées par LLM pour les anomalies confirmées.
4. Gestion des Connaissances : Les utilisateurs peuvent explorer la base de connaissances accumulée, consulter les statistiques pour des nœuds spécifiques, inspecter les résultats détaillés de détection, et outrepasser ou réviser les connaissances stockées pour orienter les analyses futures.

Résultats Clés
L'article rapporte des améliorations globales du cadre Krone par rapport aux méthodes antérieures basées sur des benchmarks publics réels :

• Précision : Le score F1 est passé de 82,76 % (méthodes antérieures) à 92,83 %.
• Efficacité des Données : L'approche a réduit l'espace de données requis d'un facteur de 117,3×.
• Efficacité des Ressources LLM : Le système a réduit l'utilisation des LLM à 1,1 %–3,3 % de la taille des données de test en exploitant la base de connaissances et l'invocation sélective.

Signification
L'article affirme que Krone-viz comble le fossé critique dans l'analyse des logs en rendant la décomposition hiérarchique, la localisation des anomalies et l'explication interprétables et actionnables pour les ingénieurs logiciels et les opérateurs système. En intégrant une utilisation efficace des LLM avec un cadre hiérarchique et modulaire, Krone permet :

• Localisation Précise : Identifier des segments anormaux spécifiques au sein des contextes d'exécution plutôt que d'étiqueter des séquences entières.
• Évolutivité Rentable : Réduire drastiquement les coûts de calcul et les besoins en données par rapport aux approches LLM sur séquences plates.
• Analyse avec Intervention Humaine : Permettre aux utilisateurs de revoir, corriger et affiner les insights générés par l'IA, atténuant ainsi les risques d'hallucinations et construisant une base de connaissances réutilisable pour l'amélioration continue du système.

Ce travail est présenté comme une démonstration de la manière d'atteindre une analyse de logs évolutive et interprétable grâce à une intégration efficace et consciente des coûts des LLM.