Résumé technique : LogSemFuse

Énoncé du problème

La détection d'anomalies dans les journaux (logs) est essentielle pour la surveillance des systèmes logiciels modernes, pourtant les détecteurs basés sur des modèles existants font face à deux limitations principales. Premièrement, bien qu'ils atteignent de fortes performances de détection, ils ne produisent généralement que des scores d'anomalie ou des étiquettes binaires sans fournir la sémantique opérationnelle sous-jacente à la décision. Ce manque de preuves force les opérateurs à inspecter manuellement les journaux pour comprendre pourquoi une session a été signalée, ce qui entrave le diagnostic efficace et la réponse aux incidents. Deuxièmement, bien que les grands modèles de langage (LLM) puissent récupérer une sémantique riche des journaux, les utiliser comme détecteurs autonomes est souvent coûteux, sujet à une variabilité d'inférence et peut ne pas ancrer les explications dans les preuves spécifiques sous-jacentes à une décision. De plus, solliciter directement les LLM pour chaque session est extrêmement coûteux en termes de calcul et difficile à mettre à l'échelle.

Le défi central abordé est la manière d'améliorer les détecteurs de base existants, performants, avec une preuve sémantique interprétable sans remplacer leurs pipelines d'entraînement ni engendrer des coûts d'exécution prohibitifs.

Méthodologie : Le framework LogSemFuse

LogSemFuse est proposé comme un framework d'augmentation sémantique par plug-in. Il ne remplace pas le détecteur de base et ne modifie pas son objectif d'entraînement. Au lieu de cela, il opère au stade de l'inférence pour fusionner la prédiction du détecteur de base avec une preuve sémantique structurée dérivée de trois modules distincts. Le framework maintient une Banque de Connaissances ($K$) construite lors de l'entraînement, qui stocke des artefacts réutilisables afin de minimiser l'usage des LLM lors de l'inférence.

1. Construction de l'évidence lors de l'entraînement

Avant l'inférence, LogSemFuse traite les données d'entraînement pour construire deux types d'évidences réutilisables :

• Banque de motifs d'événements locaux ($K_{ngram}$) : Le système extrait des n-grammes (unigrammes, bigrammes et trigrammes) discriminants à partir des séquences d'EventId dans les sessions d'entraînement anormales étiquetées. Les motifs sont classés par « lift » (support anomal relatif au support normal) et validés pour garantir qu'ils ne se déclenchent pas excessivement sur les sessions normales. Ces motifs fournissent une preuve déterministe et interprétable de comportements anormaux courts et contigus (ex: répétitions de tentatives ou séquences d'exceptions).
• Banque de règles dérivées de clusters ($K_{rule}$) : Les sessions d'entraînement anormales sont regroupées par HDBSCAN en fonction de la distribution de leurs événements. Pour chaque cluster, un LLM est sollicité pour résumer le comportement opérationnel partagé et induire des règles structurées et exécutables. Ces règles utilisent des primitives telles que contains_ngram, ordered_subset, min_count et absent_within. Les règles résultantes capturent des motifs opérationnels plus larges et non contigus, et sont stockées pour une correspondance déterministe lors de l'inférence.

2. Augmentation sémantique lors de l'inférence

Pour une session de log entrante $x$, LogSemFuse agrège quatre signaux binaires pour produire une décision finale et une explication :

1. Signal du Backbone ($s_b$) : Le score d'anomalie ou l'étiquette d'origine du détecteur de base (ex: DeepLog, LogBERT).
2. Signal de motif local ($s_n$) : Déterminé par la correspondance de la séquence d'EventId de la session avec $K_{ngram}$.
3. Signal de règle ($s_r$) : Déterminé par l'exécution des règles de $K_{rule}$ contre la session.
4. Signal de raisonnement sémantique du LLM ($s_\ell$) : Un LLM analyse la session pour fournir une prédiction de haut risque, un score de confiance et une justification (comportement attendu vs observé). Pour contrôler les coûts, le LLM n'est invoqué que pour les nouvelles sessions ; les résultats sont mis en cache par identifiant de session pour réutilisation.

Fusion et Explication :
Un opérateur de fusion (sélectionné parmi les politiques OR, AND, ou vote-$k$ basées sur les données de validation) combine ces quatre signaux pour déterminer l'étiquette d'anomalie finale. Le système génère ensuite une explication basée sur l'évidence en retraçant les signaux contributifs : motifs locaux correspondants, règles de cluster déclenchées (avec leurs explications au niveau du cluster) et la justification du LLM.

Contributions clés

Le papier présente les contributions spécifiques suivantes :

• Framework Plug-in : Une méthode pour améliorer les détecteurs de logs existants avec une preuve sémantique exécutable sans modifier leurs pipelines d'entraînement ou d'inférence originaux.
• Conception de la Banque de Connaissances : Un mécanisme pour stocker des motifs d'événements locaux réutilisables et des règles dérivées de clusters, ainsi que le raisonnement par session mis en cache, permettant une réutilisation efficace et à faible coût.
• Explication basée sur l'évidence : Une approche qui explique les décisions d'anomalie en utilisant les motifs déclenchés, les règles activées et les justifications des LLM, plutôt que des attributions de caractéristiques post-hoc.
• Validation Empirique : Évaluation complète sur trois jeux de données (HDFS, BGL, Liberty) et quatre détecteurs de base, démontrant une amélioration des performances de détection et de la qualité des explications avec un surcoût modeste.

Résultats de l'évaluation

Le framework a été évalué sur les jeux de données HDFS, BGL et Liberty en utilisant DeepLog, LogAnomaly, LogBERT et NeuralLog comme backbones.

• Performance de détection : LogSemFuse a amélioré le score F1 pour chaque baseline non parfaite. Il a récupéré 98,8 % des faux négatifs du backbone sur les ensembles de test. Notamment, il a préservé une performance parfaite dans les cas où le backbone était déjà optimal (ex: LogAnomaly sur Liberty).
• Efficacité : Le framework ajoute un surcoût d'inférence modeste et stable (allant de ~2,3 à 5,8 secondes selon le jeu de données) en s'appuyant sur la correspondance de motifs locaux et l'exécution de règles plutôt que sur des appels répétés au LLM. L'utilisation de tokens par le LLM est amortie par la réutilisation des résultats mis en cache et de la banque de connaissances.
• Évaluation humaine : Une étude utilisateur avec 14 participants (incluant des développeurs et des chercheurs) a montré que les explications de LogSemFuse étaient nettement mieux notées que les explications directes du LLM sur tous les critères (cohérence logique, rigueur technique, clarté, etc.). LogSemFuse a obtenu un score de qualité globale moyen de 4,13 contre 3,06 pour la baseline LLM.
• Études d'ablation : La suppression des motifs d'événements locaux a causé la dégradation de performance la plus significative, indiquant leur rôle critique dans la détection d'indicateurs d'anomalies spécifiques. La banque de règles dérivées de clusters a fourni une preuve réutilisable pour les explications, tandis que le raisonnement du LLM a offert des gains ciblés dans les configurations difficiles.

Signification et Revendications

Le papier affirme que LogSemFuse démontre que l'augmentation sémantique est une stratégie pratique pour renforcer les détecteurs d'anomalies de logs existants. En traitant les LLM et l'induction de règles comme des sources d'évidences réutilisables plutôt que comme des détecteurs autonomes, le framework atteint :

1. Une efficacité accrue : Récupération des anomalies manquées par les modèles basés sur les séquences dues à des signaux épars ou dilués.
2. L'interprétabilité : Fournir aux opérateurs des explications concrètes basées sur l'évidence (motifs, règles et justifications) plutôt que des scores opaques.
3. La scalabilité : Maintien de coûts d'exécution faibles et stables grâce à la mise en cache des artefacts sémantiques et l'évitement de l'inférence LLM par session pour chaque requête.

Les auteurs positionnent LogSemFuse non pas comme un remplacement des détecteurs traditionnels ou un nouveau paradigme centré sur les LLM, mais comme une méthode unifiée pour combler le fossé entre la détection haute performance et la compréhension sémantique actionnable dans l'ingénierie de la fiabilité logicielle.