Résumé Technique : FAME – Mélange d'Experts Sensible aux Pannes pour la Détection d'Anomalies au Niveau des Messages

Énoncé du Problème

Les systèmes distribués en production génèrent des millions de lignes de journal quotidiennement, pourtant les détecteurs d'anomalies existants fonctionnent généralement au niveau de la fenêtre ou de la session. Cette granularité grossière attribue une seule étiquette d'anomalie à un groupe contigu de lignes, contraignant les opérateurs à inspecter manuellement des centaines de messages routiniers pour localiser la panne spécifique. Bien que la détection au niveau du message (niveau de la ligne) offre la précision nécessaire pour une localisation directe des pannes, elle fait face à trois défis majeurs :

1. Ambiguïté des Modèles (C1) : Un modèle d'événement unique (dérivé de l'analyse syntaxique des journaux) peut contenir à la fois des instances normales et anormales selon les valeurs des paramètres, rendant l'identité du modèle insuffisante pour la classification.
2. Modes de Panne Hétérogènes (C2) : Les anomalies couvrent divers sous-systèmes (par exemple, erreurs de mémoire, partitions réseau, défauts du système de fichiers). Un classifieur global unique peine à ajuster une frontière de décision unique à travers ces populations hétérogènes sans sacrifier la précision ou le rappel.
3. Rareté des Étiquettes (C3) : L'étiquetage manuel de millions de lignes à la granularité du message est opérationnellement irréalisable. Bien que les Grands Modèles de Langage (LLM) puissent raisonner sur la sémantique des journaux, les invoquer pour chaque ligne dans un flux continu engendre des coûts d'API et une latence prohibitifs.

Méthodologie : Cadre FAME

FAME (Mélange d'Experts Sensible aux Pannes) répond à ces défis grâce à une architecture de Mélange d'Experts (MoE) sensible aux pannes et économe en étiquettes. L'idée centrale est que le raisonnement par LLM n'est requis qu'une seule fois lors d'une phase de configuration hors ligne ; tous les inférences ultérieurs s'exécutent sur des modèles légers, sur site.

1. Phase de Configuration Hors Ligne

• Analyse Syntaxique et Échantillonnage K-Shot : Les journaux bruts sont analysés en identifiants d'événements (EventIDs) à l'aide de Drain3. Pour contrôler les coûts d'annotation, le système échantillonne au maximum K lignes étiquetées par EventID (par exemple, K=100). Ces échantillons sont divisés en sous-ensembles d'entraînement et de calibration.
• Partitionnement Sémantique Guidé par LLM : Un LLM est invoqué une seule fois hors ligne. Il reçoit les statistiques et des exemples représentatifs pour chaque EventID et propose une partition des modèles en domaines de panne sémantiquement cohérents (par exemple, "Erreurs de Mémoire DDR", "Défaillances de Liaison Réseau").
• Certification : La proposition du LLM est validée de manière déterministe contre les étiquettes K-shot :
  • Domaines Purement Anormaux : Si les K échantillons d'un domaine sont tous anormaux, le domaine est certifié comme "purement anormal". Aucun classifieur n'est entraîné ; le mécanisme de routage lui-même agit comme le détecteur.
  • Domaines Mixtes : Si les échantillons contiennent à la fois des lignes normales et anormales, un classifieur expert dédié est entraîné.
  • Normal Universel : Les modèles non assignés ou non anormaux par défaut sont affectés à un pool de normalité universelle.
• Entraînement du Modèle :
  • Routage : Un modèle DistilBERT léger est entraîné pour router les lignes entrantes vers le bon domaine de panne (ou le pool Normal Universel). Il se compose d'une Porte binaire (expert vs normal) et d'un Sélecteur multiclasse (expert spécifique).
  • Experts : Les domaines mixtes sont entraînés selon une approche en Deux Phases :
    1. Pré-entraînement MLM Adaptatif au Domaine : BERT est poursuivi en pré-entraînement sur un grand corpus de journaux normaux pour s'adapter à la syntaxe des journaux.
    2. Affinement Supervisé : Les experts sont affinés avec une Perte Focale (Focal Loss) pour gérer le déséquilibre de classe sévère, en utilisant les données étiquetées K-shot et un pool de lignes normales.

2. Phase d'Inférence en Ligne

• Routage : Les lignes de journal entrantes sont traitées par la Porte. Si le score est inférieur au seuil, la ligne est routée vers l'expert Normal Universel. Si supérieur, le Sélecteur la dirige vers un domaine de panne spécifique.
• Détection :
  • Les lignes routées vers les domaines Purement Anormaux sont immédiatement signalées comme des anomalies.
  • Les lignes routées vers les domaines Mixtes sont notées par l'expert spécifique et comparées à un seuil calibré.
  • Les lignes routées vers le Normal Universel sont notées par un modèle fusionné (combinant le score de l'expert et la sortie de la porte) pour attraper les anomalies mal routées.
• Sortie : Le système produit une décision binaire d'anomalie et une étiquette de domaine de panne, permettant une localisation directe des pannes sans reconstruction de session.

Contributions Clés

1. Détection au Niveau du Message avec Routage par Domaine de Panne : FAME produit à la fois une décision binaire d'anomalie et une étiquette nommée de domaine de panne pour chaque ligne de journal, permettant une localisation directe des pannes.
2. MoE Asymétrique Sensible aux Pannes : Le cadre formalise une propriété de confiance asymétrique sous échantillonnage K-shot : observer des étiquettes toutes anormales dans un domaine est statistiquement concluant (permettant une détection par routage uniquement), tandis que des étiquettes toutes normales ne le sont pas. Cela permet au système de sauter l'entraînement de classifieurs pour les domaines purement anormaux.
3. Inférence Entièrement Sur Site avec Étiquetage Minimal : Après une seule invocation de LLM hors ligne, toutes les inférences s'exécutent sur des modèles locaux, éliminant les coûts d'API récurrents et l'exfiltration de données. Le système atteint des performances élevées avec une réduction de 76× de l'effort d'annotation par rapport à l'étiquetage complet au niveau de la ligne.

Résultats Expérimentaux

Le cadre a été évalué sur deux benchmarks : BGL (Blue Gene/L, hétérogène et difficile) et Thunderbird (journaux de superordinateur, structurellement séparables).

• Performance sur BGL : À K=100, FAME atteint un score F1 de 98,16 (Précision : 98,18, Rappel : 98,14). Cela surpasse significativement les modèles de base à modèle unique (par exemple, BERT unique F1 ≈ 29,65) et les détecteurs classiques. Il détecte 86,3 % des anomalies provenant d'EventIDs non vus (EventIDs non rencontrés lors de l'entraînement), démontrant une forte généralisation.
• Performance sur Thunderbird : FAME atteint F1 = 99,95 avec un rappel parfait, égalant les performances de modèles de base plus simples sur cet ensemble de données plus facile.
• Efficacité des Coûts :
  • Annotation : À K=100, FAME ne nécessite que 53 287 lignes étiquetées sur BGL, soit une réduction de 76× par rapport à l'étiquetage de l'ensemble de données complet de 4,7 millions de lignes.
  • Coût d'Inférence : FAME engendre un coût de configuration unique de 10,23 $ (incluant l'entraînement et un seul appel LLM). En revanche, une inférence LLM directe pour la même tâche coûterait entre 6 698 $ et 10 047 $ par exécution.
  • Débit : Le système traite jusqu'à 1,20 million de lignes/heure sur un seul nœud à 4 GPU.
• Études d'Ablation : La suppression du routage MoE (en utilisant un détecteur global unique) provoque une chute drastique des performances, confirmant que la décomposition du problème en sous-problèmes spécialisés est le principal moteur du succès. La suppression du regroupement basé sur LLM (en utilisant TF-IDF) produit toujours des résultats solides (F1=93,01 sur BGL), indiquant que l'architecture de décomposition par experts est le facteur dominant, tandis que les LLM servent d'amplificateur sémantique.

Importance et Revendications

L'article revendique que FAME démontre qu'une détection forte au niveau du message peut être atteinte sans les coûts prohibitifs d'une inférence LLM continue ou d'un étiquetage manuel exhaustif. En tirant parti d'une architecture d'experts routés et des propriétés statistiques de l'échantillonnage K-shot, FAME déplace le fardeau du raisonnement vers une configuration hors ligne unique.

Les auteurs soulignent que la contribution principale est l'architecture elle-même plutôt que la dépendance aux LLM. Le LLM est utilisé uniquement pour proposer une partition sémantique, qui est ensuite validée et figée. La capacité du système à généraliser à des modèles non vus et à fournir des étiquettes de domaine de panne en fait une solution pratique pour les environnements de production réels où les opérateurs ont besoin d'alertes précises et exploitables sans engendrer de coûts d'API massifs ou de frais généraux de révision manuelle. Le cadre est présenté comme une base pour les travaux futurs sur l'adaptation en ligne et l'analyse causale des incidents, mais le travail actuel se concentre strictement sur l'efficacité du pipeline d'inférence sur site avec configuration hors ligne.