VarParser: Unleashing the Neglected Power of Variables for LLM-based Log Parsing

1. Problématique et Contexte

L'analyse des logs (journaux d'événements) est cruciale pour le diagnostic des pannes dans les systèmes de services en ligne à grande échelle. L'étape fondamentale de cette analyse est le parsing de logs, qui consiste à transformer des données non structurées en événements structurés (modèles ou templates).

Bien que les modèles de langage de grande taille (LLM) aient démontré une grande efficacité pour cette tâche grâce à leurs capacités de compréhension du texte, les méthodes existantes basées sur les LLM souffrent d'une limitation majeure : elles adoptent une stratégie centrée sur les constantes (constant-centric). Elles ignorent la partie variable des logs (adresses IP, IDs, horodatages dynamiques, etc.), ce qui engendre quatre problèmes critiques :

1. Échantillonnage et regroupement inefficaces : Le regroupement basé uniquement sur les constantes limite l'efficacité de l'échantillonnage des données historiques.
2. Appels LLM excessifs : Une mise en cache basée uniquement sur les constantes entraîne un taux d'échec élevé lors de la correspondance (matching), obligeant à invoquer fréquemment le LLM.
3. Coûts élevés : La consommation de tokens pour les constantes dans les prompts est inutilement élevée, augmentant les coûts d'inférence.
4. Perte de visibilité système : Les méthodes actuelles ne conservent que les modèles avec des espaces réservés (placeholders), jetant les informations variables précieuses (états du système, valeurs codées) qui seraient utiles pour le diagnostic ultérieur.

2. Méthodologie : VarParser

Pour surmonter ces limites, les auteurs proposent VarParser, la première approche de parsing de logs basée sur les LLM qui adopte une stratégie centrée sur les variables (variable-centric). L'architecture repose sur trois modules principaux :

A. Échantillonnage par Contribution des Variables (Variable Contribution Sampling)

Au lieu de regrouper les logs par similarité de constantes, VarParser regroupe les logs selon leurs variables.

• Regroupement : Les logs sont tokenisés et les mots communs (constants) sont filtrés. Les logs partageant les mêmes types de tokens "incommuns" (variables) sont regroupés.
• Calcul de contribution : Les tokens variables sont clusterisés (via la similarité de Jaccard) pour identifier les types de variables. La contribution d'un log est calculée en fonction de la diversité et de la fréquence de ses clusters de variables.
• Échantillonnage glouton : Un algorithme sélectionne itérativement les logs ayant la plus forte contribution informationnelle, en réinitialisant la contribution des variables déjà couvertes pour garantir la diversité de l'ensemble d'apprentissage.

B. Cache de Parsing Centré sur les Variables (Variable-Centric Parsing Cache)

Le cache traditionnel (arbre de préfixes) est enrichi pour gérer les variables dynamiquement.

• Table de correspondance floue (Variable-fuzzed Matching Table) : Les contenus dynamiques courants (IP, chemins de fichiers) sont masqués par des expressions régulières avant la mise en cache, permettant une correspondance rapide même si les valeurs exactes changent.
• Correspondance avec masquage (Mask Matching) : Lorsqu'une correspondance échoue, au lieu d'appeler immédiatement le LLM, le système masque les positions des variables connues dans le modèle du cache et compare le reste avec le nouveau log. Cela réduit les faux négatifs causés par l'instabilité des sorties du LLM.
• Unités de variables (Variable Units) : Le cache stocke non seulement le modèle, mais aussi des "unités" contenant les labels, les instances spécifiques et les fréquences des variables.
• Correction de cache : Un mécanisme détecte et corrige les erreurs d'hallucination du LLM (ex: identifier un mot commun comme variable) en réétiquetant les constantes incorrectement identifiées.

C. Apprentissage Contextuel Adaptatif et Conscient des Variables (Adaptive Variable-aware ICL)

Pour les logs non correspondants, le LLM est sollicité avec un prompt optimisé.

• Sélection d'exemples au niveau des tokens : Au lieu de fournir des paires log-modèle entières, VarParser sélectionne dynamiquement des exemples de variables spécifiques (ex: token -> {label}) basés sur la similarité avec les tokens inconnus du log à analyser.
• Réduction des tokens : Cette approche réduit considérablement la taille des prompts en éliminant le texte constant redondant, tout en fournissant au LLM des indices contextuels plus fins et pertinents.

3. Contributions Clés

1. Nouvelle Stratégie : Introduction d'une approche centrée sur les variables pour le parsing de logs, exploitant l'information dynamique souvent négligée.
2. Premier Parser LLM Centré sur les Variables (VarParser) : Intégration de l'échantillonnage par contribution, d'un cache enrichi par des unités de variables et d'un ICL adaptatif.
3. Intégrité des Résultats : Préservation des informations variables (types, instances, fréquences) dans les résultats, offrant une visibilité accrue sur l'état du système.
4. Efficacité et Coût : Réduction significative du nombre d'appels au LLM et de la consommation de tokens grâce aux mécanismes de masquage et de sélection d'exemples ciblés.

4. Résultats Expérimentaux

Les évaluations ont été menées sur le jeu de données de référence Loghub-2.0 (14 datasets, ~3,69 millions de logs) en comparant VarParser à 8 méthodes de pointe (syntaxiques, sémantiques et basées sur LLM).

• Précision : VarParser obtient les meilleurs résultats moyens sur toutes les métriques.
  • Gain moyen de +3,9% en Précision de Regroupement (GA), +8,5% en Précision de Parsing (PA) et +5,8% en F1-score de Précision de Modèle (FTA) par rapport aux meilleures méthodes existantes.
  • Il surpasse particulièrement les autres méthodes LLM sur la métrique FTA (la plus stricte), démontrant une meilleure capacité à séparer les constantes des variables.
• Efficacité :
  • Réduction du temps de parsing de 51,2% par rapport à LILAC et de 14,8% par rapport à LogBatcher.
  • Le temps d'échantillonnage est accéléré d'un facteur 2,3x grâce au regroupement basé sur les variables.
• Coûts LLM :
  • Réduction de la consommation totale de tokens de 56,1% par rapport à LILAC.
  • Réduction de 13,0% des tokens totaux par rapport à LogBatcher (qui nécessite un traitement par lots et cause des temps d'arrêt).
• Robustesse : Les performances restent stables sur différents modèles LLM (GPT-3.5-turbo, Llama3-70b, Qwen-plus).

5. Signification et Impact

VarParser représente une avancée significative dans le domaine de l'analyse de logs automatisée. En inversant la logique traditionnelle (qui privilégie les constantes), il démontre que les variables sont une source d'information sous-exploitée pour améliorer la précision, l'efficacité et la richesse des résultats.

L'impact principal réside dans la capacité à fournir aux ingénieurs non seulement des modèles de logs, mais aussi une vue d'ensemble des variables (fréquences, types, exemples concrets), ce qui améliore considérablement la visibilité du système et l'efficacité du diagnostic de pannes. De plus, la réduction drastique des coûts d'appel aux LLM rend cette approche économiquement viable pour des environnements industriels traitant des volumes massifs de données en temps réel.