LogFold: Compressing Logs with Structured Tokens and Hybrid Encoding

1. Problématique et Contexte

Les journaux d'événements (logs) sont essentiels pour la maintenance logicielle, le débogage et l'audit de sécurité. Cependant, la croissance exponentielle des systèmes logiciels génère des volumes massifs de données de logs, imposant une pression considérable sur les coûts de stockage et la capacité des systèmes.

Bien que des compresseurs génériques (comme Gzip, Bzip2) et des algorithmes spécifiques aux logs existent, ils présentent deux limitations majeures :

1. Négligence des motifs intra-jeton : Les méthodes actuelles traitent souvent les jetons complexes (ex: 2015-07-09 ou ftpd[4305]) comme des unités opaques, ignorant les motifs répétitifs à l'intérieur de ces jetons structurés (délimiteurs et sous-jetons).
2. Absence de stratégie d'encodage adaptative : Les approches existantes appliquent des encodages grossiers (ex: dictionnaire simple pour les chaînes, encodage numérique pour les nombres) sans distinguer finement les types de jetons mixtes, ce qui sous-optimise la compression.

2. Méthodologie : LogFold

LogFold est une nouvelle méthode de compression qui exploite les motifs récurrents au sein des jetons structurés et utilise une stratégie d'encodage hybride. L'architecture se compose de quatre composants principaux :

A. Analyseur de Jetons (Token Analyzer)

Contrairement aux approches basées sur le parsing qui décomposent d'abord les logs en modèles, LogFold traite chaque entrée de log de manière holistique. Il classe les jetons en trois catégories :

• Statiques : Parties constantes de la ligne.
• Non structurés : Jetons dynamiques sans délimiteur interne (ex: noms de processus, chaînes aléatoires).
• Structurés : Jetons composés d'un squelette de délimiteurs et d'une séquence de sous-jetons (ex: dates, adresses IP, horodatages).

B. Processeur de Jetons Structurés (Structured Token Processor)

Ce module exploite la redondance interne des jetons structurés en deux phases :

1. Regroupement par squelette de délimiteur : Les jetons sont regroupés selon leur structure de délimiteurs (ex: <>-<>-<> pour les dates). Cela élimine la redondance des délimiteurs.
2. Fouille de motifs (Pattern Mining) : Au sein de chaque groupe, le système analyse les colonnes de sous-jetons pour identifier des positions critiques dominées par des valeurs spécifiques (ex: l'année 2015 dans une date). Il divise ensuite les groupes en sous-groupes plus homogènes en intégrant ces constantes dans le squelette (ex: 2015-<>-<>). Cela permet de révéler des motifs plus profonds et de réduire la complexité des données à encoder.

C. Encodeur Hybride (Hybrid Encoder)

Cette composante applique des stratégies d'encodage spécifiques selon le type de données :

• Encodage Numérique Optimisé : Utilise un encodage delta dynamique et une optimisation basée sur la longueur pour les nombres purs.
• Encodage par Dictionnaire : Appliqué aux jetons non structurés et aux motifs de squelettes.
• Encodage de Type Mixte (Nouvelle contribution) : Pour les matrices de sous-jetons contenant à la fois des nombres et des chaînes, LogFold mappe les chaînes vers des IDs numériques contigus. Il applique ensuite une transformation de parité (nombres pairs pour les valeurs originales, impairs pour les IDs) pour permettre un encodage numérique uniforme (delta/élastique) de toute la colonne, maximisant ainsi la compression sans perte.

D. Emballeur (Packer)

Il agrège les fichiers intermédiaires (dictionnaires, données binaires) et applique un compresseur générique final (ex: LZMA) pour produire l'archive compressée.

3. Contributions Clés

• Identification de nouvelles redondances : Mise en évidence des motifs récurrents au sein des jetons structurés (squelettes et homogénéité des sous-jetons), souvent ignorés par l'état de l'art.
• Stratégie d'encodage hybride et fine : Développement d'une approche qui adapte l'encodage au type de jeton (statique, non structuré, structuré, mixte), notamment via la technique d'encodage de type mixte.
• Outil LogFold : Implémentation d'un compresseur complet intégrant ces concepts, capable de traiter des logs hétérogènes sans perte d'information.

4. Résultats Expérimentaux

Les évaluations ont été menées sur 16 jeux de données publics provenant de systèmes variés (supercalculateurs, systèmes distribués, applications mobiles, etc.).

• Taux de Compression (CR) : LogFold atteint un taux de compression moyen de 89,519, surpassant les meilleures méthodes existantes (comme Denum, LogShrink, LogReducer) d'environ 11,11 % en moyenne, avec des gains allant jusqu'à 494,19 % par rapport à Gzip. Il obtient le meilleur résultat sur 12 des 16 jeux de données.
• Vitesse de Compression : LogFold atteint une vitesse moyenne de 9,842 Mo/s, ce qui est compétitif par rapport aux autres outils spécifiques aux logs, bien que légèrement inférieur aux outils purement génériques très rapides mais moins efficaces.
• Robustesse : Des études de sensibilité montrent que LogFold est robuste face aux variations de ses paramètres internes (seuils de regroupement, identification de positions critiques).
• Généralisation : La méthode fonctionne efficacement avec différents compresseurs de backend (Gzip, Bzip2, LZMA) et différents niveaux de compression, éliminant le compromis classique vitesse/taux de compression observé dans les outils standards.

5. Signification et Impact

LogFold représente une avancée significative dans le domaine de la compression de logs. En passant d'une vision "boîte noire" des jetons à une analyse structurelle fine, il résout le problème de la redondance interne souvent négligée.

• Utilité Pratique : Il est particulièrement adapté aux scénarios nécessitant une archivage à long terme et une réduction des coûts de stockage, où le taux de compression prime sur la vitesse de traitement (ex: stockage froid, analyse rétrospective).
• Futur de l'Analyse de Logs : En permettant un stockage plus efficace, LogFold facilite la rétention de vastes volumes de données, ce qui est crucial pour les analyses modernes basées sur l'IA et les grands modèles de langage (LLM) qui nécessitent de grands corpus de logs pour l'entraînement et l'analyse.

En conclusion, LogFold démontre qu'une compréhension profonde de la structure des données de logs, combinée à des stratégies d'encodage adaptatives, peut dépasser les limites des approches actuelles, offrant une solution robuste et performante pour la gestion des données d'observabilité.