Contrastive Learning and Correlation Clustering for Sequences of Network Telescope Data

Résumé Technique : Apprentissage Contrastif et Clustering de Corrélation pour les Séquences de Données de Télescope Réseau

Énoncé du Problème
L'article traite du défi que représente l'analyse des activités de balayage (scanning) Internet au sein des données vastes, hétérogènes et largement non étiquetées générées par les télescopes réseau. Les approches traditionnelles de détection de balayage réseau reposent souvent sur des modèles statistiques conçus manuellement, des heuristiques ou de l'apprentissage supervisé, qui présentent tous des limitations significatives. Les méthodes supervisées sont entravées par la rareté des annotations de haute qualité et la nature dynamique des comportements de balayage, qui varient même au sein d'un même contexte organisationnel. De plus, les méthodes existantes d'apprentissage de représentations non supervisées (par exemple, les approches basées sur Word2Vec comme IP2Vec ou DarkVec) lient souvent les plongements (embeddings) à des données d'entraînement spécifiques, limitant leur capacité à se généraliser à des sources inconnues ou à capturer des relations sémantiques sans augmentation de données synthétiques. La question centrale investiguée est de savoir si des relations de paires sémantiquement significatives entre des séquences d'enregistrements de flux réseau peuvent être estimées en utilisant l'apprentissage contrastif dans un cadre entièrement non supervisé, sans pré-entraînement ni annotations.

Méthodologie
Les auteurs proposent un cadre combinant une architecture basée sur un Transformer avec l'apprentissage contrastif et le clustering de corrélation :

1. Prétraitement des Données : Les enregistrements de flux réseau (IP source, IP destination, port, protocole, horodatage) collectés à partir du télescope réseau de l'UCSD sont regroupés par IP source. Ils sont triés par ordre chronologique et segmentés en sous-séquences de longueur fixe de 128 enregistrements.
2. Modèle d'Encodeur Transformer :
   • Plongement d'Enregistrement (Record Embedding) : Les enregistrements individuels sont plongés en traitant séparément leurs composants. Les octets d'adresses IP sont plongés dans $\mathbb{R}^8$ pour capturer la structure de l'espace IP. Les ports de destination, les protocoles et les différences de temps à échelle logarithmique sont plongés dans $\mathbb{R}^{16}$, $\mathbb{R}^4$ et $\mathbb{R}^{16}$, respectivement. Ils sont concaténés et projetés via une couche linéaire vers un vecteur de 1Dimension 128.
   • Encodage de Séquence : Un encodeur Transformer standard (4 couches, 4 têtes d'attention) traite la séquence des plongements d'enregistrements pour capturer les dépendances. Un pooling moyen (mean pooling) est appliqué pour générer une représentation de séquence de taille fixe, qui est ensuite traitée par une tête de projection pour produire le plongement de séquence final.
3. Objectif d'Apprentissage Contrastif :
   • Le modèle est entraîné en utilisant la perte NT-Xent (Normalized Temperature-scaled Cross-Entropy).
   • Paires Positives : Définies comme des sous-séquences provenant de la même adresse IP source. Cela exploite la cohérence naturellement présente plutôt que l'augmentation de données synthétiques.
   • Paires Négatives : Définies comme des sous-séquences provenant de différentes adresses IP sources.
   • Stratégie d'Échantillonnage : Pour gérer la distribution à longue traîne de l'activité des IP sources, une stratégie d'échantillonnage pondéré est employée où la probabilité de sélectionner une source est proportionnelle au nombre d'enregistrements élevé à une puissance ($\alpha=0.5$), équilibrant l'influence des sources fréquentes et infrequentes.
4. Clustering de Corrélation :
   • Pour regrouper les séquences basées sur les similitudes apprises, les auteurs formulent un problème de clustering de corrélation. Contrairement au clustering métrique (par exemple, k-means), celui-ci ne nécessite pas d'hypothèses préalables sur le nombre ou la taille des clusters.
   • Une fonction de coût est définie basée sur la similitude cosinus des plongements, décalée par un paramètre d'offset $\delta$ pour distinguer les paires similaires des paires dissemblables.
   • Le problème est résolu localement à l'aide d'un algorithage de contraction d'arêtes additif glouton (greedy additive edge contraction).

Résultats Clés
Des expériences ont été menées sur des jeux de données dérivés du télescope de l'UCSD, incluant des données d'entraînement, des séquences non vues de sources vues, et des séquences non vues de sources non vues.

• Discrimination de Source : Le modèle apprend avec succès des informations spécifiques à la source. Les séquences provenant de la même IP source présentent une similitude cosinus nettement plus élevée (moyenne $\approx$ 0,93 pour les sources vues, $\approx$ 0,89 pour les sources non vues) par rapport aux séquences provenant de sources différentes (moyenne $\approx$ 0,03 et $\approx$ 0,02, respectivement). Cela reste vrai pour les séquences de sources non vues lors de l'entraînement.
• Cohérence Sémantique avec les Annotations : Lorsqu'il est évalué par rapport à des annotations de réseaux de scanners éparses (ex: Censys, Shodan), les séquences appartenant au même réseau de scanners montrent une similitude intra-classe plus élevée que la similitude inter-classe. Cependant, la séparation est moins prononcée que pour l'identité de la source, et la distribution intra-classe est bimodale. Les auteurs attribuent cela au fait que les réseaux de scanners ne sont pas des groupes parfaitement homogènes et que différentes infrastructures peuvent employer des stratégies de balayage similaires.
• Performance de Clustering : Le clustering de corrélation appliqué aux plongements appris atteint des performances élevées. Sur des ensembles de test contenant 50 % de trafic de fond non annoté, les scores F1 pondérés pour la récupération des groupes de réseaux de scanners étaient de 0,913 (séquences non vues de sources vues) et 0,917 (séquences non vues de sources non vues).
• Généralisation : Les représentations apprises se généralisent efficacement aux sources et séquences non vues, démontant que le modèle capture les propriétés structurelles du comportement de balayage plutôt que de simplement mémoriser des adresses IP spécifiques.

Signification et Revendications
L'article affirme que l'apprentissage contrastif peut extraire une structure sémantiquement significative à partir de séquences de flux réseau très peu pré-traitées, sans aucune supervision. La principale signification réside dans la capacité de :

1. Récupérer des informations spécifiques à la source et la structure liée aux scanners uniquement à partir de données brutes.
2. Effectuer une analyse exploratoire et un clustering de l'activité de balayage même en présence d'un trafic de fond non étiqueté substantiel.
3. Se généraliser à des sources et des comportements précédemment inconnus, répondant ainsi à une limitation clé des approches supervisées.

Les auteurs maintiennent un ton modeste, notant que les annotations de scanners utilisées sont éparses et à grain grossier. Ils reconnaissent que le chevauchement entre les distributions de similitude intra-classe et inter-classe suggère que l'espace de plongement contient une structure qui n'est pas pleinement capturée par les annotations disponibles. Par conséquent, ce travail est présenté comme exploratoire, établissant la faisabilité de l'apprentissage de représentations non supervisées pour l'analyse du trafic réseau tout en soulignant la nécessité de recherches supplémentaires pour comprendre pleinement la structure sémantique au sein de l'espace de plongement.