Contrastive Learning and Correlation Clustering for Sequences of Network Telescope Data

Technische Samenvatting: Contrastief Leren en Correlatieclustering voor Sequenties van Network Telescope Data

Probleemstelling
Het artikel behandelt de uitdaging van het analyseren van internetscanner-activiteiten binnen de enorme, heterogene en grotendeels niet-gelabelde data die gegenereerd worden door network telescopes. Traditionele benaderingen voor de detectie van netwerkscans vertrouwen vaak op handmatig ontworpen statistische modellen, heuristieken of supervised learning, die allemaal significante beperkingen kennen. Supervised methoden worden gehinderd door het gebrek aan hoogwaardige annotaties en de dynamische aard van scangebruik, dat varieert zelfs binnen dezelfde organisatorische context. Bovendien zijn bestaande unsupervised representatie-leermethoden (bijv. Word2Vec-gebaseerde benaderingen zoals IP2Vec of DarkVec) vaak gebonden aan specifieke trainingsdata, wat hun vermogen om te generaliseren naar ongeziene bronnen of om semantische relaties te vatten zonder synthetische data-augmentatie beperkt. De kernvraag die wordt onderzocht is of semantisch betekenisvolle paarrelaties tussen sequenties van netwerkflow-records geschat kunnen worden met behulp van contrastief leren in een volledig unsupervised setting, zonder pretraining of annotaties.

Methodologie
De auteurs stellen een raamwerk voor dat een transformer-gebaseerde architectuur combineert met contrastief leren en correlatieclustering:

1. Data Preprocessing: Netwerkflow-records (bron IP, bestemming IP, poort, protocol, tijdstempel) verzameld van de UCSD network telescope worden gegroepeerd per bron IP. Deze worden chronologisch gesorteerd en gesegmenteerd in fixed-length subsequenties van 128 records.
2. Transformer Encoder Model:
   • Record Embedding: Individuele records worden ge-embedded door hun componenten afzonderlijk te verwerken. IP-adres octetten worden ge-embedded in $\mathbb{R}^8$ om de structuur van de IP-ruimte te vangen. Bestemmingspoorten, protocollen en log-geschaalde tijdsverschillen worden ge-embedded in $\mathbb{R}^{16}$, $\mathbb{R}^4$ en $\mathbb{R}^{16}$, respectievelijk. Deze worden geconcateneerd en via een lineaire laag naar een 128-dimensionale vector gemapt.
   • Sequence Encoding: Een standaard transformer encoder (4 lagen, 4 attention heads) verwerkt de sequentie van record embeddings om afhankelijkheden te vangen. Mean pooling wordt toegepast om een fixed-size sequentie-representatie te genereren, die verder wordt verwerkt door een projectiehoofd om de uiteindelijke sequentie-embedding te produceren.
3. Contrastive Learning Objective:
   • Het model wordt getraind met de NT-Xent loss (Normalized Temperature-scaled Cross-Entropy).
   • Positieve Paren: Gedefinieerd als verschillende subsequenties afkomstig van dezelfde bron IP. Dit maakt gebruik van natuurlijk voorkomende consistentie in plaats van synthetische data-augmentatie.
   • Negatieve Paren: Gedefinieerd als subsequenties van verschillende bron IP's.
   • Sampling Strategie: Om de long-tail distributie van bron IP-activiteit te behandelen, wordt een weighted sampling strategie toegepast waarbij de kans op het selecteren van een bron proportioneel is aan het aantal records verheven tot een macht ($\alpha=0.5$), wat de invloed van frequente en minder frequente bronnen balanceert.
4. Correlatieclustering:
   • Om sequenties te groeperen op basis van geleerde gelijkenissen, passen de auteurs een correlatieclustering-probleem toe. In tegen tegenstelling tot metric-gebaseerde clustering (bijv. k-means), vereist dit geen voorafgaande aannames over het aantal of de grootte van de clusters.
   • Een kostenfunctie wordt gedefinieerd op basis van de cosine similarity van embeddings, verschoven door een offset parameter $\delta$ om gelijke van ongelijke paren te onderscheiden.
   • Het probleem wordt lokaal opgelost met een greedy additive edge contraction algoritme.

Belangrijkste Resultaten
Experimenten werden uitgevoerd op datasets afgeleid van de UCSD telescope, inclus\n bij training data, ongeziene sequenties van bekende bronnen, en ongeziene sequenties van onbekende bronnen.

• Bron Discriminatie: Het model slaagt erin bron-specifieke informatie te leren. Sequenties van dezelfde bron IP vertonen een significant hogere cosine similarity (gemiddeld $\approx$ 0,93 voor bekende bronnen, $\approx$ 0,89 voor onbekende bronnen) vergeleken met sequenties van verschillende bronnen (gemiddeld $\approx$ 0,03 en $\approx$ 0,02, respectievelijk). Dit blijft van kracht voor sequenties van bronnen die niet tijdens de training zijn gezien.
• Semantische Consistentie met Annotaties: Wanneer het wordt geëvalueerd tegen schaarse scanner-netwerk annotaties (bijv. Censys, Shodan), vertonen sequenties van hetzelfde scanner-netwerk een hogere intra-class similarity dan inter-class similarity. Echter, de scheiding is minder uitgesproken dan voor bron-identiteit, en de intra-class distributie is bimodaal. De auteurs schrijven dit toe aan het feit dat scanner-netwerken geen perfect homogene groepen zijn en dat verschillende infrastructuren potentieel vergelijkbare scanning-strategieën hanteren.
• Clustering Prestaties: Correlatieclustering toegepast op de geleerde embeddings bereikt hoge prestaties. Op testsets met 50% ongeannoteerde achtergrondverkeer waren de weighted F1-scores voor het herstellen van scanner-netwerk groepen 0,913 (ongeziene sequenties van bekende bronnen) en 0,917 (ongeziene sequenties van onbekende bronnen).
• Generalisatie: De geleerde representaties generaliseren effectief naar ongeziene bronnen en ongeziene sequenties, wat aantoont dat het model structurele eigenschappen van scanner-gedrag vangt in plaats van enkel specifieke IP-adressen te memoriseren.

Betekenis en Claims
Het artikel claimt dat contrastief leren semantisch betekenisvolle structuren kan extraheren uit minimaal voorbewerkte netwerkflow-sequenties zonder enige supervisie. De primaire betekenis ligt in het vermogen om:

1. Bron-specifieke informatie en scanner-gerelateerde structuren te herstellen puur uit ruwe data.
2. Exploratieve analyse en clustering van scanner-activiteit uit te voeren, zelfs in de aanwezigheid van aanzienlijk ongeannoteerd achtergrondverkeer.
3. Te generaliseren naar voorheen ongeziene bronnen en gedragingen, waarmee een belangrijke beperking van supervised benaderingen wordt aangepakt.

De auteurs hanteren een bescheiden toon en merken op dat de gebruikte scanner-annotaties schaars en grofmazig zijn. Ze erkennen dat de overlap tussen de intra-class en inter-class similarity distributies suggereert dat de embedding space een structuur bevat die niet volledig door de beschikbare annotaties wordt gevangen. Bijgevolg wordt dit werk gepresenteerd als exploratief, waarbij de haalbaarheid van unsupervised representatie-leren voor netwerkverkeersanalyse wordt vastgesteld, terwijl tegelijkertijd wordt benadrukt dat verder onderzoek nodig is om de semantische structuur binnen de embedding space volledig te begrijpen.