Contrastive Learning and Correlation Clustering for Sequences of Network Telescope Data

Sintesi Tecnica: Apprendimento Contrastivo e Clustering di Correlazione per Sequenze di Dati da Telescopio di Rete

Definizione del Problema
Il documento affronta la sfida dell'analisi delle attività di scansione Internet all'interno dei vasti, eterogenei e ampiamente non etichettati dati generati dai telescopi di rete. Gli approcci tradizionali alla rilevazione delle scansioni di rete si affidano spesso a modelli statistici progettati manualmente, euristiche o apprendimento supervisionato, i quali presentano tuttavia significative limitazioni. I metodi supervisionati sono ostacolati dalla scarsità di annotazioni di alta qualità e dalla natura dinamica del comportamento di scansione, che varia anche all'interno dello stesso contesto organizzativo. Inoltre, i metodi esistenti di apprendimento delle rappresentazioni non supervisionati (ad esempio, approcci basati su Word2Vec come IP2Vec o DarkVec) spesso legano gli embedding a specifici dati di addestramento, limitando la loro capacità di generalizzare su fonti non viste o di catturare relazioni semantiche senza l'uso di aumenti di dati sintetici. La domanda centrale indagata è se relazioni pairwise semanticamente significative tra sequenze di record di flusso di rete possano essere stimate utilizzando l'apprendimento contrastivo in un contesto completamente non supervisionato, senza pre-addestramento o annotazioni.

Metodologia
Gli autori propongono un framework che combina un'architettura basata su transformer con l'apprendimento contrastivo e il clustering di correlazione:

1. Pre-elaborazione dei Dati: I record di flusso di rete (IP sorgente, IP destinazione, porta, protocollo, timestamp) raccolti dal telescopio di rete della UCSD vengono raggruppati per IP sorgente. Questi vengono ordinati cronologicamente e segmentati in sottosequenze di lunghezza fissa di 128 record.
2. Modello Transformer Encoder:
   • Embedding del Record: I singoli record vengono incorporati elaborando separatamente le loro componenti. Gli ottetti degli indirizzi IP sono trasformati in $\mathbb{R}^8$ per catturare la struttura dello spazio IP. Le porte di destinazione, i protocoli e le differenze temporali in scala logaritmica vengono trasformati in $\mathbb{R}^{16}$, $\mathbb{R}^4$ e $\mathbb{R}^{16}$, rispettivamente. Questi vengono concatenati e mappati tramite uno strato lineare in un vettore di 128 dimensioni.
   • Codifica della Sequenza: Un encoder transformer standard (4 strati, 4 teste di attenzione) elabora la sequenza di embedding dei record per catturare le dipendenze. Viene applicato il mean pooling per generare una rappresentazione della sequenza di dimensione fissa, che viene ulteriormente elaborata da una testa di proiezione per produrre l'embedding finale della sequenza.
3. Obiettivo di Apprendimento Contrastivo:
   • Il modello viene addestrato utilizzando la perdita NT-Xent (Normalized Temperature-scaled Cross-Entropy).
   • Coppie Positive: Definite come sottosequenze provenienti dallo stesso indirizzo IP sorgente. Ciò sfrutta la coerenza naturalmente occorrente anziché l'aumento di dati sintetici.
   • Coppie Negative: Definite come sottosequenze provenienti da diversi indirizzi IP sorgente.
   • Strategia di Campionamento: Per gestire la distribuzione a coda lunga dell'attività degli IP sorgente, viene impiegata una strategia di campionamento pesato in cui la probabilità di selezionare una sorgente è proporzionale al numero di record elevato a una potenza ($\alpha=0.5$), bilanciando l'influenza delle sorgenti frequenti e di quelle meno frequenti.
4. Clustering di Correlazione:
   • Per raggruppare le sequenze in base alle somiglianze apprese, gli autori formulano un problema di clustering di correlazione. A differenza del clustering basato su metriche (ad esempio, k-means), questo non richiede assunzioni a priori sul numero o sulla dimensione dei cluster.
   • Una funzione di costo viene definita sulla base della similarità del coseno degli embedding, traslata da un parametro di offset $\delta$ per distinguere le coppie simili da quelle dissimilar.
   • Il problema viene risolto localmente utilizzando un algoritmo greedy di contrazione degli archi additiva.

Risultati Chiave
Gli esperimenti sono stati condotti su dataset derivati dal telescopio della UCSD, inclusi dati di addestramento, sequenze non viste da sorgenti note e sequenze non viste da sorgenti non viste.

• Discriminazione della Sorgente: Il modello apprende con successo informazioni specifiche della sorgente. Le sequenze provenienti dallo stesso IP sorgente esibiscono una similarità del coseno significativamente più alta (media $\approx$ 0,93 per le sorgenti note, $\approx$ 0,89 per le sorgenti non viste) rispetto alle sequenze provenienti da diverse sorgenti (media $\approx$ 0,03 e $\approx$ 0,02, rispettivamente). Ciò è valido anche per le sequenze provenienti da sorgenti non viste durante l'addestramento.
• Consistenza Semantica con le Annotazioni: Quando valutato rispetto a sparse annotazioni di reti di scanner (ad esempio, Censys, Shodan), le sequenze appartenenti alla stessa rete di scanner mostrano una maggiore similarità intra-classe rispetto alla similarità inter-classe. Tuttavia, la separazione è meno pronunciata rispetto all'identità della sorgente, e la distribuzione intra-classe è bimodale. Gli autori attribuiscono ciò al fatto che le reti di scanner non sono gruppi perfettamente omogenei e che diverse infrastrutture possono impiegare strategie di scansione simili.
• Performance di Clustering: Il clustering di correlazione applicato agli embedding appresi raggiunge alte prestazioni. Su set di test con il 50% di traffico di background non annotato, i punteggi F1 pesati per il recupero dei gruppi di reti di scanner sono stati 0,913 (sequenze non viste da sorgenti note) e 0,917 (sequenze non viste da sorgenti non viste).
• Generalizzazione: Le rappresentazioni apprese generalizzano efficacemente a sorgenti e sequenze non viste, dimostrando che il modello cattura proprietà strutturali del comportamento di scansione piuttosto che limitarsi a memorizzare specifici indirizzi IP.

Significato e Rivendicazioni
Il documento sostiene che l'apprendimento contrastivo può estrarre una struttura semanticamente significativa da sequenze di flussi di rete con un pre-processing minimo, senza alcuna supervisione. Il significato primario risiede nella capacità di:

1. Recuperare informazioni specifiche della sorgente e la struttura relativa agli scanner puramente dai dati grezzi.
2. Effettuare analisi esplorative e clustering dell'attività di scansione anche in presenza di un sostanziale traffico di background non etichettato.
3. Generalizzare a sorgenti e comportamenti precedentemente non visti, affrontando una limitazione chiave degli approcci supervisionati.

Gli autori mantengono un tono modesto, osservando che le annotazioni degli scanner utilizzate sono sparse e a grana grossa. Essi riconoscono che la sovrapposizione tra le distribuzioni di similarità intra-classe e inter-classe suggerisce che lo spazio degli embedding contenga una struttura non pienamente catturata dalle annotazioni disponibili. Di conseguenza, il lavoro viene presentato come esplorativo, stabilendo la fattibilità dell'apprendimento di rappresentazioni non supervisionate per l'analisi del traffico di rete, evidenziando al contempo la necessità di ulteriori ricerche per comprendere appieno la struttura semantica all'interno dello spazio degli embedding.