Contrastive Learning and Correlation Clustering for Sequences of Network Telescope Data

Resumo Técnico: Aprendizado Contrastivo e Agrupamento de Correlação para Sequências de Dados de Telescópio de Rede

Definição do Problema
O artigo aborda o desafio de analisar atividades de varredura (scanners) na Internet dentro dos vastos, heterogêneos e amplamente não rotulados dados gerados por telescópios de rede. Abordagens tradicionais para detecção de varreduras de rede dependem frequentemente de modelos estatísticos projetados manualmente, heurísticas ou aprendizado supervisionado, os quais enfrentam limitações significativas. Métodos supervisionados são prejudicados pela escassez de anotações de alta qualidade e pela natureza dinâmica do comportamento de varredura, que varia mesmo dentro de um mesmo contexto organizacional. Além disso, métodos existentes de aprendizado de representação não supervisionado (por exemplo, abordagens baseadas em Word2Vec como IP2Vec ou DarkVec) frequentemente vinculam os embeddings a dados de treinamento específicos, limitando sua capacidade de generalizar para fontes não vistas ou de capturar relações semânticas sem o uso de aumento de dados sintéticos. A questão central investigada é se relações de pares semanticamente significativas entre sequências de registros de fluxo de rede podem ser estimadas usando aprendizado contrastivo em um cenário totalmente não supervisionado, sem pré-treinamento ou anotações.

Metodologia
Os autores propõem um framework que combina uma arquitetura baseada em transformer com aprendizado contrastivo e agrupamento de correlação (correlation clustering):

1. Pré-processamento de Dados: Registros de fluxo de rede (IP de origem, IP de destino, porta, protocolo, carimbo de tempo) coletados do telescópio de rede da UCSD são agrupados por IP de origem. Eles são ordenados cronologicamente e segmentados em subsequências de comprimento fixo de 128 registros.
2. Modelo Codificador Transformer:
   • Embedding de Registro: Os registros individuais são incorporados processando separadamente seus componentes. Os octetos do endereço IP são incorporados em $\mathbb{R}^8$ para capturar a estrutura do espaço IP. Portas de destino, protocolos e diferenças de tempo em escala logarítmica são incorporados em $\mathbb{R}^{16}$, $\mathbb{R}^4$ e $\mathbb{R}^{16}$, respectivamente. Eles são concatenados e mapeados via uma camada linear para um vetor de 128 dimensões.
   • Codificação de Sequência: Um codificador transformer padrão (4 camadas, 4 cabeças de atenção) processa a sequência de embeddings de registro para capturar dependências. O pooling de média é aplicado para gerar uma representação de sequência de tamanho fixo, que é posteriormente processada por uma cabeça de projeção para produzir o embedding final da sequência.
3. Objetivo de Aprendizado Contrastivo:
   • O modelo é treinado usando a perda NT-Xent (Cross-Entropy escalonada por temperatura normalizada).
   • Pares Positivos: Definidos como subsequências originadas do mesmo endereço IP de origem. Isso aproveita a consistência naturalmente ocorrida em vez de aumento de dados sintéticos.
   • Pares Negativos: Definidos como subsequências de diferentes endereços IP de origem.
   • Estratégia de Amostragem: Para lidar com a distribuição de cauda longa de atividade de IPs de origem, uma estratégia de amostragem ponderada é empregada, onde a probabilidade de selecionar uma fonte é proporcional ao número de registros elevado a uma potência ($\alpha=0.5$), equilibrando a influência de fontes frequentes e infrequentes.
4. Agrupamento de Correlação (Correlation Clustering):
   • Para agrupar sequências com base nas similaridades aprendidas, os autores formulam um problema de agrupamento de correlação. Diferente do agrupamento baseado em métricas (ex: k-means), este não requer suposições prévias sobre o número ou tamanho dos clusters.
   • Uma função de custo é definida com base na similaridade de cosseno dos embeddings, deslocada por um parâmetro de offset $\delta$ para distinguir pares similares de dissimilar.
   • O problema é resolvido localmente usando um algoritmo guloso de contração de arestas aditivas.

Principais Resultados
Experimentos foram conduzidos em conjuntos de dados derivados do telescópio da UCSD, incluindo dados de treinamento, sequências não vistas de fontes vistas e sequências não vistas de fontes não vistas.

• Discriminação de Origem: O modelo aprende com sucesso informações específicas da origem. Sequências do mesmo IP de origem exibem similaridade de cosseno significativamente maior (média $\approx$ 0,93 para fontes vistas, $\approx$ 0,89 para fontes não vistas) em comparação com sequências de diferentes fontes (média $\approx$ 0,03 e $\approx$ 0,02, respectivamente). Isso se mantém para sequências de fontes não vistas durante o treinamento.
• Consistência Semântica com Anotações: Quando avaliado contra anotações esparsas de redes de scanners (ex: Censys, Shodan), sequências da mesma rede de scanners mostram maior similaridade intra-classe do que inter-classe. No entanto, a separação é menos pronunciada do que para a identidade da origem, e a distribuição intra-classe é bimodal. Os autores atribuem isso ao fato de as redes de scanners não serem grupos perfeitamente homogêneos e de diferentes infraestruturas poderem empregar estratégias de varredura semelhantes.
• Desempenho de Agrupamento: O agrupamento de correlação aplicado aos embeddings aprendidos alcança alto desempenho. Em conjuntos de teste com 50% de tráfego de fundo não anotado, os F1-scores ponderados para recuperar grupos de redes de scanners foram de 0,913 (sequências não vistas de fontes vistas) e 0,917 (sequências não vistas de fontes não vistas).
• Generalização: As representações aprendidas generalizam-se eficazmente para origens não vistas e sequências não vistas, demonstrando que o modelo captura propriedades estruturais do comportamento de varredura em vez de meramente memorizar endereços IP específicos.

Significância e Alegações
O artigo alega que o aprendizado contrastivo pode extrair estrutura semanticamente significativa de sequências de fluxo de rede com pré-processamento mínimo sem qualquer supervisão. A principal significância reside na capacidade de:

1. Recuperar informações específicas da origem e estrutura relacionada a scanners puramente a partir de dados brutos.
2. Realizar análise exploratória e agrupamento de atividade de scanners mesmo na presença de substancial tráfego de fundo não rotulado.
3. Generalizar para origens e comportamentos anteriormente não vistos, abordando uma limitação fundamental das abordagens supervisionadas.

Os autores mantêm um tom modesto, observando que as anotações de scanners utilizadas são esparsas e de granularidade grossa. Eles reconhecem que a sobreposição entre as distribuições de similaridade intra-classe e inter-classe sugere que o espaço de embedding contém uma estrutura não totalmente capturada pelas anotações disponíveis. Consequentemente, o trabalho é apresentado como exploratório, estabelecendo a viabilidade do aprendizado de representação não supervisionada para análise de tráfego de rede, ao mesmo tempo em que destaca a necessidade de mais pesquisas para compreender plenamente a estrutura semântica dentro do espaço de embedding.