Contrastive Learning and Correlation Clustering for Sequences of Network Telescope Data

Resumen Técnico: Aprendizaje Contrastivo y Agrupamiento por Correlación para Secuencias de Datos de Telescopios de Red

Planteamiento del Problema
El artículo aborda el desafío de analizar las actividades de escaneo de Internet dentro de los vastos, heterogéneos y mayoritariamente no etiquetados datos generados por los telescopios de red. Los enfoques tradicionales para la detección de escaneos de red suelen depender de modelos estadísticos diseñados manualmente, heurísticas o aprendizaje supervisado, los cuales enfrentan limitaciones significativas. Los métodos supervisados se ven obstaculizados por la escasez de anotaciones de alta calidad y la naturaleza dinámica del comportamiento de escaneo, que varía incluso dentro de un mismo contexto organizacional. Además, los métodos existentes de aprendizaje de representaciones no supervisados (por ejemplo, enfoques basados en Word2Vec como IP2Vec o DarkVec) suelen vincular los embeddings a datos de entrenamiento específicos, lo que limita su capacidad para generalizar a fuentes no vistas o para capturar relaciones semánticas sin el uso de aumentación de datos sintéticos. La pregunta central investigada es si es posible estimar relaciones de pares semánticamente significativas entre secuencias de registros de flujo de red utilizando aprendizaje contrastivo en un entorno totalmente no supervisado, sin preentrenamiento ni anotaciones.

Metodología
Los autores proponen un marco que combina una arquitectura basada en transformers con aprendizaje contrastivo y agrupamiento por correlación (correlation clustering):

1. Preprocesamiento de Datos: Los registros de flujo de red (IP de origen, IP de destino, puerto, protocolo, marca de tiempo) recolectados del telescopio de red de la UCSD se agrupan por IP de origen. Estos se ordenan cronológicamente y se segmentan en subsecuencias de longitud fija de 128 registros.
2. Modelo de Codificador Transformer:
   • Embedding de Registros: Los registros individuales se integran procesando sus componentes por separado. Los octetos de la dirección IP se integran en $\mathbb{R}^8$ para capturar la estructura del espacio de IP. Los puertos de destino, los protocolos y las diferencias de tiempo en escala logarítmica se integran en $\mathbb{R}^{16}$, $\mathbb{R}^4$ y $\mathbb{R}^{16}$, respectivamente. Estos se concatenan y se mapean mediante una capa lineal a un vector de 128 dimensiones.
   • Codificación de Secuencias: Un codificador transformer estándar (4 capas, 4 cabezales de atención) procesa la secuencia de embeddings de los registros para capturar dependencias. Se aplica un mean pooling para generar una representación de secuencia de tamaño fijo, la cual es procesada posteriormente por una cabeza de proyección para producir el embedding de secuencia final.
3. Objetivo de Aprendizaje Contrastivo:
   • El modelo se entrena utilizando la pérdida NT-Xent (Normalized Temperature-scaled Cross-Entropy).
   • Pares Positivos: Se definen como subsecuencias originadas de la misma dirección IP de origen. Esto aprovecha la consistencia que ocurre naturalmente en lugar de utilizar aumentación de datos sintéticos.
   • Pares Negativos: Se definen como subsecuencias de diferentes direcciones IP de origen.
   • Estrategia de Muestreo: Para manejar la distribución de cola larga de la actividad de las IP de origen, se emplea una estrategia de muestreo ponderado donde la probabilidad de seleccionar una fuente es proporcional al número de registros elevado a una potencia ($\alpha=0.5$), equilibrando la influencia de las fuentes frecuentes y las infrecuentes.
4. Agrupamiento por Correlación (Correlation Clustering):
   • Para agrupar secuencias basadas en las similitudes aprendidas, los autores formulan un problema de agrupamiento por correlación. A diferencia del agrupamiento basado en métricas (por ejemplo, k-means), este no requiere supuestos previos sobre el número o el tamaño de los grupos.
   • Se define una función de costo basada en la similitud de coseno de los embeddings, desplazada por un parámetro de offset $\delta$ para distinguir pares similares de disímiles.
   • El problema se resuelve localmente utilizando un algoritmo de contracción de aristas de tipo codificación aditiva voraz (greedy additive edge contraction).

Resultados Clave
Los experimentos se realizaron con conjuntos de datos derivados del telescopio de la UCSD, incluyendo datos de entrenamiento, secuencias no vistas de fuentes vistas y secuencias no vistas de fuentes no vistas.

• Discriminación de la Fuente: El modelo logra aprender información específica de la fuente. Las secuencias de la misma IP de origen exhiben una similitud de coseno significativamente mayor (media $\approx$ 0.93 para fuentes vistas, $\approx$ 0.89 para fuentes no vistas) en comparación con las secuencias de diferentes fuentes (media $\approx$ 0.03 y $\approx$ 0.02, respectivamente). Esto se mantiene para secuencias de fuentes no vistas durante el entrenamiento.
• Consistencia Semántica con Anotaciones: Al evaluarse contra anotaciones dispersas de redes de escaneo (por ejemplo, Censys, Shodan), las secuencias de la misma red de escaneo muestran una mayor similitud intra-clase que inter-clase. Sin embargo, la separación es menos pronunciada que la de la identidad de la fuente, y la distribución intra-clase es bimodal. Los autores atribuyen esto a que las redes de escaneo no son grupos perfectamente homogéneos y a que diferentes infraestructuras pueden emplear estrategias de escaneo similares.
• Desempeño de Agrupamiento: El agrupamiento por correlación aplicado a los embeddings aprendidos logra un alto desempeño. En los conjuntos de prueba con un 50% de tráfico de fondo no anotado, las puntuaciones F1 ponderadas para recuperar los grupos de redes de escaneo fueron de 0.913 (secuencias no vistas de fuentes vistas) y 0.917 (secuencias no vistas de fuentes no vistas).
• Generalización: Las representaciones aprendidas se generalizan eficazmente a fuentes y secuencias no vistas, demostrando que el modelo captura propiedades estructurales del comportamiento de escaneo en lugar de simplemente memorizar direcciones IP específicas.

Significancia y Reivindicaciones
El artículo afirma que el aprendizaje contrastivo puede extraer una estructura semánticamente significativa de secuencias de flujo de red con un preprocesamiento mínimo sin ninguna supervisión. La principal significancia radica en la capacidad de:

1. Recuperar información específica de la fuente y la estructura relacionada con el escaneo puramente a partir de datos brutos.
2. Realizar análisis exploratorios y agrupamiento de la actividad de escaneo incluso en presencia de un sustancial tráfico de fondo no etiquetado.
3. Generalizar a fuentes y comportamientos previamente no vistos, abordando una limitación clave de los enfoques supervisados.

Los autores mantienen un tono modesto, señalando que las anotaciones de escaneo utilizadas son dispersas y de grano grueso. Reconocen que el solapamiento entre las distribuciones de similitud intra-clase e inter-clase sugiere que el espacio de embedding contiene una estructura no capturada totalmente por las anotaciones disponibles. En consecuencia, el trabajo se presenta como exploratorio, estableciendo la viabilidad del aprendizaje de representaciones no supervisado para el análisis de tráfico de red, al tiempo que destaca la necesidad de mayor investigación para comprender completamente la estructura semántica dentro del espacio de embedding.