Contrastive Learning and Correlation Clustering for Sequences of Network Telescope Data

기술 요약: 네트워크 텔레스코프 데이터 시퀀스를 위한 대조 학습 및 상관 클러스터링

문제 정의
본 논문은 네트워크 텔레스코프에서 생성되는 방대하고 이질적이며 레이블이 거의 없는 데이터 내에서 인터넷 스캐너 활동을 분석하는 과제를 다룹다. 네트워크 스캔 탐지를 위한 기존 방식은 주로 수동으로 설계된 통계 모델, 휴리스틱 또는 지도 학습에 의존하며, 이러한 방식들은 상당한 한계에 직면해 있다. 지도 학습 방식은 고품질 주석(annotation)의 부족과 동일한 조직적 맥락 내에서도 변화하는 스캐닝 동작의 동적인 특성으로 인해 제약을 받는다. 또한, 기존의 비지도 표현 학습 방법(예: IP2Vec 또는 DarkVec과 같은 Word2Vec 기반 접근법)은 임베딩을 특정 훈련 데이터에 종속시켜, 합성 데이터 증강 없이 미지의 소스에 대한 일반화 능력을 제한하거나 의미론적 관계를 포착하는 데 어려움을 겪는다. 핵심 연구 질문은 사전 훈련이나 주석 없이 대조 학습을 사용하여 네트워크 플로우 레코드의 시퀀스 간에 의미 있는 쌍별 관계(pairwise relationships)를 완전히 비지도 환경에서 추정할 수 있는지 여부이다.

방법론
저자들은 트랜스포머 기반 아키텍처와 대조 학습 및 상관 클러스터링을 결합한 프레임워크를 제안한다:

1. 데이터 전처리: UCSD 네트워크 텔레스코프에서 수집된 네트워크 플로우 레코드(소스 IP, 목적지 IP, 포트, 프로토콜, 타임스탬프)를 소스 IP별로 그룹화한다. 이들은 시간 순서대로 정렬된 후 128개의 레코드로 구성된 고정 길이 서브시퀀스로 분할된다.
2. 트랜스포머 인코더 모델:
   • 레코드 임베딩: 개별 레코드는 각 구성 요소를 별도로 처리하여 임베딩된다. IP 주소 옥텟(octet)은 IP 공간 구조를 포착하기 위해 $\mathbb{R}^8$로 임베딩된다. 목적지 포트, 프로토콜, 로그 스케일링된 시간 차이는 각각 $\mathbb{R}^{16}$, $\mathbb{R}^4$, $\mathbb{R}^{16}$로 임베딩된다. 이들은 결합(concatenate)된 후 선형 층을 통해 128차원 벡터로 매핑된다.
   • 시퀀스 인코딩: 표준 트랜스포머 인코더(4개 레이어, 4개 어텐션 헤드)가 레코드 임베딩의 시퀀스를 처리하여 의존성을 포착한다. 평균 풀링(mean pooling)이 적용되어 고정 크기의 시퀀스 표현을 생성하며, 이는 프로젝션 헤드를 거쳐 최종 시퀀스 임베딩을 생성한다.
3. 대조 학습 목적 함수:
   • 모델은 NT-Xent 손실(Normalized Temperature-scaled Cross-Entropy)을 사용하여 훈련된다.
   • 양성 쌍(Positive Pairs): 동일한 소스 IP 주소에서 기원한 서로 다른 서브시퀀스로 정의된다. 이는 합성 데이터 증강 대신 자연적으로 발생하는 일관성을 활용한다.
   • 음성 쌍(Negative Pairs): 서로 다른 소스 IP 주소에서 기원한 서브시퀀스로 정의된다.
   • 샘플링 전략: 소스 IP 활동의 롱테일 분포를 처리하기 위해, 소스를 선택할 확률이 레코드 수의 거듭제곱($\alpha=0.5$)에 비례하도록 하는 가중 샘플링 전략을 채택하여 빈번한 소스와 드문 소스의 영향력을 균형 있게 조절한다.
4. 상관 클러스터링(Correlation Clustering):
   • 학습된 유사성을 기반으로 시퀀스를 그룹화하기 위해, 저자들은 상관 클러스터링 문제를 공식화한다. 메트릭 기반 클러스터링(예: k-means)과 달리, 이는 클러스터의 수나 크기에 대한 사전 가정을 필요로 하지 않는다.
   • 유사함과 다름을 구분하기 위해 오프셋 파라미터 $\delta$에 의해 이동된 코사인 유사도를 기반으로 비용 함수를 정의한다.
   • 이 문제는 그리디(greedy) 방식의 가산 에지 수축(additive edge contraction) 알고리즘을 사용하여 국소적으로 해결된다.

주요 결과
실험은 UCSD 텔레스코프에서 유도된 데이터셋(훈련 데이터, 관측된 소스의 미지 시퀀스, 미관측 소스의 미지 시퀀스 포함)을 대상으로 수행되었다.

• 소스 식별: 모델은 소스 특정 정보를 성공적으로 학습한다. 동일한 소스 IP에서 유래한 시퀀스는 서로 다른 소스에서 유래한 시퀀스에 비해 현저히 높은 코사인 유사도(관측된 소스의 경우 평균 $\approx$ 0.93, 미관측 소스의 경우 $\approx$ 0.89)를 보인다. 이는 훈련 중에 보지 못한 소스의 시퀀스에 대해서도 유효하다.
• 주석과의 의미론적 일관성: 희소한 스캐너 네트워크 주석(예: Censys, Shodan)을 대상으로 평가했을 때, 동일한 스캐너 네트워크 내의 시퀀스는 클래스 간 유사도보다 클래스 내 유사도가 더 높게 나타났다. 그러나 그 격차는 소스 식별만큼 뚜렷하지 않았으며, 클래스 내 분포는 이봉형(bimodal)을 띠었다. 저자들은 이를 스캐너 네트워크가 완벽하게 균질한 집단이 아니며, 서로 다른 인프라가 유사한 스캐닝 전략을 채택할 수 있기 때문이라고 설명한다.
• 클러스터링 성능: 학습된 임베딩에 적용된 상관 클러스터링은 높은 성능을 달erm한다. 50%의 레이블 없는 백그라운드 트래픽이 포함된 테스트 세트에서, 스캐너 네트워크 그룹을 복구하기 위한 가중 F1 점수는 0.913(관측된 소스의 미지 시퀀스) 및 0.917(미관측 소스의 미지 시퀀스)이었다.
• 일반화: 학습된 표현은 미지의 소스와 미지의 시퀀스에 효과적으로 일반화되며, 이는 모델이 단순히 특정 IP 주소를 암기하는 것이 아니라 스캐너 동작의 구조적 특성을 포착함을 입증한다.

의의 및 주장
본 논문은 대조 학습이 아무런 감독 없이도 최소한의 전처리만 거친 네트워크 플로우 시퀀스로부터 의미 있는 구조를 추출할 수 있다고 주장한다. 주요 의의는 다음과 같다:

1. 원시 데이터로부터 소스 특정 정보와 스캐너 관련 구조를 순수하게 복구할 수 있다.
2. 상당한 양의 레이블 없는 백그라운드 트래픽이 존재하는 상황에서도 스캐너 활동에 대한 탐색적 분석 및 클러스터링을 수행할 수 있다.
3. 감독 학습의 주요 한계인 미지의 소스 및 행동에 대해 효과적으로 일반화할 수 있다.

저자들은 사용된 스캐너 주석이 희소하고 거칠다는 점을 언급하며 신중한 태도를 유지한다. 클래스 내 유사도와 클래스 간 유사도 분포의 중첩은 임베딩 공간이 가용 가능한 주석에 의해 완전히 포착되지 않은 구조를 포함하고 있음을 시사한다. 따라서 본 연구는 탐색적 성격으로 제시되며, 네트워크 트래픽 분석을 위한 비지도 표현 학습의 가능성을 입증하는 동시에, 임베딩 공간 내의 의미론적 구조를 완전히 이해하기 위한 추가 연구의 필요성을 강조한다.