기술적 요약: 다크웹의 주제적 변화

문제 제기

다크웹은 사이버 범죄의 핵심 인프라 역할을 하지만, 기존 연구는 대부분 이 생태계를 정적 스냅샷이나 단기 코퍼스 관점에서 다루고 있습니다. 이전 연구들은 침해 지표나 마켓플레이스 리스팅과 같은 실행 가능한 사이버 위협 인텔리전스 (CTI) 를 추출하는 데 중점을 두었으며, 종종 사전 정의된 단어장 기반 방법이나 제한된 머신러닝 응용에 의존했습니다. 사이버 범죄 관련 논의가 시간에 따라 어떻게 진화하는지 이해하는 데에는 상당한 격차가 존재합니다. 현재의 접근 방식은 장기적 관점이 부족하기 때문에 안정적인 핵심 활동과 일시적인 트렌드 사이를 구분하지 못합니다. 광범위한 사이버 범죄 생태계 전반에 걸쳐 주제의 등장, 지속, 소멸을 추적하지 않는 한, 보안 분석은 전략적이기보다 반응적으로 남을 수밖에 없습니다.

방법론

본 연구는 2020 년부터 2026 년까지 6 년간 수집된 25,065 개 웹사이트와 11,403,638 개의 HTML 스냅샷(약 1,245 GB 데이터) 으로 구성된 데이터셋을 활용하여 다크웹 포럼과 마켓플레이스에 대한 종단적 분석을 수행했습니다. 방법론은 다음과 같은 세 가지 주요 단계로 진행됩니다:

1. 데이터 전처리 및 구조화:

   • 웹사이트 그룹화: 파일 경로와 페이지 제목에 따라 스냅샷을 그룹화하여 안정적인 웹사이트 정체성을 정의했습니다. 4 개 미만의 스냅샷을 가진 그룹은 충분한 시간적 깊이를 확보하기 위해 제외되었습니다.
   • 콘텐츠 추출: trafilatura 라이브러리를 사용하여 스크립트 및 탐색 요소를 제거하고 주요 텍스트 콘텐츠를 추출했습니다.
   • 정규화: 텍스트를 영어로 필터링하고 소문자로 변환한 후, URL, 이메일, 구두점 및 비언어적 아티팩트를 제거했습니다. 토큰은 WordNet 을 사용하여 어간 추출 (lemmatization) 을 수행하고 불용어 (stopwords) 를 제거했습니다.

2. 주제 발견 파이프라인:

   • 임베딩: 문서들을 DARK-BERT를 사용하여 의미적 벡터로 변환했습니다. DARK-BERT 는 사이버 보안 및 다크넷 코퍼스로 훈련된 도메인 적응형 트랜스포머 모델로, 일반 모델 (MiniLM, AttackBERT) 보다 우수한 의미적 일관성을 보여 선택되었습니다.
   • 차원 축소: 균일 매니폴드 근사 및 투영 (UMAP) 을 사용하여 임베딩 차원을 축소하면서도 의미적 이웃 구조를 보존했습니다.
   • 클러스터링: HDBSCAN(밀도 기반 클러스터링) 은 사전에 주제 수를 지정하지 않고 희소한 콘텐츠를 노이즈로 간주하여 주제적 클러스터를 식별했습니다.
   • 라벨링: 클래스 기반 TF-IDF 와 KeyBERT 를 통해 대표 키워드를 추출했습니다. 이를 Llama-3.1-8B-Instruct에 입력하여 인간이 읽을 수 있는 주제 라벨을 생성했으며, 이후 의미적 정확성을 보장하기 위해 수동으로 검증하고 병합했습니다.

3. 종단적 분석:

   • 스냅샷들은 BERTopic 의 소프트 할당 메커니즘을 사용하여 확률적 주제 분포를 할당받았습니다.
   • 주제 확률은 각 웹사이트에 대해 시간 간격 (분기) 별로 집계되어 주제 유행도(활동 분포) 와 주제 수명주기(수명, 성장 및 감소율) 를 측정했습니다.

주요 기여

• 종단적 프레임워크: 저자들은 정적 분석을 넘어 반복된 HTML 스냅샷을 활용하여 다크웹 포럼과 마켓플레이스를 분석하기 위한 측정 프레임워크를 제안합니다.
• 도메인 특화 파이프라인: DARK-BERT 임베딩, 밀도 기반 클러스터링, 그리고 LLM 지원 라벨링을 통합하여 시간적 역학을 모델링하는 주제 발견 파이프라인을 개발했습니다.
• 대규모 데이터셋: 본 연구는 6 년간 수집된 25,000 개 이상의 다크웹 웹사이트에서 1,100 만 개 이상의 스냅샷으로 구성된, 현재까지 가장 큰 종단적 데이터셋을 활용했습니다.
• 오픈 리소스: 소프트웨어 지속 가능성을 지원하기 위해 저자들은 코드와 리소스를 공개했습니다.

결과

분석 결과 55 개의 주제 클러스터가 식별되었으며, 이는 거래 (Transactional), 제품 (Products), 인프라 (Infrastructure), 커뮤니티 (Community) 라는 네 가지 광범위한 범주로 분류되었습니다.

• 주제 유행도 (RQ1): 논의량은 매우 집중되어 있습니다. 상위 5 개 주제는 전체 활동의 **53.15%**를 차지하며, 상위 13 개 주제는 **75%**를 설명합니다. 가장 유행하는 주제는 "토렌트 및 파일"(15.71%), "포럼 평판"(13.83%), "온라인 쇼핑"(8.54%) 입니다. 생태계는 커뮤니티 및 거래 활동이 지배하며, 이 둘은 전체 코퍼스의 67% 이상을 차지합니다.
• 주제 수명주기 (RQ2): 빠른 주제 교체에 대한 가정과 달리, 생태계는 상당한 안정성을 보입니다.
  • 지속성: 중간값 주제 수명은 75 개월(6.25 년) 이며, 평균은 약 68 개월입니다.
  • 연속성: 전체 논의량의 약 **75%**는 소수의 지속되는 핵심 주제에 집중되어 있습니다. 단기적인 테마는 활동의 약 3% 만을 차지합니다.
  • 진화: 주제적 중요도의 변화는 갑작스러운 등장이나 소멸이 아닌 점진적인 성장과 감소로 발생합니다. 심지어 쇠퇴하는 주제도 즉시 사라지기보다는 여러 기간에 걸쳐 서서히 사라지는 경향이 있습니다 (최대치에서 소멸까지 평균 28 개월의 지연).
  • 분포: 주제 수명 분포는 이분모적 (bimodal) 으로, 주제는 지속적으로 활동적 (반복적) 이거나 단기적이고 산발적인 경향이 있으며 중간 사례는 거의 없습니다.

중요성 및 주장

본 논문은 다크웹 사이버 범죄 생태계가 구조적으로 집중되어 있고 주제적으로 지속적이며, 새로운 주제의 지속적인 교체가 아닌 기존 주제의 점진적 변화를 통해 진화한다고 주장합니다.

• CTI 를 위한 전략적 함의: 연구 결과는 사이버 범죄 커뮤니티가 새로움보다는 평판 구축, 거래 보호, 인프라 호스팅과 같은 안정적이고 장수하는 기능에 의해 정의된다고 시사합니다. 이는 위협 인텔리전스 노력이 일시적인 급증에 대한 반응적 모니터링에서 지속적인 핵심 주제에 대한 종단적 모니터링으로 전환되어야 함을 의미합니다.
• 자원 배분: 저자들은 계층화된 자원 배분을 주장합니다. 지속되는 핵심 주제는 지속적인 자동 모니터링이 필요하고, emerging 주제는 주기적인 전문가 분석이 필요합니다. 단기적인 급증은 일시적인 변동으로 간주해야 합니다.
• 집행 영향 평가: 관찰된 수년 간의 주제 수명은 생태계의 구조적 변화와 일시적인 교란 (예: 법 집행 기관의 단속) 을 구분하기 위한 기준선을 제공합니다.
• 계획 기간: 생태계의 안정성은 위협 인텔리전스에 대한 반응적이고 단기적인 대응을 넘어, 수년 단위의 전략적 계획 채택을 지지합니다.

본 연구는 다크웹이 플랫폼 이전과 재브랜딩 측면에서는 역동적이지만, 경제적 동기를 가진 사이버 범죄의 근본적인 주제적 구조는 시간이 지남에 따라 놀라울 정도로 안정적임을 결론지었습니다.