[기술 요약] 실시간 내러티브 진화 모니터링을 위한 온라인 밀도 기반 클러스터링

1. 문제 정의 (Problem Statement)

소셜 미디어 데이터와 같은 대규모 스트리밍 데이터를 모니터링하여 새로운 내러티브(Narrative, 담론 패턴)나 허위 정보 캠페인을 탐지하는 시스템은 확장성(Scalability) 문제에 직면해 있습니다.

• 기존 방식의 한계: 현재 널리 사용되는 HDBSCAN은 배치(Batch) 기반 알고리즘입니다. 이는 새로운 데이터가 들어올 때마다 전체 데이터를 다시 로드하고 처음부터 다시 클러스터링해야 하므로, 메모리 사용량이 매우 높고 계산 비용($O(N \log N)$)이 큽니다.
• 실시간성 결여: 배치 방식은 데이터가 점진적으로 변화하는 양상을 반영하지 못하고 매번 구조를 새로 학습하므로, 실시간 업데이트나 점진적인 내러티브 정교화가 불가능합니다.
• 핵심 질문: "클러스터 품질과 통합 호환성을 유지하면서도, 계산 효율성을 높일 수 있는 온라인 클러스터링 알고리즘이 HDBSCAN을 대체할 수 있는가?"

2. 연구 방법론 (Methodology)

연구진은 4단계 파이프라인을 구축하여 온라인 클러스터링 알고리즘을 평가했습니다.

A. 시스템 아키텍처 (4-Stage Pipeline)

1. 데이터 수집 및 전처리: 우크라이나 정보 공간(뉴스, 텔레그램, 댓글 등)에서 수집된 다국어 데이터 처리.
2. 임베딩 생성 (Embedding): all-MiniLM-L6-v2 모델을 사용하여 문서를 고차원 밀집 벡터로 변환.
3. 차원 축소 (Dimensionality Reduction): UMAP을 사용하여 국소적 구조를 유지하며 차원 축소.
4. 클러스터링 (Clustering): 본 연구의 핵심 비교 대상.
5. LLM 기반 라벨링: 클러스터에 인간이 이해할 수 있는 요약 및 라벨을 부여.

B. 실험 설계

• 비교 대상:
  • Baseline: HDBSCAN (매일 전체 데이터를 새로 클러스터링하는 배치 방식).
  • Online Methods: DBSTREAM, DenStream, TextClust (River 라이브러리 활용).
• 데이터셋: 하루 약 17,000개의 문서가 발생하는 우크라이나 소셜 미디어 스트림 데이터. 6일간의 데이터를 사전 학습(Pre-training)에 사용하고, 이후 1일치 데이터를 스트리밍 데이터로 사용하여 성능을 테스트함.
• 평가 지표:
  • 표준 클러스터링 지표: Silhouette Score (응집도), Davies-Bouldin Index (분리도).
  • 내러티브 특화 지표: Narrative Distinctness (독창성), Contingency (연속성), Variance (분산).
  • 운영 지표: 학습/예측 시간, 클러스터 개수.
  • 인간 평가: 전문가 3인이 클러스터의 정확성 및 해석 가능성을 검증.

3. 주요 기여 (Key Contributions)

1. 실제적 평가 프레임워크 제안: 단순 클러스터링을 넘어, 사전 학습 $\rightarrow$ 점진적 업데이트 $\rightarrow$ 슬라이딩 윈도우 시뮬레이션으로 이어지는 현실적인 스트리밍 평가 환경을 구축함.
2. 체계적 비교 분석: 배치 방식(HDBSCAN)과 다양한 온라인 밀도 기반 방식들을 실제 운영 파이프라인 환경에서 통합적으로 비교함.
3. DenStream의 우수성 입증: 온라인 대안 중 DenStream이 품질과 효율성 측면에서 가장 유망한 모델임을 밝히고, 시스템 도입을 위한 가이드라인을 제시함.

4. 연구 결과 (Results)

A. 클러스터 품질 및 내러티브 지표

• DenStream의 압승: 표준 지표인 **Silhouette Score(0.685)**에서 HDBSCAN(0.592)보다 높았고, **Davies-Bouldin Index(0.453)**는 더 낮아 클러스터의 응집도와 분리도가 가장 뛰어났습니다.
• DBSTREAM의 한계: 고차원 임베딩 공간에서 마이크로 클러스터링 방식이 세밀함을 유지하지 못해 성능이 저조했습니다.
• 내러티브 특성: HDBSCAN은 매일 재학습하므로 시간적 안정성(Low Variance)은 높지만, 내러티브가 너무 잘게 쪼개지는 경향이 있습니다. 반면, 온라인 방식은 데이터 변화에 따라 구조가 변하므로 변동성은 높지만, 이는 오히려 진화하는 내러티브를 포착하는 적응성으로 해석됩니다.

B. 운영 효율성 (Operational Metrics)

• DenStream은 학습 시간(3.56초)과 예측 시간(1.7초) 모두에서 HDBSCAN(학습 13초, 예측 1.3초) 대비 매우 효율적이거나 대등한 성능을 보이며, 특히 대규모 데이터 처리 시 확장성이 뛰어납니다.

C. 인간 평가 (Human Evaluation)

• 정확도(Accuracy): DenStream이 0.84로 가장 높았으며, HDBSCAN(0.775)을 상회했습니다.
• 해석 가능성: DenStream은 인간 평가자 간의 일치도(Cohen’s $\kappa$, Krippendorff’s $\alpha$)가 가장 높았습니다. 이는 DenStream이 생성한 클러스터가 단순히 수학적으로 잘 나뉜 것을 넘어, 인간이 보기에 모호하지 않고 명확한 의미를 전달함을 의미합니다.

5. 결론 및 의의 (Significance)

본 연구는 **"배치 중심의 클러스터링에서 스트리밍 중심의 클러스터링으로의 전환"**이 대규모 내러티브 모니터링 시스템에서 실질적으로 가능하며, 오히려 더 나은 결과를 낼 수 있음을 증명했습니다.

• 실무적 가치: DenStream을 활용하면 메모리 부담을 줄이면서도, 실시간으로 변화하는 사회적 담론과 정보 작전(Information Operations)을 더 정확하고 해석 가능하게 모니터링할 수 있습니다.
• 학술적 가치: 클러스터링의 수학적 품질(Silhouette 등)과 실제 도메인에서의 유용성(인간의 해석력) 사이의 관계를 분석하여, 스트리밍 환경에서의 새로운 평가 기준을 제시했습니다.