TriTopic: Tri-Modal Graph-Based Topic Modeling with Iterative Refinement and Archetypes

1. 연구 배경 및 문제 제기 (Problem Statement)

기존의 토픽 모델링 (Topic Modeling) 은 대규모 비정형 텍스트에서 잠재된 주제를 추출하는 핵심 도구이나, 현대의 신경망 기반 접근법 (예: BERTopic) 은 다음과 같은 근본적인 한계를 겪고 있습니다.

• 임베딩 흐림 (Embedding Blur): BERT 와 같은 사전 훈련된 언어 모델 (PLM) 은 문맥적 임베딩을 사용하여 단어의 의미적 유사성을 포착하지만, 이를 고밀도 벡터 공간으로 압축하는 과정에서 어휘적 정밀도 (Lexical Precision) 가 손실됩니다. 예를 들어, "아침 식사"와 "저녁 식사"는 모두 '음식'이라는 맥락에서 의미적으로 유사하여 동일한 클러스터에 묶일 수 있으나, 실제 분석 목적에 따라 구분이 필요한 경우가 많습니다.
• 불안정성 (Instability): HDBSCAN 이나 K-Means 와 같은 확률적 클러스터링 알고리즘은 초기화 및 랜덤 시드에 민감하여, 실행마다 다른 결과가 도출될 수 있습니다. 이는 과학적 연구나 비즈니스 인텔리전스 시스템에서 재현성 (Reproducibility) 을 해치는 치명적인 결함입니다.
• 단일 관점 의존성: 기존 모델은 주로 의미적 임베딩이나 어휘적 빈도 중 하나에 의존하여, 텍스트의 다면적 특성을 충분히 반영하지 못합니다.
• 데이터 손실: 밀도 기반 클러스터링 (예: BERTopic) 은 노이즈로 간주된 문서들을 아웃라이어 (Outlier) 로 제거하여 클러스터 순도를 높이는 대신, 최대 28% 에 달하는 데이터를 분석에서 제외시킵니다.

2. 방법론: TriTopic 아키텍처 (Methodology)

TriTopic 은 삼중 모드 (Tri-Modal) 그래프 기반 접근법을 통해 위 문제들을 해결합니다. 텍스트를 세 가지 다른 관점 (의미, 어휘, 메타데이터) 에서 표현하고 이를 통합하는 6 단계 파이프라인을 따릅니다.

2.1 삼중 모드 표현 및 융합 (Tri-Modal Representation & Fusion)

각 문서에 대해 세 가지 벡터 공간을 구성합니다:

1. 의미 공간 (Semantic Space): Sentence-Transformers 를 사용하여 문맥적 동의어와 문장을 포착하는 조밀한 벡터.
2. 어휘 공간 (Lexical Space): TF-IDF 를 사용하여 "하드 토큰 (hard tokens)"과 같은 정밀한 어휘 정보를 보존하는 희소 벡터.
3. 메타데이터 공간 (Metadata Space): 저자, 타임스탬프, 카테고리 등을 인코딩한 벡터.

이들 벡터를 단순히 연결하는 대신, 각 공간별 유사도 행렬 ($S_{sem}, S_{lex}, S_{meta}$) 을 계산한 후 가중치 합 ($\alpha S_{sem} + \beta S_{lex} + \gamma S_{meta}$) 으로 최종 유사도 행렬을 생성합니다.

2.2 강건한 그래프 구축 (Robust Graph Construction)

• 상호 k-NN (Mutual kNN, MkNN): 노이즈를 제거하기 위해 노드 $i$가 $j$의 이웃이고 동시에 $j$가 $i$의 이웃인 경우에만 간선을 허용합니다. 이는 약한 연결을 제거하여 "하위 클러스터링 (under-clustering)"을 방지합니다.
• 공유 이웃 (Shared Nearest Neighbors, SNN): 간선 가중치를 유클리드 거리가 아닌 두 노드가 공유하는 이웃의 수로 정의하여, 국소적 밀도 매니폴드 내에서 강하게 연결된 문서들을 식별합니다.

2.3 합의 Leiden 클러스터링 (Consensus Leiden Clustering)

• Leiden 알고리즘을 독립적으로 $m$번 실행하여 여러 파티션을 생성합니다.
• 동시 할당 행렬 (Co-Assignment Matrix): 문서 $i$와 $j$가 동일한 토픽에 할당된 빈도를 기반으로 확률 행렬을 구성합니다.
• 합의 파티션: 계층적 클러스터링을 통해 초기화 노이즈에 강건하고 재현성이 높은 최종 파티션을 도출합니다.

2.4 양방향 해상도 탐색 (Bidirectional Resolution Search)

목표 토픽 수 ($k$) 를 달성하기 위해 Leiden 알고리즘의 해상도 파라미터 ($\gamma$) 를 이진 탐색합니다. 단순히 클러스터를 병합하는 것이 아니라, 자연스러운 클러스터 구조를 유지하면서 $k$에 맞는 해상도를 찾음으로써 품질 저하를 방지합니다.

2.5 반복적 정제 (Iterative Refinement)

초기 클러스터의 경계가 모호한 문제를 해결하기 위해 자기 학습 (Self-supervised) 루프를 도입합니다.

• 각 클러스터의 중심 (Centroid) 을 계산하고, 문서 벡터를 중심 방향으로 끌어당기는 (Centroid Pulling) 작업을 수행합니다.
• 중심에서 멀리 떨어진 문서일수록 더 강하게 조정되며, 이를 통해 클러스터 내 분산을 줄이고 클러스터 간 분리도를 높입니다.

2.6 아키타입 분석 (Archetype Analysis)

기존의 "평균 문서 (Average Document)" 개념을 버리고, 각 토픽 클러스터의 볼록 껍질 (Convex Hull) 을 근사하여 아키타입 (Archetypes) 을 추출합니다. 이는 토픽의 중심이 아닌, 주제의 극단적인 경계 사례 (예: "중도"와 "극단" 의견) 를 정의하여 해석 가능성을 높입니다.

3. 주요 기여 (Key Contributions)

1. 하이브리드 그래프 구축: 의미적 임베딩과 어휘적 TF-IDF 를 결합하여 "임베딩 흐림"을 해결하고, 메타데이터를 통합하여 다차원적 맥락을 반영합니다.
2. 확실한 재현성 (Deterministic-like Stability): 합의 클러스터링 (Consensus Clustering) 을 통해 확률적 알고리즘의 불안정성을 극복하고, 실행 간 일관성을 보장합니다.
3. 100% 코퍼스 커버리지: 아웃라이어를 제거하지 않고 모든 문서를 토픽에 할당하여 데이터 손실 없이 전체 텍스트를 분석합니다.
4. 아키타입 기반 해석: 토픽의 평균적 특성이 아닌, 주제의 스펙트럼을 정의하는 극단적 문서들을 제시하여 심층적인 해석을 가능하게 합니다.

4. 실험 결과 (Results)

20 Newsgroups, BBC News, AG News, Arxiv 등 4 가지 표준 데이터셋에서 BERTopic, NMF, LDA 와 비교 평가되었습니다.

• 성능 (NMI): TriTopic 은 모든 데이터셋에서 가장 높은 정규화 상호 정보 (NMI) 를 기록했습니다.
  • 평균 NMI: TriTopic (0.575) > BERTopic (0.510) > NMF (0.416) > LDA (0.300).
  • 특히 AG News 데이터셋에서는 BERTopic 대비 37.3% 높은 성능을 보였습니다.
• 커버리지 (Coverage): TriTopic 은 100% 의 문서 커버리지를 달성한 반면, BERTopic 은 평균 18.8% (AG News 기준 27.8%) 의 문서를 아웃라이어로 제거했습니다.
• 안정성 (Stability): 랜덤 시드 변경에 따른 NMI 표준 편차가 0.007로, BERTopic (0.026) 과 LDA (0.021) 에 비해 압도적으로 안정적이며 NMF 와 유사한 수준의 결정론적 결과를 보입니다.
• 일관성: NPMI(주제 일관성) 와 실루엣 점수에서도 경쟁 모델 대비 우수한 균형을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

TriTopic 은 토픽 모델링의 "제 3 의 물결 (Third Wave)" 을 제시합니다.

• 과학적 엄밀성: 확률적 불안정성을 해결하여 사회과학 및 역사학 연구에서 재현 가능한 지식 구조 추출을 가능하게 합니다.
• 노이즈 통합 철학: 데이터를 제거하는 대신 그래프 알고리즘을 통해 모든 데이터를 의미 있는 토픽에 할당함으로써, 중요한 에지 케이스 (Edge Cases) 를 놓치지 않습니다.
• LLM 과의 시너지: TriTopic 이 생성한 안정적이고 구조화된 클러스터 및 아키타입은 대형 언어 모델 (LLM) 에 대한 최적의 프롬프트 컨텍스트를 제공하여, 차세대 신경 - 심볼릭 (Neuro-Symbolic) 토픽 모델링의 기초가 됩니다.

이 프레임워크는 오픈 소스 라이브러리 (PyPI) 로 제공되어 연구 및 산업 현장에 즉시 적용 가능하도록 설계되었습니다.