💬 NLP

Determination of the Number of Topics Intrinsically: Is It Possible?

이 논문은 여러 코퍼스에 걸쳐 토픽 모델의 토픽 수를 추정하기 위한 다양한 내재적 방법들을 평가하며, 최적의 토픽 수는 데이터의 절대적인 속성이 아니라 사용된 특정 모델과 방법에 따라 달라지기 때문에 이러한 방법들이 신뢰할 수 없다고 결론짓는다.

원저자: Victor Bulatov, Vasiliy Alekseev, Konstantin Vorontsov

게시일 2026-08-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Victor Bulatov, Vasiliy Alekseev, Konstantin Vorontsov

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

수백만 권의 책이 들어있는 도서관을 상상해 보십시오. 하지만 선반은 비어 있고 제목도 없습니다. 이 컬렉션을 이해하기 위해 사서는 책의 내용을 바탕으로 책들을 분류하여, 공유된 주제에 따라 더미를 만드는 시도를 할 수 있습니다. 컴퓨터 과학의 세계에서 이것이 바로 토픽 모델링(topic model)의 역할입니다. 토픽 모델링은 방대한 양의 텍스트를 스캔하여 숨겨진 패턴을 찾아내고, 자주 함께 등장하는 단어들을 우리가 '토픽'이라 부르는 단위로 그룹화하는 통계적 도구입니다. 어떤 토픽은 스포츠에 관한 것일 수 있고, 다른 것은 요리에 관한 것일 수 있으며, 또 다른 것은 우주 탐사에 관한 것일 수 있습니다. 컴퓨터는 이러한 라벨을 미리 알고 있는 것이 아니라, 텍스트 자체를 분석함으로써 이를 발견합니다.

하지만 이 과정에는 근본적인 문제가 하나 있습니다. 컴퓨터는 몇 개의 더미를 만들어야 할지 모른다는 점입니다. 열 개를 만들어야 할까요, 쉰 개를 만들어야 할까요, 아니면 백 개를 만들어야 할까요? 이 숫자는 사용자가 컴퓨터가 작업을 시작하기 전에 선택해야 하는 중요한 설정값, 즉 '하이퍼파라미터(hyperparameter)'입니다. 만약 숫자가 너무 낮으면 그룹들이 무질서하고 혼란스러워져 서로 관련 없는 주제들이 뒤섞이게 됩니다. 반대로 숫자가 너무 높으면 그룹들이 아주 작고 반복적이 되어, 하나의 아이디어를 거의 동일한 여러 개의 파편으로 쪼개버리게 됩니다. 수년간 연구자들은 텍스트 컬렉션을 살펴보고 사용자에게 선택할 수 있는 완벽한 토픽의 수를 알려줄 수 있는 자동화된 도구를 구축하기 위해 노력해 왔으며, 데이터 속에 숨겨진 단 하나의 객관적인 진실을 찾기를 희망했습니다.

모스크바 물리기술연구소와 로모노소프 모스크바 국립대학교의 연구진은 그러한 완벽한 숫자가 실제로 존재하는지를 테스트하기로 했습니다. 그들은 최적의 토픽 수를 결정한다고 주장하는 수십 가지의 서로 다른 수학적 공식과 절차를 포함한 다양한 기존 방법들을 모았습니다. 그들은 뉴스 기사, 과학 논문, 프로그래밍 포럼의 게시글, 그리고 엄선된 러시아 위키피디아 문서에 이르기까지 다양한 실제 텍래 컬렉션에 이 방법들을 적용했습니다. 또한, 모델이 구축되는 방식에 따라 데이터를 바라보는 관점이 달라질 수 있으므로, 서로 다른 유형의 컴퓨터 모델에도 이 방법들을 테스트했습니다.

연구진은 컴퓨터 모델이 텍스트로부터 학습하는 동안 각기 다른 방법들로 결과를 측정하며 수천 번의 실험을 수행했습니다. 그들은 최적의 토픽 수를 나타낼 수 있는 데이터상의 명확한 신호, 예를 들어 급격한 정점(peak)이나 깊은 골짜기(valley)를 찾고자 했습니다. 그들은 모든 서로 다른 방법들이 서로 일치하여, 특정 텍스트 컬렉션에 대해 동일한 숫자를 가리키기를 바랐습니다. 그러나 그들이 발견한 것은 혼돈의 모습이었습니다. 서로 다른 방법들이 일치하는 경우는 드물었습니다. 어떤 방법은 뉴스 기사 컬렉션을 이해하는 데 열 개의 토픽이 가장 적절하다고 제안하는 반면, 정확히 동일한 텍스트를 보고 있는 다른 방법은 서른 개의 토픽을 제안하기도 했습니다. 더욱 놀라운 점은, '최적의' 숫자가 텍ens를 분석하는 데 사용된 특정 컴퓨터 모델에 따라 자주 변한다는 것이었습니다.

이 연구는 최적의 토픽 수를 찾는 데 가장 인기 있고 정교한 도구들이 결코 신뢰할 만하지 않다는 것을 드러냈습니다. 토픽들이 서로 얼마나 뚜렷하게 구분되는지를 측정하려는 일부 방법들은 지속적으로 너무 높은 숫자를 제시했으며, 종종 연구진이 테스트한 한계치까지 숫자를 밀어붙였습니다. 반면, 모델이 보지 못한 텍러를 얼마나 잘 예측하는지를 보는 다른 방법들은 결과가 너무 평탄하고 변화가 없어 아무런 가이드도 제공하지 못했습니다. 연구진은 토픽의 수가 책의 페이지 수처럼 텍스트 자체의 고정된 자연적 속성이 아니라는 것을 발견했습니다. 오히려 그것은 사용하는 측정 도구와 텍스트를 분석하는 특정 모델에 따라 크게 달라지는 양이라는 것입니다.

결론에서 저자들은 커뮤니티가 신화를 쫓고 있다고 제언합니다. 어떤 데이터셋에서도 발견되기를 기다리는 단 하나의 '자연스러운' 토픽 수가 존재한다는 생각은 틀린 것으로 보입니다. 토픽의 수는 지도를 확대하거나 축소하는 것과 유사하게, 사용자가 보고 싶은 세부 수준을 조절하기 위해 돌리는 다이얼과 같습니다. 도시의 지도는 개별 거리들을 보여줄 수도 있고, 주요 고속도로만을 보여줄 수도 있습니다. 둘 중 어느 것도 '진정한' 지도는 아니며, 단지 서로 다른 목적을 위한 다른 관점일 뿐입니다. 연구진은 자동적으로 완벽한 숫자를 찾으려 하기보다, 실무자들이 모델이 실제로 수행하기를 원하는 작업에 집중해야 한다고 주장합니다. 그들은 그룹을 얼마나 상세하게 만들고 싶은지, 혹은 모델이 답해주기를 원하는 구체적인 질문이 있는지 물어야 합니다. 이 연구에 따르면, 토픽 수에 대한 내재적이고 자동적인 해결책을 찾는 과정은 막다른 길에 다다랐으며, 답은 더 나은 공식이 아니라 분석 뒤에 숨겨 있는 인간의 목표를 더 잘 이해하는 데 있다는 것을 시사합니다.

기술 요약: 주제(Topic) 수의 내재적 결정: 그것은 가능한가?

문제 제기
주제 수( $T$ )는 토픽 모델링의 주요 하이퍼파라미터이지만, 최적의 값을 결정하는 방법에 대해서는 합의된 바가 없다. 외부 레이블이나 인간의 평가 없이 $T$ 를 추정하기 위한 수많은 내재적 방법들이 존재하지만, 문헌상에는 다양한 모델과 코퍼스에 걸친 이러한 관행들에 대한 포괄적인 비교가 부족하다. 저자들은 "최적의 $T$ "가 코퍼스의 절대적이고 내재적인 속성인지, 아니면 단순히 모델 의존적인 양인지 조사한다. 이들은 $T$ 를 자동으로 학습하는 방법(예: 계층적 디리클레 프로세스)을 제외하고, 품질 지표를 통해 $T$ 를 선택해야 하는 고정된 $T$ 모델들에 집중한다.

방법론
본 연구는 다양한 토픽 모델과 공개적으로 사용 가능한 코퍼스를 대상으로 광범위한 내재적 품질 지표를 평가한다.

토픽 모델: 실험에는 PLSA, LDA(대칭, 비대칭 및 휴리스틱 사전 분포 포함), 탈상관 모델(TWC-LDA), 희소 모델(배경/특정 주제 분리), 그리고 세타가 없는 모델(TARTM)이 활용되었다. 이들은 BigARTM/TopicNet 스택을 사용하여 구현되었다.
코퍼스: WikiRef220, 20NewsGroups, Brown Corpus, Reuters, StackOverflow, PostNauka, 그리고 러시아 위키피디아에서 파생된 새로운 "ruwiki-good" 데이터셋을 포함한 7개의 데이터셋이 분석되었다. 이 데이터셋들은 크기(220개에서 약 90만 개의 문서)와 "그라운드 트루스(ground truth)" 또는 기대되는 주제 범위가 다양하다.
평가된 지표: 연구는 다음과 같은 범주의 여러 지표를 평가하였다.
- Perplexity (혼란도): 홀드아웃 퍼플렉시티(Hold-out perplexity) 및 퍼플렉시티 변화율(Rate of Perplexity Change, RPC).
- Stability (안정성): 서브샘플 기반 안정성(상위 토큰의 자카드 유사도) 및 코페네틱 상관계수(cophenetic correlation).
- Diversity (다양성): 코사인(Cosine), 젠슨-샤논(Jensen-Shannon), 유클리드(Euclidean), 헬링거(Hellinger) 메트릭을 사용한 평균 및 가장 가까운 주제 간 거리(예: D-avg-COS, D-cls-JS).
- Information-Theoretic (정보 이론적 지표): AIC, BIC, MDL(표준 및 희소 변형 모두 포함).
- Entropy (엔트로피): 에너지 상태에 기반한 레니(Renyi) 엔트로피.
- 기타: 리프트 스코어(Lift-score), 실루엣 계수(Silhouette Coefficient), 칼린스키-하라바츠 지수(Calinski-Harabasz Index), 평균 일관성(Average Coherence).
실험 설계: 모델들은 세 번의 무작위 초기화를 통해 최소값에서 최대값까지의 $T$ 범위로 학습되었다. 지표는 각 실행에 대해 계산되었다. 특정 지표가 신뢰할 수 있는 "최적의" $T$ 를 산출하는지 결정하기 위해, 저자들은 알고리즘적으로 뚜렷한 전역 최솟값/최댓값을 탐색하고 무작위 시드에 대한 견고성을 확인하였다.

주요 결과
표 3에 요약된 실험 결과는 내재적 방법들이 단일한 절대적 주제 수를 결정하는 데 일반적으로 신뢰할 수 없음을 나타낸다.

모델 의존성: "최적의" $T$ 는 특정 토픽 모델과 그 하이퍼파라미터 설정(예: LDA의 사전 분포)에 따라 크게 달라진다. 한 모델에 최적인 값이 다른 모델에서는 최적이 아닐 수 있다.
지표 간 불일치: 서로 다른 지표들이 빈번하게 매우 상이한 $T$ 값을 제시한다. 다양성 기반 방법들은 $T$ 를 과대평가하는 경향이 있으며(종종 테스트된 범위를 벗어난 값을 제시함), 정보 이론적 방법(AIC, BIC, MDL) 및 엔트로피 기반 방법(Renyi)은 상대적으로 더 나은 성능을 보였으나 여전히 일관성은 부족했다.
무작위성 민감도: 많은 지표가 무작위 초기화 시드에 따라 다른 최적값을 생성한다. 일부 방법(정보 이론적 방법 등)은 시드에 대해 안정적인 최적값을 보이는 반면, 다른 방법들(다양성 및 일관성 등)은 높은 분산이나 여러 지역 최적값(local optima)을 가진 노이즈 섞인 곡선을 보인다.
특정 지표 성능:
- Perplexity: 종종 명확한 최솟값 없이 단조로운 형태를 보이며, 이는 기존 문헌과 상충된다.
- Stability: 작은 $T$ 값에서는 너무 노이즈가 심하며, 희소 모델에는 부적합하다.
- Coherence: 일반적으로 $T$ 에 따라 감소하는 함수이며, 매우 작은 $T$ 값을 선택하도록 유도한다.
- Diversity: 명확한 최댓값을 보여주지 못하고 평탄해지는 경우가 많다.
- 가장 단순한 방법들: 놀랍게도 가장 단순한 접근 방식들(AIC, BIC, MDL, Renyi 엔트로피)이 복잡한 구조 기반 지표들에 비해 더 일관된(비록 완벽하지는 않지만) 결과를 제공했다.

의의 및 결론
본 논문은 "최적의 주제 수"라는 개념이 코퍼스의 내재적이고 절대적인 속성이라는 생각은 허구일 가능성이 높다고 결론짓는다. 대신, 주제의 수는 특정 알고리즘, 하이퍼파라미터, 그리고 평가를 위해 선택된 지표에 의해 영향을 받는 **모델 의전적 양(model-dependent quantity)**임이 밝혀졌다.

저자들은 데이터에 내재된 "자연스러운" 주제 수를 찾으려는 커뮤니티의 노력이 지속적인 논쟁의 대상이라고 주장한다. 그들은 $T$ 를 발견해야 할 내재적 진리가 아니라, 특정 애플리케이션의 목표에 따라 튜닝되어야 하는 표준 머신러닝 하이퍼파라미터로 취급해야 한다고 제안한다.

제안된 방향:
내재적 지표에 의존하여 "진정한" $T$ 를 찾는 대신, 저자들은 다음을 제안한다:

$T$ 를 튜너블(tunable) 하이퍼파라미터로 취급할 것.
$T$ 를 선택하기 위해 이차 작업(예: 분류)에 집중할 것.
$T$ 의 변화에 견고하거나 계층적 주제 구조를 학습할 수 있는 모델을 개발할 것.
실무자의 초점을 "주제의 수를 찾는 것"에서 원하는 입도(granularity)를 정의하는 것(예: "하나의 주제가 얼마나 많은 문서를 포함해야 하는가?")과 주제의 해석 가능성을 확보하는 것으로 전환할 것.

궁극적으로, 본 연구는 토픽 모델링의 목표가 최적의 $T$ 를 결정하는 것이 아니라, 외부 기준이 없는 상태에서 주어진 $T$ 에 대해 해석 가능한 주제를 생성하는 학습 방법을 개발하는 것이라고 상정한다.

유사한 논문