Repeatability is not recovery: Quantifying algorithmic stability and topic recovery in Latent Dirichlet Allocation

기술 요약: 반복 가능성은 회복이 아니다: 잠재 디리클레 할당(LDA)의 알고리즘적 안정성 및 토픽 회복량 정량화

문제 제기
토픽 모델링, 특히 잠재 디리클레 할당(LDA)과 같은 확률적 알고리즘을 사용하는 방식은 라벨이 없는 텍스트에서 숨겨진 구조를 발견하는 데 널리 사용됩니다. 모델을 여러 번 재실행하여 그 결과가 일관적(반복 가능)이라면, 이를 모델이 진정한 기저 토픽을 성공적으로 회되어했다는 증거로 해석하는 것이 일반적인 관행입니다. 그러나 본 논문은 반복 가능성이 곧 회복(recovery)은 아니라고 주장합니다. 모델은 추론의 확률적 특성, 무작위 초기화 또는 코퍼스 샘플링의 변동성으로 인해, 실제 토픽 구조와는 다르더라도 일관되게 유사한(그러나 잘못된) 토픽 구조를 생성할 수 있습니다. 핵심 문제는 반복된 실행의 일관성(반복 가능성)과 알려진 정답(ground truth)에 대한 각 실행의 정확도(회복량)를 동시에 정량화할 수 있는 프레임워크가 부족하다는 점이며, 특히 실제 코퍼스를 위한 고품질 라벨 데이터가 희소하다는 점에서도 문제가 됩니다.

방법론
이를 해결하기 위해 저자들은 회복 정확도와 반복된 적합(fit) 간의 일관성을 결합한 불안정성(Instability) 프레임워크를 제안합니다. 방법론은 세 가지 주요 구성 요소로 이루어집니다:

1. 시뮬레이션된 정답(Simulated Ground Truth): 저자들은 알려진 토픽 수($K=10$)를 가진 LDA 생성 과정을 사용하여 50개의 서로 다른 시뮬레이션 코퍼스를 생성했습니다. 이 코퍼스들은 토픽 간의 분리 정도를 다양화하기 위해 다섯 가지의 서로 다른 토픽-단어 분포를 활용했습니다:

   • 디리클레 분포 (파라미터 0.0001 및 0.001).
   • 정규 분포 (표준 편차 1 및 10).
   • 균등 분리 분포 (Uniform Separable distribution, 완전히 중첩되지 않는 토픽).
     각 코퍼스는 코퍼스 샘플링과 모델 적합 모두에서 발생하는 변동성을 포착하기 위해 고정된 랜덤 시드를 사용하여 50번씩 적합되었습니다.

2. 유사도 측정 지표: 토픽 출력값을 정답과 비교하고, 또한 출력값들 상호 간에 비교하기 위해 세 가지 별도의 지표가 사용되었습니다:

   • 젠슨-샤논 유사도 (Jensen–Shannon Similarity, JSS): 완전한 토픽-단어 확률 분포 간의 거리를 측정합니다.
   • 자카드 유사도 (Jaccard Similarity, JIS): 상위 10개 단어(순서가 없는 집합으로 취급)의 중첩도를 측정합니다.
   • 순위 편향 중첩 (Rank-Biased Overlap, RBO): 순위를 고려하면서 상위 10개 단어의 유사도를 측정합니다.

3. 불안정성 지표: 저자들은 불안정성을 점 $(\bar{m}, \text{var}(m))$과 이상적인 점 $(1, 0)$ 사이의 유클리드 거리로 정의합니다. 여기서 $\bar{m}$은 평균 유사도 점수이고 $\text{var}(m)$은 반복된 실행 간의 분산입니다.

   • 정답과 비교할 때, 낮은 불안정성은 높은 회복 정확도와 높은 일관성을 나타냅니다.
   • 반복된 실행들을 서로 비교할 때, 낮은 불안정성은 높은 내부 반복 가능성을 나타냅니디.
   • 지표는 다음과 같이 계산됩니다: $\text{Instability}_t = \frac{1}{t} \sum_{i=1}^{t} \sqrt{(\bar{m}_i - 1)^2 + \text{var}(m_i)^2}$.

이 프레임워크는 실세계 시나리오에서 테스트하기 위해 20 Newsgroups 데이터셋(정답은 알 수 없으나 20개의 라벨된 카테고리가 존재함)에 적용되었으며, NPMI(정규화된 점별 상호 정보량) 토픽 일관성(coherence)과 비교되었습니다.

주요 기여

1. 개념적 구분: 본 논문은 반복 가능성과 회복이 서로 다른 속성임을 확립합니다. 모델은 매우 반복 가능할 수 있지만(출력의 낮은 분산), 정답 분포를 회복하는 데는 실패할 수 있습니다(정답에 대한 낮은 평균 유사도).
2. 불안정성 프레임워크: 평균과 분산을 활용하여 정확도와 일관성을 동시에 평가하는 통합된 지표를 도입했습니다.
3. 제어된 데이터 생성: 정답이 알려진 다양한 수준의 토픽 중첩을 가진 시뮬레이션 파이프라인을 구축함으로써, 표준적인 실세계 데이터셋으로는 불가능한 직접적인 모델 성능 평가를 가능하게 했습니다.

결과

• 반복 가능성 vs. 회복량: 대부분의 분포에서 LDA는 회복되는 것보다 더 반복 가능한 것으로 나타났습니다. 반복된 실행 간의 일관성(consistency)에 대한 불안정성 값은 정답과의 비교(accuracy) 시보다 일반적으로 더 낮았습니다. 이는 LDA가 일관되지만 잠재적으로는 틀린 솔루션에 자주 수렴함을 시사합니다.
• 분포 민감도:
  • **균등 분리 분포(Uniform Separable distribution)**의 경우, LDA는 상위 단어와 그 순서를 성공적으로 회복했습니다(JIS 및 RBO에 대해 정답 대비 낮은 불안정성). 또한 NPMI 일관성은 $K=10$에서 불안정성 지표와 일치했습니다.
  • **중첩된 분포(디리클레 및 정규 분포)**의 경우, 진정한 토픽 수($K=10$)에 대한 신호가 더 약했습니다. NPMI 일관성은 일반적으로 더 작은 토픽 수를 선호했으나, 불안정성 지표는 $K=10$ 근처에서 최소값 또는 고원(plateau) 현상을 보였습니다.
• 지표 간 차이:
  • 젠슨-샤논 유사도(전체 분포)는 반복 가능성과 회복량 사이의 격차가 가장 컸으며, 이는 전체 확률 분포는 정확하게 회복되지 않더라도 모델들이 서로에게는 일관적임을 나타냅니다.
  • 자카드 및 RBO(상위 단어)는 균등 분리 분포에 대해 더 나은 회복력을 보였는데, 이는 모델이 전체 확률 분포를 정확하게 추정하지는 못하더라도 대표적인 단어들은 올바르게 식별함을 시사합니다.
• 20 Newsgroups 적용: 실세계 데이터셋에서 자카드 및 RBO 불안정성은 20개의 라벨된 카테고리 근처에서 최솟값을 보였으며, 이는 해당 토픽 수가 가장 반복 가능하다는 것을 시사합니다. 그러나 젠슨-샤논 불안정성과 NPMI는 다른 패턴을 보였으며, 이는 서로 다른 지표가 모델 성능의 서로 다른 측면을 포착함을 뒷받침합니다.

의의 및 주장
저자들은 이러한 결과가 반복 가능성을 적합된 토픽이 옳다는 증거로 취급해서는 안 된다는 점을 입증한다고 주장합니다. 대신, 반복 가능성은 단지 적합 과정이 유사한 솔루션을 산출한다는 증거일 뿐입니다. 본 논문은 다음과 같이 주장합니다:

• 토픽 모델 검증에는 반복된 적합(불확실성 평가), 일관성 측정, 그리고 가능한 경우 외부 정답을 포함한 다각적인 증거가 필요합니다.
• 유사도 측정 지표의 선택이 중요합니다. 자카드와 RBO는 질적 해석(토픽 라벨링)에 적합하며, 젠슨-샤논은 전체 분포를 포함한 양적 분석에 필요합니다.
• "진정한" 토픽 수는 단순히 불안정성의 최소값에 의해 정의되는 것이 아닙니다. 오히려 불안정성은 "비교적 반복 가능한" 솔루션을 식별하며, 그 솔루션의 해석은 코퍼스의 특정 구조와 분석 목표에 따라 달라집니다.

본 논문은 제안된 프레임워크가 반복 가능성과 회복을 구분하는 제어된 방법을 제공하지만, 실세계 적용 시에는 주의가 필요하다고 결론짓습니다. 높은 일관성이나 높은 반복 가능성이 반드시 기저의 생성 구조를 회복한다는 것을 보장하지는 않기 때문입니다.