A Theoretical Framework for Statistical Evaluability of Generative Models

1. 문제 제기 (Problem)

• 배경: 지도 학습 (Supervised Learning) 에서는 오차율 (Error Rate) 과 같은 성능 지표가 잘 정의되어 있으며, 충분히 큰 테스트 데이터셋을 통해 일반화 성능을 신뢰할 수 있게 추정할 수 있습니다.
• 도전 과제: 생성 모델은 개방형 (open-ended) 성격을 가지기 때문에 평가가 훨씬 어렵습니다.
  1. 어떤 평가 지표가 적절한지 명확하지 않습니다.
  2. 지표가 정의되더라도 **유한한 샘플 (Finite Samples)**로부터 신뢰할 수 있게 평가할 수 있는지 불확실합니다.
• 핵심 질문: "유한한 샘플을 통해 생성 모델의 성능을 통계적으로 평가할 수 있는가?"
• 기존 방법의 한계:
  • Perplexity (혼란도): 교차 엔트로피 (Cross-entropy) 를 평가하는 데 널리 쓰이지만, 로그 확률 ($\log q(x)$) 이 무계 (unbounded) 일 수 있어 드문 사건 (rare events) 에 의해 값이 급격히 왜곡될 수 있습니다. 이로 인해 실제 분포와의 거리를 정확히 반영하지 못합니다.
  • 총변동거리 (TV Distance): 분포 간 거리를 측정하는 자연스러운 지표이지만, 도메인이 매우 크거나 복잡할 경우 유한 샘플로는 추정 불가능 (not estimable) 한 것으로 알려져 있습니다.

2. 방법론 및 프레임워크 (Methodology)

저자들은 생성 모델 평가의 이론적 기반을 마련하기 위해 **평가 가능성 (Evaluability)**이라는 개념을 수학적으로 정의했습니다.

• 평가 가능성 (Evaluability) 의 정의:
  • 강한 평가 가능성 (Strongly Evaluable): 유한 샘플로부터 임의의 정밀도 (arbitrary precision) 로 성능 지표를 평가할 수 있는 경우.
  • 약한 평가 가능성 (Weakly Evaluable): 유한 샘플로부터 곱셈적 (multiplicative) 및 덧셈적 (additive) 오차 범위 내에서 성능을 평가할 수 있는 경우.
  • 평가 불가능 (Not Evaluable): 어떤 상수 $c \ge 1$에 대해서도 약한 평가 가능성이 성립하지 않는 경우.
• 연구 대상 지표:
  1. 테스트 기반 지표 (Test-based Metrics): 데이터 포인트를 실수 값으로 매핑하는 테스트 함수를 적용하는 지표.
     • 적분 확률 거리 (IPM, Integral Probability Metrics): 테스트 함수 클래스 $F$에 대한 기대값 차이의 최대값.
     • 고정 통계 테스트: 단일 테스트 함수 $g$에 기반한 지표.
  2. 분포 직접 비교 지표: 분포 간의 유사성을 직접 측정하는 지표.
     • Rényi 발산 (Rényi Divergences): $\alpha > 1$인 경우.
     • KL 발산: $\alpha \to 1$인 특수한 경우.
     • Coverage Profile: 드문 사건을 제거하기 위해 설계된 지표.

3. 주요 기여 및 결과 (Key Contributions & Results)

논문의 주요 결과는 Table 1에 요약되어 있으며, 다음과 같은 핵심 발견들을 제공합니다.

A. IPM (적분 확률 거리) 의 평가 가능성

IPM 의 평가 가능성은 테스트 함수 클래스의 통계적 복잡도 (VC 차원, Fat-shattering 차원) 와 밀접하게 연관됩니다.

• 이진 테스트 (Binary-valued Tests):
  • VC 차원이 유한 (Finite VC dim): IPM 은 강한 평가 가능성을 가집니다. (샘플 복잡도 $O(d/\epsilon^2)$)
  • VC 차원이 무한 (Infinite VC dim): 강한 평가 가능성은 불가능하지만, **3 배 약한 평가 가능성 (3-weakly evaluable)**은 가능합니다. 즉, 정확한 값은 알 수 없어도 모델 간 순위를 3 배 오차 범위 내에서 판단할 수 있습니다. 3 배 미만의 곱셈적 오차는 불가능함이 증명되었습니다.
• 실수값 테스트 (Real-valued Tests):
  • $\gamma$-Fat-shattering 차원이 유한: 모든 $\gamma > 0$에 대해 유한하면 강한 평가 가능성이 성립합니다.
  • 무한한 경우: 3 배 약한 평가 가능성은 성립할 수 있으나, 3 배 미만의 오차 보장은 증명되지 않았습니다 (열린 문제).
• 샘플 복잡도의 계층 구조 부재: 추정 가능한 IPM 들에 대해 샘플 복잡도를 결정하는 VC 차원과 같은 단일 파라미터나 유한한 계층 구조 (taxonomy) 는 존재하지 않음을 보였습니다.

B. Rényi 발산 및 관련 지표의 부정적 결과

• Rényi 발산 ($\alpha > 1$) 및 KL 발산:
  • 평가 불가능 (Not Weakly Evaluable): 드문 사건 (rare events) 에 의해 값이 결정될 수 있어, 유한 샘플로는 신뢰할 수 있게 평가할 수 없습니다.
  • 근거: 모델이 실제 분포에 비해 단일 지점에서 극히 작은 확률 질량을 할당하는 경우, 발산 값이 무한대로 발산할 수 있습니다. 이러한 사건은 유한 샘플에서는 관찰되지 않을 수 있으므로, 평가가 불가능합니다.
• Coverage Profile:
  • Rényi 발산의 단점을 해결하기 위해 드문 사건을 '컷오프' (truncate) 한 지표이지만, 임계값 (threshold) 근처에서 불연속적이기 때문에 약한 평가 가능성도 성립하지 않습니다.
  • 단, 특정 '마진 가정 (Margin Assumption)' 하에서는 강한 평가 가능성이 성립함을 보였습니다.

C. Perplexity (NLL 점수) 의 분석

• TV 거리 및 제한된 KL 발산 평가 실패:
  • Perplexity (또는 Negative Log-Likelihood, NLL) 는 드문 사건에 대해 과도하게 민감하게 반응합니다.
  • 반면, TV 거리나 $\beta$-제한 KL 발산은 작은 질량 영역의 오류에 대해 강건합니다.
  • 이 **기하학적 불일치 (Geometric Misalignment)**로 인해 NLL 점수는 TV 거리나 제한된 KL 발산을 약한 평가 가능성으로도 신뢰할 수 있게 평가하지 못합니다.
• 예외 조건:
  • 만약 후보 모델 중 하나가 실제 분포 $q^\star$와 비율적으로 매우 가깝다면 (Assumption 5.4), NLL 점수가 TV 거리를 평가할 수 있음이 증명되었습니다. 이는 실제 적용 시 '좋은' 모델이 존재한다는 전제가 필요함을 시사합니다.

4. 의의 및 결론 (Significance)

1. 이론적 프레임워크 정립: 생성 모델 평가에 대한 체계적인 이론적 틀을 제공하여, 어떤 지표가 유한 샘플로 평가 가능한지, 어떤 지표는 근본적으로 불가능한지를 구분합니다.
2. Perplexity 의 한계 명확화: 널리 사용되는 Perplexity 가 분포 간 유사성 (Distributional Similarity) 을 평가하는 데 본질적으로 부적합할 수 있음을 이론적으로 증명했습니다. 이는 드문 사건에 대한 민감도가 평가 지표의 기하학적 특성과 맞지 않기 때문입니다.
3. 지표 선택 가이드:
   • IPM: 테스트 함수 클래스의 복잡도 (VC 차원 등) 를 고려하여 설계하면 신뢰할 수 있는 평가가 가능합니다.
   • Rényi/KL 발산: 드문 사건에 민감하므로 유한 샘플 평가에는 적합하지 않으며, 이를 보완하기 위한 추가적인 가정이나 수정이 필요합니다.
4. 실무적 시사점: 생성 모델을 평가할 때 단순히 Perplexity 나 KL 발산과 같은 점수를 맹신하기보다, 평가하려는 목표 (예: 분포의 전체적 유사성 vs 드문 사건 포착) 와 평가 지표의 통계적 특성이 일치하는지 신중하게 검토해야 함을 강조합니다.

요약하자면, 이 논문은 생성 모델 평가가 "무조건 가능한 것"이 아니며, 선택한 평가 지표와 테스트 데이터의 특성 (샘플 크기, 드문 사건의 존재 여부, 테스트 함수의 복잡도) 에 따라 평가 가능성의 한계가 명확히 존재함을 수학적으로 규명했습니다.