기술 요약: 커널 거리를 통한 생성 모델의 일관된 분산 랭킹

문제 정의

생성 모델(예: GAN, Diffusion Models, VAEs)의 평가 및 랭킹은 최적의 성능을 가진 아키텍처를 식별하는 데 매우 중요합니다. 표준적인 중앙 집중식 환경에서는 프레셰 거리(Fréchet Distance, FD)나 커널 거리(Kernel Distance, KD)와 같은 지표를 사용하여 생성된 데이터와 단일 참조 분포를 비교함으로써 이를 수행합니다. 그러나 현대의 애플리케이션은 점차 분산된 환경(예: 연합 학습)에서 작동하며, 이 환경에서는 참조 데이터가 서로 이질적인 데이터 분포를 가진 여러 클라이언트에 걸쳐 존재합니다.

이러한 시나리오에서 중앙 집중식 평가(모든 클라이언트 데이터를 결합하여 단일 "score-all" 지표를 계산하는 것)는 개인정보 보호 제약과 통신 비용으로 인해 불가능한 경우가 많습니다. 대신, 실무자들은 개별 클라이언트 점수를 집계하는 방식("score-avg")에 의존할 수 있습니다. 여기서 근본적인 질문이 제기됩니다: 개별 클라이언트 점수를 집계하는 것이 중앙 집중식 평가와 동일한 모델 랭킹을 산출하는가? 본 논문은 다양한 평가 지표에 대해 두 접근 방식 간에 생성 모델의 랭킹이 일관되게 유지되는지 조사합니다.

방법론

저자들은 두 가지 주요 거리 기반 지표 클래스인 **커널 거리(KD)**와 **프레셰 거리(FD)**의 분산 랭킹 일관성을 분석합니다.

1. 이론적 프레임워크

연구는 $k$개의 클라이언트와 분포 $P_{X_1}, \dots, P_{X_k}$, 그리고 가중치 $\lambda_i$가 있는 경우의 두 가지 집계 스코어링 메커니즘을 정의합니다:

• Score-All ($D_{all}$): 생성 모델 $P_G$와 혼합 분포 $\bar{P}_X = \sum \lambda_i P_{X_i}$ 사이의 거리입니다. 이는 이상적인 중앙 집중식 평가를 나타냅니다.
• Score-Avg ($D_{avg}$): 개별 클라이언트 거리의 가중 평균입니다: $\sum \lambda_i D(P_{X_i}, P_G)$.

저자들은 KD와 FD에 대해 $D_{all}$과 $D_{avg}$ 사이의 이론적 관계를 도출합니다.

2. 커널 거리 (KD) 분석

KD 지표는 커널 함수 $k$를 사용하는 제곱 최대 평균 편차(Maximum Mean Discrepancy, MMD)로 정의됩니다.

• 정리 1: 저자들은 표준 재생 커널 힐베르트 공간(RKHS) 조건을 만족하는 임의의 커널 함수에 대해, 평균 KD 점수와 중앙 집중식 KD 점수 사이의 관계가 다음과 같음을 증명합니다:
  $$KD_{avg} = KD_{all} + \sum_{i=1}^k \lambda_i KD(\bar{P}_X, P_{X_i})$$
• 시사점: 항 $\sum \lambda_i KD(\bar{P}_X, P_{X_i})$는 클라이언트 데이터 분포에만 의존하며 생성 모델 $P_G$와는 무관합니다. 결과적으로 $KD_{avg}$와 $KD_{all}$은 모든 모델에 대해 일정한 오프셋 차이만을 가집니다. 이는 $KD_{avg}$로 모델을 랭킹하는 것이 데이터의 이질성과 관계없이 $KD_{all}$로 랭킹하는 것과 정확히 동일한 순위를 보장함을 의미합니다.

3. 프레셰 거리 (FD) 분석

FD 지표는 데이터 분포의 가우시안 근사를 이용한 2-와서스타인(2-Wasserstein) 거리로 정의됩니다.

• 정리 2: 저자들은 클라이언트 평균 $\mu_i$가 이질적일 때, 중앙 집중식 집계를 위한 최적 공분산 행렬($\bar{C}$)이 평균 집계를 위한 최적 공분산($\tilde{C}$)과 다르다는 것을 보여줍니다. 구체적으로, $\bar{C}$는 클라이언트 평균의 분산을 고려하는 항을 포함하는 반면, $\tilde{C}$는 이를 포함하지 않습니다.
• 명제 1: 저자들은 두 개의 서로 다른 생성 모델이 모든 클라이언트로부터 동일한 개별 FD 점수(따라서 동일한 $FD_{avg}$)를 받지만, 이들의 중앙 집중식 $FD_{all}$ 점수는 크게 다를 수 있는 시나리오가 존재함을 증명합니다. 이는 개별 FD 점수의 어떠한 집계 전략도 중앙 집중식 FD-all 지표와 일관된 랭킹을 보장할 수 없음을 입증합니다.

주요 기여

1. 문제 공식화: 본 논문은 이질적인 데이터가 존재하는 분산 환경에서 생성 모델을 랭킹하는 과제를 공식적으로 식별하고 연구하며, 개인정보를 보호하는 로컬 평가와 중앙 집중식 그라운드 트루스(ground truth) 사이의 간극을 강조합니다.
2. KD의 일관성: 커널 거리(KD) 지표가 일관된 분산 랭킹을 가능하게 한다는 이론적 증명을 제공합니다. 구체적으로, 클라이언트 KD 점수를 평균내는 것($KD_{avg}$)은 임의의 커널 함수에 대해 중앙 집중식 KD 점수($KD_{all}$)와 모델 순위 측면에서 수학적으로 동일합니다.
3. FD의 불일치성: 널리 사용되는 프레셰 거리(FD) 지표가 분산 환경에서 랭킹 일관성을 유지하지 못함을 보여줍니다. 본 논문은 로컬 FD 점수만으로는 글로벌 랭킹을 복구하기에 불충분하며, 서로 다른 모델이 로컬에서는 동일해 보일 수 있지만 글로벌하게는 다를 수 있음을 증명합니다.
4. 실험적 검증: 저자들은 표준 이미지 데이터셋(ImageNet, CIFK, FFHQ, AFHQ)과 다양한 생성 아키텍처(BigGAN, StyleGAN, Diffusion models)에 대한 광범위한 수치 실험을 통해 이러한 이론적 발견을 검증합니다.

실험 결과

• KD 일관성: ImageNet 및 분산 StyleGAN 학습에 대한 실험 결과, 서로 다른 모델과 학습 설정 전반에 걸쳐 $KD_{avg}$와 $KD_{all}$ 사이에 고정된 격차가 존재함을 보여줍니다. 두 지표로부터 도출된 랭킹은 동일합니다.
• FD 불일치성:
  • 6개의 시뮬레이션 클라이언트를 이용한 통제된 실험에서, 두 생성기($G_1, G_2$)는 거의 동일한 클라이언트 수준의 FD 점수(차이 < 1.0)와 동일한 $FD_{avg}$ (195.04 대 195.37)를 가졌습니다. 그러나 이들의 중앙 집중식 $FD_{all}$ 점수는 극명하게 달랐습니다 (100.49 대 190.93).
  • 분산 제한 페더레이티드 데이터셋(클라이언트 내 분산은 낮지만 클라이언트 간 분산은 높은 경우) 실험에서도 $FD_{avg}$와 $FD_{all}$이 상충하는 랭킹을 생성할 수 있음을 확인했으며, 이는 다양성 대 충실도(fidelity)의 트레이드오프에 따라 서로 다른 모델을 선호하는 결과를 낳았습니다.
• 기타 지표: 연구에 따르면 Recall 점수 또한 일관성을 유지하는 반면(Recall-all = Recall-avg), Precision, Density, Coverage와 같은 지표들은 FD와 유사한 랭킹 불일치를 보입니다.

의의 및 주장

본 논문은 커널 거리가 생성 모델의 개인정보 보호형 분산 평가를 위한 독보적으로 적합한 지표라고 주장합니다. $KD_{avg}$가 원시 데이터 공유 없이도 $KD_{all}$의 랭킹을 보존하기 때문에, 다음과 같은 작업이 가능해집니다:

• 프라이빗 랭킹: 클라이언트는 스칼라 점수만을 공유할 수 있으며, 이를 통해 서버는 원시 데이터에 접근하지 않고도 글로벌 참조 분포를 기준으로 모델을 랭킹할 수 있습니다.
• 분산 최적화: $KD_{avg}$와 $KD_{all}$ 사이의 단조적 관계는 로컬 목적 함수가 글로벌 목적 함수와 일치하는 분산 미세 조정(예: MMD 손실 최소화)을 가능하게 합니다.

저자들은 KD가 일관된 랭킹을 위한 해결책을 제공하지만, FD와 같은 다른 인기 있는 지표들은 이 속성을 공유하지 못하여 분산 모델 선택에 어려움을 준다고 결론짓습니다. 또한 향후 연구로서 차분 프라이버시(differential privacy) 기술을 통해 랭킹 프로세스를 더욱 안전하게 만들고, 통신 제약 조건 하에서의 랭킹을 조사할 것을 제안합니다.