기술 요약: GICDM – 신뢰할 수 있는 거리 기반 생성 모델 평가를 위한 허브성 완화

1. 문제 제기

생성 모델의 평가는 종종 실제 샘플과 합성 샘플 간의 거리를 계산하기 위해 고차원 임베딩 공간 (예: InceptionV3, DINOv2, CLAP) 에 의존합니다. 그러나 이러한 고차원 공간은 차원의 저주로 인한 결과인 허브성 (hubness) 현상에 취약합니다.

고차원에서는 최근접 이웃 관계가 극도로 비대칭적으로 변합니다. 특정 점들, 즉 **허브 (hubs)**는 의미적으로 관련이 없더라도 다른 점들의 최근접 이웃으로 비례적으로 자주 나타납니다. 반면, 많은 점들, 즉 **안티허브 (antihubs)**는 결코 최근접 이웃으로 나타나지 않습니다. 이러한 왜곡은 근접성이 의미적 유사성을 의미한다는 가정을 무효화합니다.

본 논문은 허브성이 정밀도 (Precision), 재현율 (Recall), 밀도 (Density), 커버리지 (Coverage) 와 같은 표준 거리 기반 충실도 및 커버리지 지표를 심각하게 편향시킨다고 입증합니다. 구체적으로 다음과 같습니다:

• 허위 충실도 (False Fidelity): 생성된 "허브" 점들이 인위적으로 많은 실제 점들과 가깝게 나타나 충실도 점수를 과장합니다.
• 허위 커버리지 (False Coverage): "안티허브" 영역에 있는 실제 점들은 맹점이 되어 생성된 샘플로부터 충실도 점수를 전혀 받지 못합니다.
• 지표 실패: 실제 분포와 생성된 분포가 불교집합인 경우 (예: 반지름이 바뀐 초구들의 혼합) 에, 표준 지표들은 고차원에서 잘못된 비영 (non-zero) 점수를 산출하여 겹침의 부재를 감지하지 못합니다.

기존 지표들은 종종 정규성을 가정하거나 임베딩 공간의 이러한 구조적 왜곡을 고려하지 않는 단순한 분포 근사에 의존합니다.

2. 방법론: GICDM

저자들은 생성 모델 평가를 위해 허브성을 완화하도록 설계된 **생성형 ICDM (Generative ICDM, GICDM)**을 제안합니다. GICDM 은 계산적 우려와 외삽 (out-of-sample) 처리 부재로 인해 생성 평가에서 기각되었던 고전적인 반복적 문맥적 비유사성 측정 (Iterative Contextual Dissimilarity Measure, ICDM) (Jégou et al., 2010) 을 확장한 것입니다.

GICDM 은 세 가지 핵심 요구 사항을 기반으로 작동합니다:

1. 실제 데이터 밀도 균일화: 실제 데이터셋의 허브성을 줄여 최근접 이웃 관계가 유의미하고 대칭적이도록 합니다.
2. 상대적 위치 보존: 생성된 점들과 실제 데이터 매니폴드 간의 진정한 국소 기하학적 구조를 유지합니다.
3. 조건부 독립성: 생성된 점의 평가가 다른 생성된 점들이 아닌 실제 집합과의 관계에만 의존하도록 보장합니다.

알고리즘 단계

1. 실제 데이터에 대한 ICDM: ICDM 알고리즘을 실제 데이터 점 집합 $\{x^r_i\}$에 반복적으로 적용합니다. 이 과정은 실제 데이터 매니폴드의 국소 밀도를 효과적으로 평탄화하는 스케일링 인자 $\{\delta^r_i\}$를 계산합니다. 업데이트 규칙은 모든 점에 대해 평균 이웃 거리를 균등화하도록 거리를 반복적으로 스케일링하여, 국소 밀도 추정이 균일해지는 상태에 수렴합니다.
2. 생성된 점에 대한 외삽 스케일링: 각 생성된 점 $x^g_j$에 대해 스케일링 인자 $\delta^g_j$를 독립적으로 계산합니다. 이는 생성된 점의 평균 이웃 거리 (스케일링된 실제 이웃에 상대적) 가 실제 데이터의 균형 평균 거리와 일치하도록 강제함으로써 유도됩니다.
   $$\delta^g_j = \frac{\mu_{r,eq}}{\frac{1}{K+1} \sum_{k=1}^{K+1} \delta^r_{NN^{eq}_k(x^g_j)} d(x^g_j, NN^{eq}_k(x^g_j))}$$
   여기서 $K+1$은 생성된 점이 실제 집합의 일부가 아니라는 사실을 고려하기 위해 $K$ 대신 사용됩니다.
3. 다중 스케일 필터링: 과도한 보정을 방지하기 위해 이 방법은 필터링 전략을 사용합니다. 생성된 점의 계산된 스케일링 인자 $\delta^g_j$가 실제 이웃들의 평균 스케일링과 크게 벗어나면, 해당 점은 실제 데이터 매니폴드 외부로 간주됩니다.
   • 필터링은 다중 스케일 (예: $K_1$과 $K_2$와 같이 두 가지 다른 이웃 크기 사용) 에서 수행됩니다. 이는 특정 차원과 밀도에서 매니폴드 외부 점들이 우연히 매니폴드 내부 점들과 유사한 거리를 가질 수 있는 "교차 영역 (crossover regime)"을 해결합니다.
   • 필터링에 실패한 점들은 영 (zero) 충실도를 할당받으며 커버리지에 기여하지 않습니다.

실제 점 $x^r_i$와 생성된 점 $x^g_j$ 간의 최종 비유사성은 다음과 같이 정의됩니다:
$$\text{GICDM}(x^r_i, x^g_j) = d(x^r_i, x^g_j) \cdot \delta^r_i \cdot \delta^g_j$$

3. 주요 기여

• 임베딩에서의 허브성 입증: 생성 모델 평가에 일반적으로 사용되는 임베딩 공간 (VGG16, InceptionV3, DINOv2, DINOv3, CLAP) 이 상당한 허브성을 보임을 실증적으로 보여주었습니다. 상위 1% 의 점들은 평균보다 416 배 더 자주 이웃으로 나타났으며, 1030% 의 점들은 안티허브로 작용했습니다.
• ICDM 의 부활: 저자들은 비반복식 NICDM 을 선호하며 간과되었던 반복적 문맥적 비유사성 측정 (ICDM) 이 17 개의 데이터셋 - 임베딩 조합에서 다른 허브성 감소 방법 (CSLS, DSL, Sphere projection 포함) 보다 일관되게 우월함을 입증했습니다.
• GICDM 프레임워크: 실제 데이터에 ICDM 을 적용하고 독립적인 스케일링 및 다중 스케일 필터링을 통해 외삽 생성된 점을 처리하는 맞춤형 방법론을 도입했습니다.
• 벤치마크 검증: 합성 벤치마크 (Räsä et al., 2025) 와 실제 데이터셋 (CIFAR-10, ImageNet, LSUN, FFHQ) 에 대한 광범위한 테스트를 통해 GICDM 이 허브성으로 인한 지표 실패를 해결함을 보여주었습니다.

4. 실험 결과

• 합성 벤치마크: Räsä et al. (2025) 이 제안한 벤치마크에서 GICDM 은 표준 지표의 성능을 크게 향상시켰습니다. 예를 들어, Clipped Density 는 18 개에서 23 개로, Clipped Coverage 는 18 개에서 22 개의 기준을 통과했습니다. 특히 GICDM 은 허브성으로 인해 불교집합 분포가 이전에는 비영 점수를 산출했던 "초구 테스트 (Hypersphere Test)"를 수정하여, 점수가 올바르게 0 으로 유지되도록 했습니다.
• 인간 상관관계: 인간 오류율 (실제 대 생성 이미지 구분) 에 비추어 평가했을 때, GICDM 은 최상위 성능 지표인 Clipped Density 의 피어슨 상관관계를 유지하거나 향상시켰습니다. 이 향상은 허브성의 영향을 강하게 받는 DINOv3 임베딩에서 가장 두드러졌습니다.
• 분류기 없는 가이드 (Classifier-Free Guidance): ImageNet 에서 DiT-XL-2 를 사용한 실험에서, 표준 지표들은 분류기 없는 가이드가 충실도와 커버리지 모두를 증가시킨다고 잘못 시사했습니다. GICDM 은 이를 수정하여 충실도는 증가했으나 커버리지는 감소함을 보여주어 이론적 기대와 일치시켰습니다.
• 정성적 분석: LSUN Bedroom 데이터의 시각화는 보정 전 가장 빈번하게 나타났던 생성된 허브가 64 개의 실제 이웃에 나타났으나, GICDM 후에는 4 개로 감소했음을 보여주었습니다. 남은 이웃들은 허브와 의미적으로 더 유사하여 이웃 구조가 복원되었음을 나타냈습니다.

5. 의의 및 한계

본 논문은 GICDM 이 허브성 현상으로 인한 실패를 해결함으로써 고차원 공간에서 생성 모델의 더 신뢰할 수 있고 신뢰성 있는 평가를 가능하게 한다고 주장합니다. 이는 거리 기반 지표의 타당성을 복원하여 인간 평가 및 이론적 기대와 더 잘 일치하도록 보장합니다.

겸손한 주장 및 한계:

• 강건성에 대한 의존성: 저자들은 GICDM 의 효과성이 기반 지표가 실제 이상치에 강건한지에 달려 있다고 명시적으로 언급합니다. 개별 점의 영향을 제한하는 Clipped Density 및 Clipped Coverage 와 같은 지표가 가장 큰 혜택을 받습니다. 비강건 지표 (예: 표준 정밀도, 밀도) 는 GICDM 적용 시 개선되지 않거나 인간 점수와의 상관관계가 오히려 저하될 수 있습니다.
• 거리 지표가 아님: GICDM 은 삼각 부등식을 따르지 않는 비유사성 측정치입니다. 그러나 저자들은 생성 평가가 주로 이웃 순위 매기기 및 이웃 구성원 결정에 필요하며, 이러한 작업은 삼각 부등식을 엄격하게 요구하지 않으므로 이는 허용 가능하다고 주장합니다.
• 계산 비용: GICDM 은 추가 오버헤드 (반복적 ICDM 및 스케일링 계산) 를 수반하지만, 복잡도는 $O(N(TN + M))$으로 고차원 최근접 이웃 검색에 이미 필요한 브루트포스$O(N^2)$ 거리 계산과 비교 가능합니다.

결론적으로, 본 논문은 허브성이 생성 모델 평가에서 지표 실패의 근본적이면서도 종종 간과되는 원인이며, GICDM 이 이러한 평가의 신뢰성을 복원하기 위해 필요한 수정을 제공한다고 주장합니다.