기술 요약: 동질-이질 분할(Homogeneous-Heterogeneous Splitting)을 통한 합성 이미지의 생성 후 큐레이션

1. 문제 정의

최근의 생성 모델(Generative Models, GMs)은 고품질의 합성 이미지를 생성함으로써 데이터 부족 문제를 해결할 수 있는 확장 가능한 솔루션을 제공한다. 그러나 단순히 합성 데이터의 양을 늘리는 것만으로는 다운스트림 성능의 향상을 보장할 수 없는데, 이는 세 가지 주요 과제 때문이다:

1. 노이즈(Noise): 합성 데이터셋에는 저충실도(low-fidelity) 또는 잘못 레이블링된 샘플이 포함될 수 있다.
2. 편향(Bias): 생성기는 클래스의 정형적인 모드(canonical modes)를 과잉 대표하는 반면, 클래스 내 변이(intra-class variation)는 과소 대표하는 경향이 있어 다운스트림 모델에 내재된 편향을 초래한다.
3. 효율성(Efficiency): 이러한 문제를 완화하기 위해 데이터를 확장하는 과정에서 상당한 계산 오버헤드와 더 긴 학습 시간이 소요된다.

합성 데이터의 유용성을 개선하기 위한 기존 방식들은 주로 생성기 측면의 개입(generator-side interventions), 즉 생성기 미세 조정(fine-tuning)이나 프롬프트 엔지니어링 및 추론 시 가이드와 같은 경량 전략을 포함한다. 이러한 방법들은 종종 특정 생성기에 종속적이며, 상당한 도메인 전문 지식을 요구하거나 재학습을 위한 막대한 계산 비용을 발생시킨다.

본 논문은 이와 상보적인 질문을 다룬다: 이미 생성된 이미지 풀(pool)이 주어졌을 때, 오직 정보가 풍부한 하위 집합을 선택하는 것만으로 다운스트림 유용성을 개선할 수 있는가? 저자들은 효과적인 선택이란 현대적 생성기의 구조적 편향에 대응하여 의미적 충실도(semantic fidelity)와 표현적 다양성(representational diversity) 사이의 균형을 맞추어야 한다고 주장한다.

2. 방법론

제안된 프레임워크는 생성 모델의 재학습을 요구하지 않는 생성기 불가지론적(generator-agnostic) 생성 후 큐레이션 파이프라인이다. 이는 두 가지 주요 단계로 구성된다:

A. 실제 데이터의 동질-이질(HO-HE) 분할

실제 참조 데이터셋을 단일 분포로 취급하는 대신, 본 방법은 특징 공간(feature space)에서의 방향성 1-최근접 이웃(1-nearest-neighbor, 1-NN) 그래프를 기반으로 각 실제 클래스를 두 개의 구별된 하위 집합으로 분할한다:

• 동질(Homogeneous, HO) 집합: 다른 샘플들의 지역적 대표 역할을 하는 "정형적(canonical)" 샘플들을 포함한다. 형식적으로, $I_{HO}$는 1-NN 그래프에서 양의 인입 차수(positive in-degree)를 가진 노드들의 집합이다. 이 샘플들은 높은 클래스 내 유사성을 보이며 핵심 의미를 나타낸다.
• 이질(Heterogeneous, HE) 집합: 1-NN 그래프에서 인입 차수가 0인 샘플들을 포함한다. 이들은 중복되지 않는 변이와 전형적이지 않은 사례들을 나타내며, 다른 샘플들의 최근접 이웃이 될 필요가 없는 샘플들이다.

핵심 통찰: 생성기는 HO 집합과 유사한 샘플을 과잉 생산하는 반면, HE 집합은 소홀히 하는 경향이 있다. 또한, 판별기(discriminator)는 HE 샘플을 처리하는 데 더 어려움을 겪는 경우가 많으며, 이는 HE 샘플이 더 어렵고 다양한 변이를 포함하고 있음을 시사한다.

B. 파티션 조건부 충실도-다양성 점수 산출

실제 데이터가 분할되면, 합성 이미지는 HO 및 HE 파티션을 각각 참조하는 이중 기준 메커니즘에 따라 점수가 매겨지고 선택된다:

1. 충실도 점수 ($S^p_{fid}$): 특징 벡터 간의 코사인 유사도를 사용하여 합성 샘플과 실제 파티션 $p$ (여기서 $p \in \{HO, HE\}$) 사이의 의미적 정렬을 측정한다.
2. 다양성 점수 ($S^p_{div}$): 정형적 패턴으로부터의 이탈을 장려한다.
   • HO 파티션의 경우, 참조 앵커는 클래스 중심점(centroid)이다.
   • HE 파티션의 경우, 앵커는 HO 집합 내의 가장 가까운 매칭되는 특징이다.
   • 다양성 점수는 실제 인스턴스에서 앵커까지의 벡터와 실제 인스턴스에서 합성 샘플까지의 벡터 사이의 음의 코사인 유사도로 계산된다. 이는 지배적인 정형적 방향에서 벗어나는 합성 샘플에 보상을 준다.

총점: 최종 선택 점수는 다음과 같은 가중 합산이다:
$$S^p = \alpha \cdot S^p_{div} + (1 - \alpha) \cdot S^p_{fid}$$
여기서 $\alpha$는 다양성과 충실도 사이의 트레이드오프를 조절하는 하이퍼파라미터이다. 방법론은 각 파티션에서 상위-$k$개의 샘플을 선택하여 최종 큐레이션 풀을 형성한다.

3. 주요 기여

1. HO-HE 분할: k-means와 같이 전역 축 가정을 요구하지 않고도 (정형적 샘플과 비중복 샘플을 명시적으로 정의하는) 최소성 보장(Proposition 1)을 갖춘 최근접 이웃 커버 분할 방식이다.
2. 원칙적인 선택 전략: 충실도와 다양성을 결합하여 정량화하고 균형을 맞추는 사후 생성 프레임워크이다. 이는 생성기 불가지론적이며, 생성기의 비용이 많이 드는 재학습이나 미세 조정을 피한다.
3. 포괄적인 검증: 분류 및 세그멘테이션 벤치마크(CIFAR-10, ImageNet, SVHN, Tiny-ImageNet)와 다양한 아키텍처(ResNet, ViT, EfficientNet) 및 생성기(EDM, EDM2, StyleGAN)에 걸친 광범한 실험을 수행하였다.

4. 실험 결과

본 방법은 고정된 풀에서의 일반적 선택과 생성기 측면의 개입 후 "플러그인(plug-in)" 선택이라는 두 가지 설정에서 평가되었다.

• 도메인 내 성능: 본 방법은 일관되게 최신 베이스라인(Random Selection, CLIP-Align, RealScore, SBSim 포함)보다 우수한 성능을 보였다.
  • SVHN에서, 본 방법은 약 100k개의 합성 샘플로 베이스라인이 200k개 이상의 샘플을 필요로 할 때와 대등한 성능을 달성했다.
  • CIFAR-10에서, 300k개의 샘플로 95%의 정확도를 달了한 반면, 베이스라인은 약 500k개가 필요했다.
  • ImageNet-1K에서, ViT-B/16 및 Res-Net-50을 사용하는 학습 시작(training-from-scratch) 및 미세 조정(fine-tuning) 설정 모두에서 최고의 Top-1 정확도를 기록했다.
• 분포 외(OOD) 강건성: 큐레이션된 데이터로 학습된 모델은 선택되지 않았거나 무작위로 선택된 합성 데이터로 학습된 모델에 비해 다양한 OOD 벤치마크(예: ImageNet-C, ImageNet-Sketch, CIFAR-10-Warehouse)에서 우수한 강건성을 보였다.
• 플러그인 효능: 작업별 생성기 개입(예: 추론 시 개입 또는 미세 조정된 JoDiffusion) 이후의 사후 처리 단계로 적용되었을 때, 큐레이션 방법은 추가적인 이득을 제공했다.
  • ImageNet-100 분류의 경우, 개입 전용 베이스라인에 비해 40~50% 적은 합성 샘플만으로도 대등하거나 더 나은 정확도를 달성했다.
  • VOCaug 세그멘테이션에서는 미세 조정된 생성기 베이스라인보다 mIoU를 개선했다.
• 트레이드오프 분석: 최적의 $\alpha$(다양성 가중치)는 생성기 품질과 데이터 양에 따라 변화한다. 생성기 충실도가 높아짐에 따라(예: EDM2), 그리고 학습 예산이 늘어남에 따라, 최적의 전략은 다양성을 우선시하는 방향($\alpha \to 1$)으로 이동한다. 이는 정형적인 고충실도 샘플이 한계 효용 체감의 법칙을 따르기 때문이다.

5. 의의 및 주장

본 논문은 사후 생성 선택이 더 나은 생성기를 대체하는 것이 아니라, 합성 데이터의 유용성을 높이기 위한 상보적인 메커니즘이라고 주장한다.

• 생성기 편향 해결: 본 연구는 현대적 생성기가 정형적 모드(HO)에 대한 구조적 편향을 가지고 있음을 강조한다. 제안된 HO-HE 분할은 생성기가 자연스럽게 적게 생성하는 비중복 변이(HE)를 포함하도록 함으로써 이를 명시적으로 해결한다.
• 효율성: 이 방법은 생성 시점의 개입에 대한 실용적이고 확장 가능한 대안을 제공한다. 큐레이션 과정(특징 추출 및 점수 산출)의 계산 오버헤드는 동등한 성능을 달성하기 위해 필요한 다운스트림 학습 시간 및 데이터 양의 절감액에 비해 무시할 수 있는 수준이다.
• 일반화 가능성: 이 프레임워크는 다양한 생성 모델, 특징 추출기(SigLIP, DINOv3, ViT), 다운스트림 작업(분류, 세그멘테이션)에서 효과적이며, 이는 충실도와 다양성의 균형을 맞추는 것이 합성 데이터를 효과적으로 활용하기 위한 근본적인 원리임을 시사한다.