기술 요약: 안내된 훈련 데이터 생성을 위한 표현 조건부 확산 모델

문제 제기

데이터 가용성은 딥러닝에서 여전히 치명적인 병목 현상으로, 대규모 데이터셋은 수집, 큐레이션, 주석 달기에 비용이 많이 듭니다. 이는 지도 학습의 확장성을 제한합니다. 생성 모델, 특히 확산 모델은 합성 데이터 생성에 대한 잠재적 해결책을 제공하지만, 기존 접근 방식은 가장 까다로운 시나리오에서 상당한 도전에 직면해 있습니다:

1. 외부 안내 부재: 타겟 데이터셋만 사용 가능하므로 텍스트 프롬프트에 의존하는 사전 훈련된 텍스트 - 이미지 모델의 사용이 불가능합니다.
2. 전적으로 합성된 훈련: 하류 모델은 실제 이미지에 접근할 수 없이 생성된 데이터만으로 훈련됩니다.
3. 추가 주석 부재: 클래스 레이블을 넘어 생성을 안내할 텍스트 프롬프트나 추가 레이블이 없습니다.

이 시나리오에서 생성 모델은 외부 의미론적 안내의 혜택 없이 실제 데이터 분포의 전체 다양성을 포착해야 하며, 이는 기존 클래스 조건부 생성이 샘플 품질과 모드 커버리지에서 종종 어려움을 겪는 작업입니다.

방법론

저자들은 합성 훈련 데이터 생성을 위해 표현 조건부 확산 모델 (RCDM) 을 활용하는 파이프라인을 제안합니다. 방법론은 두 가지 주요 단계로 구성됩니다:

1. 합성 데이터 생성 (RCDM)

생성 과정은 클래스 레이블이나 텍스트 프롬프트가 아닌 고수준 시각 표현에 조건부로 훈련된 잠재 확산 모델 (LDM) 을 포함합니다.

• 인코더 선택: 입력 이미지는 사전 훈련된 비전 인코더를 사용하여 저차원 표현 공간으로 투영됩니다. 본 연구는 세 가지 특정 인코더를 평가합니다:
  • DINOv2 (ViT-B/14): 768 차원 CLS 토큰 임베딩을 생성합니다.
  • DINOv3 (ViT-B/16): 768 차원 CLS 토큰 임베딩을 생성합니다.
  • CLIP (ViT-B/32): 512 차원 임베딩을 생성합니다 (unCLIP 로 지칭됨).
• 훈련: LDM 은 125 에포크, 배치 크기 16 으로 ImageNet-100 데이터셋 (13 만 장 이미지, 100 클래스, 256×256 해상도) 에서 훈련됩니다.
• 샘플링: 100 단계 추론을 가진 탈노이즈 확산 확률 모델 (DDPM) 을 사용하여 이미지를 생성합니다. 표현 조건화를 통해 의미론적 일관성을 유지하면서 잠재 노이즈 초기화를 위해 고유한 무작위 시드를 사용하여 원본 데이터셋 크기 이상의 다양성을 보장합니다.

2. 평가

합성 데이터의 품질은 생성된 데이터셋만으로 ResNet-50 분류기를 훈련시켜 평가합니다.

• 베이스라인 비교: 성능은 실제 ImageNet-100 데이터셋에서 훈련된 분류기와 클래스 조건부 LDM (Cond-LDM) 베이스라인과 비교됩니다.
• 증강: 합성 이미지는 실제 데이터를 증강하는 데에도 사용되며, 기존 증강 기법 (AutoAug, RandAug, MixUp, ME-ADA) 과 비교됩니다.
• 필터링: 생성된 이미지를 표현 공간으로 다시 매핑하고 클래스 중심에서 가장 가깝고 먼 25% 의 극단 샘플을 제거하여 "중간" 샘플을 유지하는 샘플 필터링 전략이 테스트됩니다.

주요 기여

본 논문은 다음과 같은 기여를 제시합니다:

• 훈련을 위한 RCDM 평가: 저자들은 RCDM 으로 생성된 합성 데이터셋에서 훈련된 모델의 분류 성능을 평가하며, 데이터셋 크기와 특정 조건부 표현 (DINOv2, DINOv3, CLIP) 의 영향을 조사합니다.
• 합성 데이터 확장: 본 연구는 합성 데이터셋의 크기를 확장함으로써 RCDM 이 실제 데이터만으로 훈련된 모델의 성능을 능가할 수 있음을 보여줍니다.
• 증강 및 필터링: 논문은 RCDM 으로 생성된 이미지가 데이터 증강에 효과적이며 기존 기법보다 우수하고, 조건부 표현 공간이 간단하고 효과적인 샘플 필터링 전략을 가능하게 함을 보여줍니다.

결과

실험은 다양성과 제한된 크기로 인해 까다로운 ImageNet-100 에서 수행되었습니다.

1. 합성 데이터셋 확장

• 실제 데이터 대비 성능: 합성 데이터셋 크기를 실제 데이터셋 크기의 4 배로 확장했을 때, RCDM 으로 생성된 데이터로 훈련된 분류기는 실제 데이터로 훈련된 베이스라인보다 우수한 성능을 보였습니다.
  • DINOv2 조건부: 79.26% Top-1 정확도 달성 (실제 베이스라인 77.26% 대비).
  • DINOv3 조건부: 78.8% Top-1 정확도 달성.
  • CLIP 조건부: 4 배 확장 시 76.3% Top-1 정확도 달성하여 경쟁력 있는 추세를 보임.
• 클래스 조건부 비교: 클래스 조건부 베이스라인 (Cond-LDM) 은 최대 68.5% Top-1 정확도를 달성하여 RCDM 접근 방식보다 현저히 낮은 성능을 보였습니다. 이는 잠재 데이터 분포 구조를 포착하기 위해 사전 훈련된 비전 인코더를 통한 풍부한 의미론적 조건화의 필요성을 강조합니다.

2. 표현 공간 필터링

클래스 중심에서 25% 가장 가깝고 25% 가장 먼 표현을 제거하여 합성 데이터를 필터링한 결과, 필터링되지 않은 합성 데이터보다 약간 향상된 성능을 보였습니다 (예: 1 배 확장 시 필터링된 DINOv3 는 71.10% 대 필터링되지 않은 70.02%), 하지만 실제 데이터 베이스라인과의 격차는 여전히 존재했습니다.

3. 데이터 증강

실제 데이터를 증강하는 데 사용되었을 때 (데이터셋 크기를 2 배 또는 3 배로 증가):

• RCDM + 실제 데이터: DINOv2 표현으로 생성된 합성 데이터를 추가한 경우 (총 크기 3 배), 82.22% Top-1 정확도를 달성했습니다.
• 비교: 이는 MixUp (81.58%), AutoAug (81.28%), ME-ADA (80.14%) 를 포함한 모든 테스트된 기존 증강 방법을 능가했습니다.
• Cond-LDM: 클래스 조건부 합성 데이터로 증강한 경우 (80.68%) 는 RCDM 기반 증강보다 성능이 낮았습니다.

중요성과 주장

저자들은 표현 조건부 확산 모델이 대규모 시각 학습 작업에서 실제 데이터셋을 증강, 보완하거나 잠재적으로 대체할 수 있는 유망한 접근법이라고 주장합니다.

• 실제 데이터 능가: 순수 합성 데이터셋을 확장하여 실제 이미지로 훈련된 분류기를 능가할 수 있는 능력은 훈련 데이터 합성에서 생성적 딥러닝의 잠재력에 대한 "놀라운 증거"로 제시됩니다.
• 한계 극복: 프롬프트가 필요한 텍스트 - 이미지 모델과 달리, RCDM 은 생성을 안내하기 위해 자기지도 학습 시각 표현을 활용하여 실제와 합성 데이터 간의 도메인 격차를 효과적으로 줄입니다.
• 향후 방향: 논문은 향후 작업이 표현 공간을 통한 샘플링 개선 (예: 보간, 하드 예제 마이닝), 이상치 제거 메커니즘 정교화, 다양한 데이터셋 및 데이터 가용성 시나리오에 걸친 성능 검증을 집중할 수 있음을 시사합니다.

이 연구는 RCDM 을 단순한 데이터 증강 도구가 아니라, 실제 데이터가 부족하거나 제한적 (예: 의료 영상에서의 프라이버시 문제) 이거나 확장에 불충분한 시나리오에서 고품질 훈련 데이터를 생성할 수 있는 실행 가능한 엔진으로 위치시킵니다.