기술 요약: 정형화된 디커플드 데이터셋 증류 (Rectified Decoupled Dataset Distillation, RD3)

문제 정의

데이터셋 증류(Dataset Distillation, DD)는 모델이 전체 실제 데이터셋으로 학습된 모델의 성능과 일치하도록 하는 압축된 합성 데이터셋을 생성하는 것을 목표로 하며, 이를 통해 저장 및 계산 비용을 줄이고자 한다. MTT와 같은 초기 이중 레벨 최적화 방법론은 소규모 데이터셋에서는 유망한 결과를 보여주었으나, ImageNet-1K와 같은 대규모 데이터셋으로 확장할 때 과도한 계산 오버헤드 문제를 겪는다.

확장성 문제를 해결하기 위해, 최근의 디커플드 데이터셋 증류(Decoupled Dataset Distillation) 방법론들(예: SRe2L, CDA, RDED)은 교사 모델(Teacher Model)의 사전 학습과 합성 데이터 생성을 분리한다. 이러한 방법들은 성능 향상을 위해 무작위 데이터 증강 및 에포크별 소프트 라벨(Soft Labels)과 같은 사후 평가(Post-evaluation) 기법을 자주 사용한다. 그러나 이 분야는 일관되지 않은 사후 평가 프로토콜이라는 결정적인 문제에 직면해 있다. 기존 연구들은 배치 크기, 학습률 스케줄러, 데이터 증강, 라벨 유형(Hard vs. Soft) 등 다양한 설정을 사용하여 서로 다른 환경에서 수행된다. 이러한 불일치는 혼재된 성능 향상을 야기하며, 보고된 개선 사항이 진정한 방법론적 발전에서 비롯된 것인지 아니면 단순히 유리한 평가 하이퍼파라미터 덕분인지 판단하기 어렵게 만든다. 본 논문에서 설명하듯, 방법론 간에 보고된 성능 격차는 27%를 초과할 수 있으나, 통일된 설정 하에서는 이 격차가 7% 미만으로 줄어든다.

방법론: 정형화된 디커플드 데이터셋 증류 (RD3)

저자들은 디커플드 데이터셋 증류 방법들 간의 공정하고 재현 가능한 비교를 보장하기 위해 설계된 통합적이고 포괄적인 베이스라인 프레임워크인 RD3를 제안한다. 방법론은 다음과 같다:

1. 표준화된 평가 프로토콜: 저자들은 혼란 변수를 제거하기 위해 일관된 사후 평가 설정 세트를 구축한다. 주요 표준화 내용은 다음과 같다:

   • 학습 에포크: 방법론 간의 수렴 반복 횟수를 맞추기 위해 400 에포크로 고정한다.
   • 배치 크기: 성능과 효율성의 균형을 맞추기 위해 ResNet-18 평가 시에는 50으로, 일반화 작업 시에는 100으로 통일하여 설정한다.
   • 학습률 스케줄러: 평가 아키텍처에 맞춘 범용 평활 계수($\zeta$)를 갖는 스무딩 학습률 스케줄러를 구현한다.
   • 데이터 증강: 모든 방법론에 대해 통합된 증강 전략(CutMix, Random Resized Cropping, Patch Exchange 포함)을 채택한다.
   • 소프트 라벨: 명시적으로 변수로 테스트되지 않는 한 앙상블 기반의 하이브리드 라벨을 피함으로써 공정성을 확보하기 위해, 단일 사전 학습된 ResNet-18만을 사용하여 KL 발산을 통해 소프트 라벨을 생성한다.

2. 체계적 재평가: 프레임워크는 세 가지 패러다임에 걸쳐 대표적인 방법론들을 재평가한다:

   • 최적화 기반(Optimization-based): SRe2L, CDA, G-VBSM, DWA, EDC.
   • 생성 기반(Generation-based): Minimax, D4M.
   • 선택 기반(Selection-based): RDED.
     이들은 다양한 IPC(Images Per Class)와 여러 네트워크 아키텍처(ResNet 시리즈, EfficientNet, MobileNet, Swin-T, ViT-B)에 대해 6개의 데이터셋(CIFAR-10/100, TinyImageNet, ImageNette, ImageWoof, ImageNet-1K)에서 테스트된다.

3. 미세 요소의 절제 연구(Ablation): 본 연구는 이전의 비교에서 간과되었던 다음과 같은 요소들을 조사한다:

   • 초기화(Initialization): 최적화 기반 방법론에서 서로 다른 초기화 전략(예: 가우시안 노이즈 vs. 무작위 샘플링)의 영향.
   • 하이브리드 소프트 라벨: 여러 교사 모델을 사용하여 소프트 라벨을 생성하는 효과.
   • 손실 함수: KL 발산과 MSE + Ground Truth 정렬 간의 비교.
   • 베이스라인: 소프트 라벨 패러다임 하에서 무작위 이미지 샘플링을 베이스라인으로 테스트.

주요 결과

1. 평가 불일치가 보고된 격차를 유발함

통합된 RD3 프레임워크 하에서, 방법론 간의 성능 차이는 현저히 감소한다.

• ImageNet-1K (IPC=10): 기존에 보고된 방법론 간의 성능 격차는 약 27.3%였다. 정형화 후, 이 격차는 **6.7%**로 줄어들었다.
• 방법론 순위: 모든 데이터셋과 IPC 설정에서 모든 다른 방법론을 일관되게 능가하는 단일 방법론은 존재하지 않는다. 예를 들어, EDC(최적화 기반)는 CIFAR 및 낮은 IPC 설정에서 우세한 반면, D4M(생성 기반)은 이미지 다양성 덕분에 높은 IPC 설정에서 탁월한 성능을 보인다. RDED(선택 기반)는 IPC가 증가함에 따라 성능이 저하되는 모습을 보인다.

2. 효율성과 일반화가 핵심 지표임

• 효율성: 정확도 차이는 미미하지만, 계산 비용은 수십 배에서 수백 배까지 차이가 난다(최대 100배). 최적화 기반 방법론은 분류기 학습이 필요하므로, 보고된 생성 시간보다 실제 배포 비용이 훨씬 높다.
• 일반화: 합성 데이터셋은 다양한 일반화 능력을 보여준다. 이미지 다양성이 높은 방법론(예: D4M)은 트랜스포머 기반 아키텍처(ViT, Swin)로 더 잘 전이되는 반면, 다양성이 낮은 방법론은 이러한 모델에서 어려움을 겪는다.

3. "숨겨진" 변수의 영향

• 초기화: 초기화 방식의 선택은 최적화 기반 방법론에 상당한 영향을 미친다. 예를 들어, DWA와 EDC는 가우시안 노이즈와 함께 사용할 때 성능이 저하되는 반면, G-VBSM은 무작위 샘플링을 통해 성능이 향상된다.
• 하이브리드 소프트 라벨: 원래 설계되지 않은 방법론에 하이브리드 소프트 라벨(여러 교사로부터 얻은)을 적용하면 상당한 성능 향상을 얻을 수 있다(예: SRe2L은 IPC=1에서 성능이 두 배로 증가함).
• 손실 함수: KL 발산에서 MSE + GT 정렬로 전환하면 일반적으로 성능이 향상되며, 이는 손실 함수 선택이 중요하면서도 종종 통제되지 않는 변수임을 시사한다.

4. 무작위 샘플링 베이스라인

놀라운 발견 중 하나는, 소프트 라벨을 적용했을 때 무작위로 샘플링된 이미지가 모든 기존 디커플드 증류 방법론보다 거친 입도의 데이터셋(CIFAR-10/100, ImageNette, ImageNet-1K)에서 더 높은 성능을 보인다는 점이다. 이는 이러한 데이터셋의 경우, 복잡한 증류 메커니즘보다 무작위 샘플의 다양성과 소프트 라벨 정렬의 결합이 더 효과적임을 시사한다. 반대로, 미세한 입도의 데이터셋(TinyImageNet, ImageWoof)에서는 증류 방법론이 무작위 샘플링보다 여전히 우수하다.

의의 및 주장

본 논문은 데이터셋 증류 분야가 알고리즘 혁신과 하이퍼파라미터 튜닝 및 부가적인 향상 효과가 혼재된 일관되지 않은 평가 프로토콜로 인해 저해되어 왔다고 주장한다.

• 공정한 벤치마킹: RD3는 완전히 표준화된 조건 하에서 대표적인 디커플드 방법론들에 대한 첫 번째 포괄적인 평가를 제공하여 공정한 비교를 위한 토대를 마련한다.
• 진전 사항의 재평가: 저자들은 보고된 많은 성능 향상이 본질적인 합성 데이터 품질의 개선이 아니라, 일관되지 않은 평가 설정(예: 배치 크기, 스케줄러, 증강) 때문이라고 주장한다.
• 새로운 베이스라인: 본 연구는 무작위 샘플링과 소프트 라벨의 결합이 강력하고 이전에 간과되었던 베이스라인임을 식별하였으며, 특히 거친 입도의 작업에서 향후 연구가 반드시 넘어서야 할 기준임을 제시한다.
• 전체론적 평가: 논문은 테스트 정확도를 넘어 계산 효율성과 다양한 아키텍처에 대한 일반화 능력을 주요 평가 기준으로 포함할 것을 권고한다.

결론적으로, 저자들은 데이터셋 증류의 향후 발전에는 방법론적 진보와 평가 설계의 부산물을 구분하기 위해 표준화된 프로토콜을 엄격히 준수하는 것이 필요하다고 역설한다.