기술 요약: 분류를 위한 데이터셋 증류(Dataset Distillation)의 재고

문제 제기

데이터셋 증류(Dataset Distillation, DD)는 대규모 원본 데이터셋의 일반화 성능을 보존하면서도 압축된 합성 학습 세트를 생성하는 것을 목표로 한다. 데이터 중심 머신러닝(data-centric machine learning) 분야에서 유망한 기술임에도 불구하고, 이 분야는 두 가지 결정적인 과제에 직면해 있다:

1. 일관되지 않은 평가 프로토콜: DD 방법들은 서로 다른 파이프라인(예: 표준 경험적 위험 최소화(ERM) 대 단일/다중 교사 소프트 라벨 감독)을 사용하여 평가되는 경우가 많다. 이는 성능 향상이 증류된 데이터의 품질 때문인지, 아니면 특정 평가 설계의 선택 때문인지를 분리하여 파악하기 어렵게 만든다.
2. 코어셋(Coreset) 대비 우월성에 대한 근거 부족: 많은 DD 방법들은 압축된 데이터를 실제 샘플로 제한하는 것이 표현력을 제한한다는 가정하에, 코어셋 선택(Coreset Selection, CS — 실제 데이터의 하위 집합을 선택하는 방식)보다 우수하다고 주장한다. 그러나 이러한 주장들은 특히 대규모 데이터셋과 표준화된 프로토콜 하에서 강력한 CS 베이스라인과의 체계적인 비교가 부족한 경우가 많다.

또한, 많은 DD 접근 방식은 전체 데이터셋으로 학습된 사전 학습된 생성 모델에 의존하며, 이는 모델을 사용할 수 없는 도메인에서의 확장성과 적용 가능성을 제한한다.

방법론

저자들은 평가 아티팩트(artifact)로부터 DD의 본질적인 효과를 분리하고, DD와 CS를 엄격하게 비교하기 위해 대규모의 체계적인 벤치마킹 연구를 수행한다.

실험 설계

• 데이터셋: 실험은 ImageNet-1K(1,000개 클래스), ImageNet-100(100개 클래스), ImageNette(10개 클래스)를 대상으로 수행된다.
• 비교 방법론:
  • DD 방법 (7가지 SOTA): 다음 세 가지 카테고리를 포함한다:
    • 생성 학습 기반 (Generative Training-based): VLCP, D3HR, Minimax (생성 모델의 미세 조정을 필요로 함).
    • 생성 학습 비의존 (Generative Training-free): DiT-Distillation, MGD, ManifoldGD (가이드 샘플링을 위해 사전 학습된 생성 모델을 사용함).
    • 비생성/디커플링 (Non-Generative/Decoupled): FADRM+ (데이터 잔차 매칭을 통해 샘플을 최적화함).
  • CS 방법 (3가지 전략):
    • 무작위 샘플링 (Random Sampling): 단순한 클래스별 베이스라인.
    • AUM (Accumulated Margin): 전체 데이터셋으로 학습된 모델의 학습 역학(마진)을 기반으로 샘플 점수를 산출함.
    • 개념 가이드 CS (Concept-guided CS): 전체 데이터셋 학습 없이 LLM 기반의 개념 병목(concept bottleneck)을 사용하여 샘플 중요도를 추정함.
• 평가 프로토콜: 감독 방식에 따른 민감도를 테스트하기 위해 세 가지 프로토콜을 사용한다:
  1. 하드 라벨 (Hard Label): 원래 라벨과 함께 압축된 세트로 직접 학습된 모델 (교사 없음).
  2. 단일 교사 소프트 라벨 (RDED): 하나의 사전 학습된 교사를 사용하여 지식 증류를 위한 소프트 라벨을 생성함.
  3. 다중 교사 소프트 라벨 (EDC): 여러 교사와 혼합 감독(소프트 + 하드 라벨)을 사용함.
• 지표: 정확도 외에도 대표성(Representativeness, 원본 분포의 커버리지), 다양성(Diversity, 압축된 세트 내의 중복성), 구축 비용(Construction Cost, 시간 및 계산 자원)을 평가한다.

주요 기여

1. 체계적인 벤치마킹: 본 논문은 동일한 데이터셋과 평가 프로토콜 하에서 7가지 SOTA DD 방법과 3가지 CS 전략을 종합적으로 비교한 최초의 연구를 제공한다.
2. 프로토콜 민감도 분석: DD의 성능이 평가 파이프라인과 밀접하게 얽혀 있음을 입증하며, 모든 프로토콜과 데이터셋에서 일관되게 다른 DD 방법보다 우수한 성능을 보이는 단일 DD 방법은 없음을 보여준다.
3. DD vs CS의 재평가: 본 연구는 DD가 본질적으로 CS보다 우수하다는 서사에 의문을 제기하며, 특히 대규모 데이터셋에서 CS 방법이 DD의 성능과 대등하거나 이를 능가함을 보여준다.
4. 다차원 품질 평가: 저자들은 대표성, 다양성, 구축 비용을 포함하는 더 넓은 평가 프레임워크를 도입하여, CS 방법이 종종 더 나은 분포 커버리지와 효율성을 제공함을 밝혀낸다.

결과

정확도 성능

• 대규모 데이터셋 (ImageNet-1K/100): 하드 라벨 프로토콜 하에서 CS 방법(특히 AUM 및 Concepts)은 SOTA DD 방법들을 지속적으로 따라잡거나 유의미하게 능가한다. 예를 들어, 10 IPC (클래스당 이미지 수) 조건의 ImageNet-1K에서 AUM은 최고의 DD 방법보다 ResNet-18에서 3.3%, ResNet-50에서 4.8% 더 높은 성능을 보였다.
• 소프트 라벨 프로토콜: DD가 일반적으로 이점을 얻는 단일 또는 다중 교사 소프트 라벨을 사용하는 경우에도, CS 방법은 매우 경쟁력 있는 모습을 보이며 종종 DD의 성능과 대등하거나 이를 능가한다.
• 소규모 데이터셋 (ImageNette): DD 방법은 ImageNette에서 잘 작동하며 때때로 CS를 능가하기도 한다. 그러나 저자들은 "최적의" DD 방법이 프로토콜마다 다르다는 점을 언급하며, 이는 CS의 견고함에 비해 DD의 순위가 불안정함을 강조한다.
• 무작위 베이스라인: 여러 DD 방법들은 특히 하드 라벨 평가 하에서 단순 무작위 실제 데이터 서브셋보다 성능이 떨어지는 모습을 보인다.

효율성 및 품질

• 구축 비용: CS 방법은 IPC(클래스당 이미지 수)에 대해 상수 시간 복잡도를 보이는 반면, DD 방법(특히 생성 기반 방법)은 IPC에 따라 선형적으로 증가한다. 학습 기반 DD 방법은 생성 모델의 학습/미세 조정으로 인해 상당한 비용이 발생한다.
• 대표성 및 다양성: CS 방법(특히 AUM)은 높은 대표성과 높은 다양성의 메트릭 공간 영역을 점유하며 더 우수한 트레이드오프를 달성한다. 반면 DD 방법은 더 좁은 시각적 모드(visual modes)에 집중하는 경향이 있어, 낮은 다양성과 높은 중복성을 보인다.
• 시각적 품질: 정성적 분석 결과, CS 서브셋(AUM)은 다양한 포즈, 관점, 배경을 포착한다. 이와 대조적으로 DD 세트는 반복적인 정형적 뷰(canonical views), 아티팩트, 부자연스러운 질감을 보이는 경우가 많다.

의의 및 주장

본 논문은 현재 데이터셋 증류(DD)의 성공에 대한 재평가가 필요하다고 주장한다. 저자들의 주장은 다음과 같다:

1. CS는 필수적인 베이스라인이다: 향후 DD 연구는 평가 특유의 이득을 데이터 자체의 효율성으로 오해하는 것을 피하기 위해 강력한 CS 베베이스라인(예: AUM)을 반드시 포함해야 한다.
2. 표준화된 평가가 중요하다: 공정한 평가를 위해 하드 라벨 평가를 포함한 표준화된 프로토콜을 채택해야 한다.
3. 실용적 효율성: 대규모 데이터 중심 학습을 위해, 코어셋 선택(CS)은 현재의 DD 방법보다 훨씬 낮은 구축 비용으로 대등하거나 더 우수한 정확도와 더 나은 분포 커버리지를 제공하는, 더 계산 효율적이고 확장 가능하며 견고한 대안으로 남아 있다.

저자들은 DD가 작고 분리 가능한 데이터셋에서는 유망함을 보여주지만, CS가 더 효율적이고 신뢰할 수 있는 솔루션을 제공하는 대규모 벤치마크에서는 그 실질적인 이점이 감소한다고 결론짓는다.