Rethinking Dataset Distillation: Hard Truths about Soft Labels

1. 연구 배경 및 문제 제기 (Problem)

최근 대규모 데이터 증류 (Dataset Distillation, DD) 방법론 (예: SRe2L 등) 은 ImageNet-1K 와 같은 대규모 데이터셋에서 성공적인 결과를 보여주었습니다. 그러나 이러한 방법론들은 주로 소프트 라벨 (Soft Labels) 을 사용하여 증류된 데이터로 학생 모델을 학습시키는 SL+KD(Soft Label + Knowledge Distillation) 방식을 채택하고 있습니다.

이 논문은 다음과 같은 심각한 모순을 지적하며 기존 연구의 한계를 비판합니다:

• 무작위 베이스라인과의 동등한 성능: 최근 연구 (Qin et al.) 에 따르면, 고품질의 증류된 데이터나 코어셋 (Coreset) 이 무작위로 선택된 이미지 집합보다 성능이 우월하지 않다는 사실이 드러났습니다. 이는 소프트 라벨의 양이 데이터의 품질이나 크기보다 성능을 결정하는 주된 요인임을 시사합니다.
• 코어셋 문헌과의 괴리: 코어셋 선택 (Coreset Selection) 분야에서는 하드 라벨 (Hard Label, HL) 환경에서 고품질 서브셋이 무작위 서브셋을 일관되게 능가하는 반면, DD 분야에서는 소프트 라벨 환경에서 데이터 품질의 영향력이 미미해집니다.
• 진행 가능성에 대한 의문: 데이터 품질이 성능에 거의 영향을 미치지 않는다면, 현재의 DD 연구 방향 (데이터 증류 자체의 최적화) 이 진정한 진전을 이루고 있는지 의문이 제기됩니다.

2. 주요 방법론 및 분석 (Methodology)

저자들은 데이터 효율적 학습 (Data-Efficient Learning) 에서 데이터 품질 (Quality), 크기 (Size), 연산 자원 (Compute) 이 서로 다른 라벨 환경 (SL+KD, 고정 소프트 라벨 SL, 하드 라벨 HL) 에서 어떻게 상호작용하는지 체계적으로 분석했습니다.

2.1. 라벨 환경별 확장성 분석 (Scalability Analysis)

• SL+KD 환경: 다양한 코어셋 (EL2N 등) 과 무작위 서브셋을 사용하여 ImageNet-1K 에서 실험했습니다.
  • 결과: 연산 자원 (Compute) 이 성능을 결정하는 유일한 요인이며, 데이터의 품질이나 크기는 거의 영향을 미치지 않았습니다. 모든 서브셋이 연산 예산 내에서 거의 최적의 성능 (전체 데이터셋 성능) 에 수렴하는 성능 포화 (Performance Saturation) 현상을 관찰했습니다.
• 고정 소프트 라벨 (SL) 환경:
  • 결과: 데이터 크기는 여전히 중요하지만, 일정 수준 (IPC 10 이상) 을 넘어서면 데이터 품질의 추가적 이점은 미미했습니다. 이는 고정 소프트 라벨 하에서 샘플별 학습 난이도 (Difficulty) 점수가 균질화 (Homogenization) 되어 샘플 간 차이가 사라지기 때문입니다.
• 하드 라벨 (HL) 환경:
  • 결과: 데이터 품질이 성능에 결정적인 역할을 합니다. 기존 DD 방법론 중 RDED만이 무작위 베이스라인을 능가했으나, 최상의 코어셋 (EL2N-Best) 에는 미치지 못했습니다.

2.2. 증류 목적 함수 평가 지표: DCS (Distillation Correlation Score)

• 기존 DD 방법론 (특히 Trajectory Matching 기반인 TM, DATM) 이 대규모 모델 (ResNet-18 등) 로 확장될 때 실패하는 이유를 분석하기 위해 DCS를 제안했습니다.
• DCS 정의: 다양한 서브셋에 대해 계산된 증류 손실 (Distillation Loss) 과 하류 작업에서의 일반화 오차 (Generalization Error) 간의 스피어만 순위 상관관계를 측정합니다.
• 목적: 실제 증류 과정과 학생 모델 학습 없이도, 특정 증류 목적 함수가 하류 일반화 성능을 잘 예측하는지 빠르게 평가할 수 있습니다.
• 발견: TM 기반 목적 함수는 작은 모델 (ConvNet) 에서는 상관관계가 있었으나, 큰 모델 (ResNet-18) 에서는 손실 값이 거의 변하지 않아 (약 0.999) 일반화 성능과 전혀 상관관계가 없음을 확인했습니다.

2.3. 제안된 방법론: CAD-Prune 및 CA2D

• CAD-Prune (Compute-Aware Difficulty Pruning):
  • 기존 EL2N 등의 점수는 고정되어 있어 연산 예산 (Compute Budget) 에 따라 최적의 난이도 (Difficulty) 를 반영하지 못했습니다.
  • CAD-Prune 은 하류 작업과 동일한 연산 예산으로 전체 데이터셋을 학습시킨 모델의 학습 말기 (Late-stage) 불확실성 (Uncertainty) 을 기반으로 샘플 난이도를 추정합니다.
  • 이는 특정 연산 예산 하에서 실제로 "학습 중인" (actively learned) 샘플들을 선별하여 최적의 난이도 분포를 갖는 코어셋을 구성합니다.
• CA2D (Compute-Aware Dataset Distillation):
  • CAD-Prune 으로 선별된 난이도 적절한 샘플들에서 RDED 방식과 유사하게 '신뢰도 높은 패치 (Confident Patches)'를 추출하여 증류된 데이터셋을 구성합니다.

3. 주요 결과 (Results)

• SL+KD 환경의 한계: ImageNet-1K 에서 IPC 50~100 정도의 무작위 데이터만으로도 충분한 소프트 라벨과 연산 자원이 주어지면, 고품질 코어셋이나 DD 방법과 유사한 성능을 달성합니다. 이는 데이터 품질 최적화 노력의 한계를 보여줍니다.
• DCS 분석 결과: TM 및 DATM 과 같은 경로 매칭 (Trajectory Matching) 기반 방법론은 대규모 모델로 확장 시 실패하며, DCS 를 통해 이를 사전에 예측할 수 있음을 보였습니다.
• HL 환경에서의 SOTA 달성:
  • CAD-Prune: ImageNet-1K HL 환경에서 기존 최상위 코어셋 방법인 EL2N-Best 와 동급 또는 더 나은 성능을 내면서, 슬라이딩 윈도우 방식보다 계산 효율이 훨씬 높습니다.
  • CA2D: RDED 를 능가하는 새로운 SOTA 성능을 기록했습니다. 다양한 IPC 설정 (10, 50, 100) 에서 기존 DD 방법론 및 코어셋 베이스라인을 모두 능가했습니다.

4. 주요 기여 (Key Contributions)

1. 체계적인 라벨 환경 분석: 데이터 품질, 크기, 연산 자원이 SL+KD, SL, HL 환경에서 성능에 미치는 영향을 규명했습니다. 특히 소프트 라벨이 데이터 품질의 중요성을 무력화시킨다는 핵심 통찰을 제공했습니다.
2. DCS (Distillation Correlation Score) 제안: 비용이 많이 드는 증류 및 학습 과정 없이도 증류 목적 함수의 확장성 (Scalability) 과 적합성을 평가할 수 있는 효율적인 지표를 개발했습니다.
3. CAD-Prune 및 CA2D 개발: 연산 자원을 고려한 난이도 기반 샘플링 메커니즘을 통해, 하드 라벨 환경에서 기존 DD 및 코어셋 방법론을 능가하는 새로운 방법론을 제시했습니다.

5. 의의 및 결론 (Significance)

이 논문은 데이터 증류 연구 커뮤니티에 다음과 같은 중요한 시사점을 제공합니다:

• 평가 기준의 재정의: 현재 DD 방법론 평가에 널리 쓰이는 SL+KD 환경은 데이터 품질의 차이를 드러내지 못하므로, 진정한 데이터 효율성 향상을 위해서는 하드 라벨 (HL) 환경에서의 평가가 필수적입니다.
• 연구 방향의 전환: 무작위 데이터로도 좋은 성능이 나오는 SL+KD 환경에서의 단순한 증류 최적화보다는, 하드 라벨 환경에서 데이터 품질과 연산 자원의 균형을 맞추는 연구 (Compute-Aware) 가 더 의미 있습니다.
• 실용적 도구: 제안된 CAD-Prune 과 CA2D 는 ImageNet-1K 와 같은 대규모 데이터셋에서도 효율적으로 작동하는 새로운 표준을 제시하며, 데이터 효율적 학습 (Data-Efficient Learning) 의 미래를 여는 도구로 작용합니다.

결론적으로, 이 연구는 "소프트 라벨이 모든 것을 해결해준다"는 오해를 깨고, 데이터의 본질적인 품질과 연산 자원의 조화가 진정한 데이터 증류의 핵심임을 증명했습니다.