Learnability-Guided Diffusion for Dataset Distillation

1. 문제 정의 (Problem)

기존의 데이터셋 증류 (Dataset Distillation) 기법은 대규모 원본 데이터셋을 소수의 합성 데이터셋으로 압축하여, 원본 데이터로 학습한 모델과 유사한 성능을 내도록 하는 것을 목표로 합니다. 그러나 최근 확산 모델 (Diffusion Models) 을 활용한 기존 방법론들은 다음과 같은 근본적인 한계를 가지고 있습니다:

• 중복성 (Redundancy): 기존 방법들은 시각적 다양성 (visual diversity) 이나 평균적인 학습 궤적 (average training trajectories) 을 최적화하는 데 집중합니다. 이로 인해 생성된 합성 데이터 샘플들이 서로 겹치는 정보 (overlapping information) 를 전달하게 됩니다.
• 실험적 증거: 저자들은 증류된 데이터셋을 서로 겹치지 않는 부분집합으로 나누었을 때, 임의의 부분집합이 다른 부분집합의 학습 신호의 80~90% 를 이미 포착하고 있음을 발견했습니다. 즉, 데이터가 서로 보완적 (complementary) 이기보다 중복된 정보를 반복하여 제공하는 비효율적인 구조를 가집니다.
• 학습 단계의 무시: 모델 학습은 초기 단계 ( coarse features) 와 후기 단계 (fine-grained details) 로 나뉘며 각 단계마다 필요한 학습 신호가 다릅니다. 하지만 기존 방법들은 모든 샘플을 동일한 평균 궤적으로 최적화하여, 특정 학습 단계에 특화된 신호를 제공하지 못합니다.

2. 제안 방법론 (Methodology)

저자는 이러한 중복성을 해결하기 위해 학습 가능성 (Learnability) 에 기반한 점진적 데이터셋 증류 프레임워크를 제안합니다. 핵심 아이디어는 "현재 모델이 무엇을 배울 수 있는지 (learnability)"를 기준으로 데이터를 점진적으로 생성하는 것입니다.

2.1. 학습 가능성 기반 점진적 증류 (Learnability-Driven Incremental Distillation)

• 점진적 구성: 전체 데이터셋을 한 번에 생성하는 대신, 작은 초기 데이터셋 (Seed) 에서 시작하여 모델이 학습한 후, 다음 단계에서 현재 모델이 배우기 어려운 (high loss) 하지만 참조 모델 (Reference Model) 이 학습 가능한 (valid) 샘플을 추가하는 방식으로 데이터를 구성합니다.
• 목표 함수: $I_i^* = \arg \max_{I} [\mathcal{L}(\theta_{i-1}, I) - \mathcal{L}(\theta^*, I)]$
  • $\theta_{i-1}$: 현재 학습 중인 모델 (현재 지식 상태).
  • $\theta^*$: 전체 원본 데이터로 학습된 참조 모델 (정답 지식).
  • 이 목적 함수는 현재 모델에게는 어렵지만 (학습 신호가 큼), 참조 모델에게는 올바른 (의미 있는) 샘플을 생성하도록 유도합니다.

2.2. 학습 가능성 안내 확산 (Learnability-Guided Diffusion, LGD)

확산 모델의 샘플링 과정에 학습 가능성 점수를 기반으로 한 안내 (Guidance) 를 도입합니다.

• 학습 가능성 점수 (Learnability Score): $S(x, y) = \mathcal{L}(\theta_{i-1}, x, y) - \omega \cdot \mathcal{L}(\theta^*, x, y)$
  • 현재 모델의 손실은 높고 참조 모델의 손실은 낮은 샘플을 높은 점수로 평가합니다.
• 안내 메커니즘: 확산 모델의 노이즈 예측 ($\epsilon_\phi$) 에 학습 가능성 점수의 기울기 ($\nabla_{x_t} S$) 를 더하여, 노이즈 제거 경로를 "현재 모델이 배울 수 있는 영역"으로 조정합니다.
• 다양성 유지: 생성된 샘플들이 기존 샘플과 너무 비슷해지지 않도록, 기존 생성된 샘플들과의 코사인 유사도를 기반으로 한 **편차 안내 (Deviation Guidance)**를 적용하여 클래스 내 다양성을 확보합니다.

2.3. 샘플 선택 (Sample Selection)

• 각 증류 단계에서 $\kappa$개의 후보 샘플을 생성한 후, 학습 가능성 점수가 가장 높은 샘플만 선택하여 데이터셋에 추가합니다. 이를 통해 품질이 낮은 샘플을 걸러내고, 현재 모델의 학습 한계를 가장 잘 보완하는 샘플만 선별합니다.

3. 주요 기여 (Key Contributions)

1. 학습 가능성 기반 점진적 프레임워크: 데이터셋을 단계별로 구성하며, 각 단계에서 모델의 현재 학습 상태에 맞춰 보완적인 (중복되지 않는) 학습 신호를 생성합니다.
2. LGD (Learnability-Guided Diffusion): 현재 모델 상태와 참조 모델을 동시에 고려한 확산 모델 안내 기법을 제안하여, 커리큘럼 학습과 유사한 방식으로 정보성 있는 데이터 증분을 자동 생성합니다.
3. 중복성 분석 도구: 제안된 점진적 프레임워크를 통해 증류된 데이터셋 내 정보 중복성을 정량화할 수 있는 분석 도구를 제공합니다. 기존 방법들이 80~90% 의 중복성을 가짐을 입증했습니다.
4. 성능 향상: 중복성을 39.1% 감소시키면서도 ImageNet-1K, ImageNette, ImageWoof 등 다양한 벤치마크에서 State-of-the-Art (SOTA) 성능을 달성했습니다.

4. 실험 결과 (Results)

• 성능 (Accuracy):
  • ImageNet-1K (50 IPC): ResNet-18 기준 60.1% (기존 SOTA 인 MGD3 의 60.2% 와 유사, DiT 기반 52.9% 대비 7.2%p 향상).
  • ImageNette (100 IPC): 87.2% (기존 IGD 대비 2.7%p 향상).
  • ImageWoof (100 IPC): 72.9% (기존 방법 대비 최상위 성능).
• 중복성 감소: 기존 방법 (DiT, IGD) 은 증류된 데이터의 하위 집합 간 교차 검증 정확도가 80~90% 로 매우 높았으나, 제안된 LGD 는 57.65% 수준으로 낮아져 각 데이터 증분이 서로 다른 학습 신호를 제공함을 입증했습니다 (중복성 39.1% 감소).
• 학습 동역학 (Training Dynamics):
  • 점진적으로 데이터를 추가할 때, 제안 방법은 각 단계마다 학습 손실 (Loss) 의 급격한 증가 (Spike) 를 보이며, 이는 새로운 데이터가 기존 모델에게 새로운 정보 (어려운 샘플) 를 제공함을 의미합니다.
  • 기존 방법은 손실 증가가 미미하여 중복된 정보를 학습하고 있음을 보여줍니다.
• 샘플 품질: 생성된 샘플은 원본 데이터의 난이도 분포 (쉬운 것부터 어려운 것까지) 를 자연스럽게 따르면서도, 의미론적 일관성 (Semantic Validity) 을 유지합니다.

5. 의의 및 결론 (Significance)

이 논문은 데이터셋 증류 분야에서 **"어떻게 데이터를 생성할 것인가"**에 대한 패러다임을 평균적인 학습 궤적 최적화에서 모델의 학습 상태에 따른 적응적 커리큘럼 생성으로 전환시켰습니다.

• 효율성: 불필요한 중복 데이터를 제거함으로써, 적은 수의 합성 데이터로도 더 높은 학습 효율을 달성할 수 있습니다.
• 확장성: 고해상도 대규모 데이터셋 (ImageNet-1K) 에서도 기존 방법론의 한계를 극복하고 SOTA 성능을 달성했습니다.
• 미래 방향: 제안된 점진적 증류 프레임워크는 향후 적응형 증류 (Adaptive Distillation) 및 커리큘럼 학습 기반의 데이터 선별 연구에 중요한 기초를 제공합니다.

요약하자면, 이 연구는 **학습 가능성 (Learnability)**을 핵심 지표로 활용하여, 모델이 현재 시점에서 가장 필요로 하는 정보를 점진적으로 채워주는 지능형 데이터 증류 시스템을 구축하여 데이터 효율성과 모델 성능을 동시에 극대화했습니다.