기술 요약: 최소 정보 손실을 통한 대규모 데이터셋의 직접 압축 (CIM)

1. 문제 정의

데이터셋 증류(Dataset Distillation, DD)는 방대한 학습 데이터셋을 일반화 성능을 유지하면서 작은 합성 데이터 세트로 압축하는 것을 목표로 한다. 대규모 데이터셋(예: ImageNet-1K)을 위한 최근의 최첨단(SOTA) 접근 방식들은 정보 추출 파이프라인(예: SRe2L)에 의존하며, 이는 압축(Squeeze)(사전 학습된 모델에 데이터를 인코딩), 복구(Recover)(모델 파라미터를 이미지 공간으로 역전), 재라벨링(Relabel)(사전 학습된 모델을 사용하여 라벨을 재할당)이라는 분리된 3단계 과정을 채택한다.

저자들은 이러한 추출 기반 방법론에서 두 가지 결정적인 병목 현상을 식별하였다:

1. 과도한 계산 오버헤드: "복구" 단계는 모델 파라미터를 역전시키기 위해 복잡하고 반복적인 최적화를 필요로 하며, 이는 높은 시간 및 메모리 비용을 초래한다.
2. 열악한 교차 아키텍처 일반화 성능: 증류된 이미지는 특정 네트워크에 맞춰진 비현실적인 질감이나 의미론적 특징을 보이는 경우가 많다.
3. 근본 원인: 저자들은 암묵적인 이중 압축 과정(데이터 $\to$ 모델 $\to$ 이미지)이 본질적으로 심각한 정보 손실을 유발한다고 주장한다. 이 손실은 원본 데이터와 합성 데이터 사이에 **분포 변화(Distribution Shift)**를 일으킨다. 결과적으로, 널리 채택된 재라벨링(Relabel) 전략은 신뢰할 수 없게 된다. 즉, 원본 분포로 학습된 사전 학습 모델이 변화된 합성 샘플에 대해 "신뢰할 수 없는 라벨러"로 작용하여, 최적이 아닌 라벨을 생성하고 성능을 저하시킨다.

2. 방법론: CIM 프레임워크

이러한 문제를 해결하기 위해, 저자들은 결함이 있는 이중 압축 패러다임을 버리고, 원본 데이터셋과 증류된 데이터셋 사이의 정보 격차를 직접 최소화하는 새로운 메트릭 기반 프레임워크인 **CIM (Condensing Information with Minimal loss)**을 제안한다. 데이터를 모델로 압축한 뒤 다시 복구하는 대신, CIM은 직접적으로 정보 격차를 줄인다.

핵심 개념

• 유효 정보 격차(Effective Information Gap): 저자들은 샘플의 유효 정보를 관찰자 그룹(예: 다양한 변환을 거친 사전 학습된 모델)에 의해 추출된 특징의 분포로 정의한다. 이들은 원본 샘플 $x_i$와 증류된 샘플 $\tilde{x}_j$ 사이의 쌍별 유효 정보 격차($I_G$)를 쿨백-라이블러(KL) 발산을 사용하여 공식화한다.
• 이론적 경계: 직접적인 KL 추정이 불가능하기 때문에, 저자들은 관찰자 그룹에 의해 추출된 특징 벡터 간의 기대 제곱 유클리드 거리에 의해 정보 격차가 제한된다는 정리를 도출한다.
• 최적화 목적 함수: 증류 과정은 무작위 크롭 및 변환을 통해 증강된 $N$개의 원본 이미지와 단일 증류 이미지 $\tilde{x}_j$ 사이의 기대 특징 거리를 최소화한다:
  $$\mathcal{L} = \mathbb{E}_{(\xi_k \sim \mathcal{G})} \left\| \zeta_k \circ \phi_{\theta_T}(x_i) - \zeta_k \circ \phi_{\theta_T}(\tilde{x}_j^{(i)}) \right\|^2$$
  여기서 $\phi_{\theta_T}$는 사전 학습된 관찰자 모델이고, $\zeta_k$는 변환을 나타낸다.

주요 기술 구성 요소

1. 직접 정렬(Direct Alignment): CIM은 "복구" 단계 없이 고충실도 정보 유지를 보장하기 위해 원본 데이터와 증류된 데이터의 분포를 명시적으로 정렬한다.
2. 의미론 및 질감 균형(Semantic and Texture Balance): 깊은 의미론적 특징을 정렬할 때 발생하는 질감 디테일의 손실을 방지하기 위해, CIM은 정렬 목적 함수로 최종 로짓(logits) 대신 **중간 모델 특징(intermediate model features)**을 사용한다.
3. 개선된 재라벨링: 표준적인 원샷 라벨링과 달리, CIM은 변환 인식 소프트 라벨링(transformation-aware soft labeling) 전략을 채택한다. 이는 증류된 이미지의 다중 변환된 뷰(view)를 기반으로 소프트 라벨을 생성하여, 더 다양하고 견고한 지식 주입을 제공한다.
4. 서브셋 선택(Subset Selection): CIM은 사전 학습된 모델에 의해 가장 정확하게 재라벨링되는 원본 데이터셋의 핵심 샘플을 식별하기 위해 서브셋 선택 메커니즘(기본값 RDED)을 채택하여, 증류된 세트가 고품질의 대표성 있는 데이터로 시작되도록 보장한다.

3. 주요 기여

1. 이론적 통찰: 본 논문은 기존 추출 기반 방법론의 이중 압축 과정이 심각한 정보 손실과 분포 변화를 야기하며, 이것이 재라벨링 전략의 효용성을 근본적으로 저해함을 엄밀하게 밝혀냈다.
2. 새로운 프레임워크 (CIM): 원본 데이터셋과 증류된 데이터셋 사이의 정보 격차를 명시적으로 정량화하고 최소화하는 메트릭 기반 접근법을 제시하여, 비용이 많이 드는 복구 과정을 제거하였다.
3. 최첨단 성능(SOTA): 광범위한 실험을 통해 CIM이 다양한 규모와 아키텍처에서 새로운 SOTA를 달성함을 입증하였다.
   • ImageNet-1K (IPC=10): 단일 RTX-4090 GPU에서 80분 만에 ResNet-18 기준 48.7% Top-1 정확도를 달축했다.
   • 개선 사항: NRR-DD(+2.6%) 및 DELT(+2.9%)와 같은 이전 SOTA 방법들을 능가한다.
   • 일반화: 다양한 백본(ResNet, ViT, MobileNet 등) 전반에서 높은 성능을 유지하며 우수한 교차 아키텍처 일반화 성능을 보여준다.
4. 효율성: 반복적인 복구 단계를 피함으로써, CIM은 최적화 기반 베이스라인들에 비해 계산 오버헤드와 메모리 사용량을 크게 줄이면서도 동등하거나 더 높은 성능을 유지한다.

4. 실험 결과

• 소규모 데이터셋: CIM은 다양한 IPC 설정(1, 10, 50) 및 다양한 아키텍처(ConvNet, ResNet-18, ResNet-50)에 대해 CIFAR-10 및 CIFAR-100에서 베이스라인(SRe2L, G-VBSM, RDED 등)을 능가한다.
• 대규모 데이터셋: Tiny-ImageNet 및 ImageNet-1K에서 CIM은 가장 높은 정확도를 달성한다. 특히 ImageNet-1K (IPC=10)에서 48.7%의 정확도를 기록하며, 이는 DELT(46.1%)와 NRR-DD(45.8%)보다 유의미한 도약이다.
• 교차 아키텍처 일반화: ResNet-18에서 증류된 후 보지 못한 아키텍처(예: EfficientNet-B0, ViT-T/16)에서 테스트했을 때, CIM은 일관되게 타 방법론보다 우수한 성능을 보여 의미론적 및 질감 정보를 모두 보존하는 능력을 입증했다.
• 지속 학습(Continual Learning): 5단계 클래스 점진적 학습(class-incremental learning) 환경에서 CIM은 SRe2L을 크게 개선하여, 파멸적 망각을 방지하는 데 있어 고충실도 합성 데이터의 유용성을 입증했다.
• 절제 연구(Ablation Studies): 저자들은 다음을 검증하였다:
  • 중간 특징 정렬(중간 레이어)이 의미론과 질감 사이의 최적의 균형을 제공한다.
  • 4개의 원본 이미지를 하나의 증류 이미지로 압축하는 것($N=4$)이 최적의 트레이드오프를 제공한다.
  • 본 프레임워크는 압축 반복 횟수($M$) 및 서브셋 선택 전략에 대해 견고하다.

5. 의의 및 주장

본 논문은 CIM이 데이터셋 증류의 패러다임 전환을 의미한다고 주장한다. 정보를 본질적으로 저하시키는 "압축-복구(Squeeze-Recover)" 휴리스틱에서 벗어나, CIM은 성능 병목의 근본 원인인 정보 손실 및 분포 변화를 직접적으로 해결한다.

저자들은 자신들의 접근 방식이 다음과 같은 강점을 가진다고 강조한다:

• 신뢰성 회복: 분포적 근접성을 보장함으로써 재라벨링 전략이 의도한 대로 작동하게 하여, 사전 학습 모델을 다시 신뢰할 수 있는 라벨러로 만든다.
• 확장성: 전례 없는 속도(80분)와 효율성으로 대규모 데이터셋(ImageNet-1K)의 증류를 가능하게 한다.
• 일반화 가능성: 이전의 추출 기반 방법론들이 가졌던 주요 한계인 다양한 네트워크 아키텍처 전반에서의 견고함을 해결하여, 의미론적 및 질감 정보를 모두 보존하는 합성 데이터셋을 생성한다.

결론적으로, 정보 격차를 직접적으로 최소화하는 것이 대규모 응용 분야를 위한 고충실도, 고효율, 고일반화 데이터셋 증류를 실현하는 핵심 열쇠이다.