기술 요약: 강건한 궤적 증류 (Robust Trajectory Distillation)

문제 정의

데이터셋 증류(Dataset Distillation, DD)는 대규모 데이터셋을 압축적이고 정보가 풍부한 합성 서브셋으로 응축하여 효율적인 모델 학습과 재사용을 가능하게 하는 것을 목표로 한다. 그러나 기존의 DD 프레임워크는 깨끗한 감독(clean supervision)을 암묵적으로 가정한다. 노이즈가 있는 레이블(크라우드소싱 오류, 인간의 편향 또는 의미론적 모호함에 의한 것)이 특징인 실제 시나리오에서, 표준 DD 방법론은 유용한 신호와 함께 오염된 연관성까지 응축할 위험이 있으며, 이는 강건성과 일반화 성능의 저하로 이어진다.

기존의 노이즈 레이블 학습 기술(예: 샘플 선택, 손실 가중치 부여, 레이블 교정)은 DD에 적용될 때 다음과 같은 세 가지 한계점을 겪는 경우가 많다:

1. 긴밀한 결합(Tight Coupling): 노이즈 추정과 모델 최적화를 밀접하게 결합하여, 확증 편향(confirmation bias)을 증폭시키는 자기 참조적 피드백 루프를 생성한다.
2. 깨끗한 앵커에 대한 의존성(Dependency on Clean Anchors): 많은 방법이 깨끗한 검증 서브셋이나 무거운 반복적 정교화 과정을 필요로 하며, 이는 확장성을 제한한다.
3. 용량 제약(Capacity Constraints): 일반적으로 고정된 크기의 이미지 텐서로 매개변수화되는 증류된 데이터셋은 표현 용량을 제한하여, 노이즈와 깨끗한 신호가 분리되기 전에 조기 정보 압축을 유발한다.

핵심 과제는 레이블 재표기(relabeling)나 깨끗한 서브셋 없이도, 노이즈가 있는 감독 하에서 증류된 데이터의 품질(합성 데이터의 충실도)과 용량(흡수된 고품질 감독의 양)을 모두 개선하는 것이다.

방법론

저자들은 궤적 매칭(trajectory-matching) DD 파이프라인에 통합된 두 개의 상호 보완적인 모듈을 통해, 노이즈를 억제하고 전이 가능한 지식을 보존하는 프레임워크인 **강건한 궤적 증류(Robust Trajectory Distillation)**를 제안한다. 이 프레임워크는 노이즈가 있는 실제 데이터 $D_{real}$로 학습된 교사(teacher) 모델의 학습 역학을 따르도록 합성 데이터셋 $S$로 학습된 학생(student) 모델을 최적화하는 이중 레벨 최적화(bilevel optimization) 스킴을 통해 작동한다.

1. 선택적 가이드 재가중치 부여 (Selective Guidance Reweighting, SGR)

SGR은 신뢰도 추정치를 기반으로 샘플별 가중치를 할당하여 교사 궤적을 정교화함으로써, 교사가 더 깨끗한 가이드 신호를 제공하도록 보장한다. 이는 다음의 하이브리드 추정기를 사용한다:

• 동적 일관성 (Dynamic Consistency, $W_{knn}$): 특징 공간에서의 K-최근접 이웃(K-Nearest Neighbors)에 기반한다. 이는 샘플의 관찰된 레이블과 이웃들의 예측된 레이블 사이의 합의 정도를 옌센-샤논 발산(Jensen-Shannon divergence)을 사용하여 측정한다.
• 정적 사전 확률 (Static Prior, $W_{ssft}$): "2차 분할 망각 시간(Second-Split Forgetting Time, SSFT)"에서 유도된다. 이는 샘플이 처음으로 올바르게 분류된 시점($t_{learn}$)과 이후 다시 오분류된 최초의 시점($t_{forget}$)을 기록하여 샘플의 난이도를 정량화한다. 늦게 학습되고 일찍 잊혀진 샘플은 낮은 가중치를 할당받는다.

이 점수들은 훈련이 진행됨에 따라 정적 사전 확률에서 동적 일관성으로 전환되는 시간 의존적 볼록 보간(time-dependent convex interpolation, $W_t$)을 통해 융합된다. 이러한 점진적 재가중치는 교사 궤적을 따라 깨끗한 감독을 우선시한다.

2. 교사 영감 보조 타겟 (Teacher-Inspired Auxiliary Targets, TIAT)

SGR이 교사의 신호 품질을 개선한다면, TIAT는 이러한 신호의 흡수 과정을 다룬다. 이는 보조 정규화를 주입하여 증류된 데이터가 표현 공간에서 깨끗한 감독과 정렬되도록 보장한다.

• 확률적 신뢰도 집계 (Probabilistic Confidence Aggregation): 프레임워크는 여러 교사 궤적에 걸쳐 신뢰도 가중치를 집계하여 샘플의 전반적인 신뢰도를 추정한다.
• 불확실성 인지 선택 (Uncertainty-Aware Selection): 높은 정적 신뢰도와 여러 궤적에 걸친 신뢰도 점수의 낮은 분산을 기준으로 신뢰할 수 있는 샘플 서브셋($D_{sub}$)을 선택한다.
• 보조 손실 (Auxiliary Loss): 교사 모델은 $D_{sub}$를 통해 미세 조정되어 더 "깨끗한" 체크포인트($\theta^{ft}$)를 생성한다. 보조 손실은 표준 궤적 매칭 손실 외에도 학생의 궤적을 이 정교화된 체크포인트와 정렬하기 위해 계산된다.

전체 목적 함수는 표준 궤적 정렬 손실($\mathcal{L}_{match}$)과 계수 $\beta$에 의해 균형이 맞춰진 보조 손실($\mathcal{L}_{aux}$)의 결합으로 구성된다.

주요 기여

1. 점진적 하이브리드 재가중치 부여: 동적(KNN 기반) 및 정적(망각 시간 기반) 샘플 재가중치를 통합하는 메커니즘을 도입했다. 이는 상호 보완적인 교사 궤적 신호를 융합하여 레이블 재표기 없이도 레이블 노이즈를 강건하게 억제한다.
2. 교사 영감 보조 정규화: 증류 과정 중 깨끗한 궤적과의 일관성을 강제하는 새로운 모듈(TIAT)을 제안한다. 불확실성 인지 선택과 중간 교사 역학에서 유도된 보조 타겟을 활용함으로써, 깨끗한 신호의 영향력을 증폭시키고 오류 증폭을 완화한다.
3. 레이블 보존 및 경량 설계: 레이블 재표기나 비용이 많이 드는 재학습 스케줄을 요구하지 않으므로, 대규모의 실제 노이즈 데이터셋에 실용적이다.
4. 실증적 검증: 대칭 노이즈, 비대칭 노이즈 및 실제 노이즈 데이터셋(CIFAR-N) 환경에서 최신 DD 베이스라인(예: DATM, DANCE) 대비 일관된 성능 향상을 입증했다.

실험 결과

본 방법론은 대칭(20%, 40%) 및 비대칭 노이즈 체제 하의 CIFAR-10, CIFAR-100, CIFAR-N, Tiny-ImageNet에서 평가되었다.

• 성능 향상: 제안된 방법은 강력한 베이스라인들을 일관되게 능가한다. 예를 들어, 40% 대칭 노이즈와 1000 IPC 조건의 CIFAR-10에서 DATM의 76.7% 대비 **81.4%**의 정확도를 달agt했다. 40% 비대칭 노이즘 하에서는 75.0%(DATM 71.4% 대비)에 도달했다.
• 실제 세계 노이즈: CIFAR-N(인간이 주석을 단 노이즈)에서, 본 방법은 노이즈 비율이 증가함에 따라(예: 약 40% 노이즈가 있는 "Worst" 케이스) 우수한 회복력을 보였으며, 높은 IPC에서 최선 베이스라인보다 3% 이상의 격차를 유지했다.
• 절제 연구 (Ablation Studies):
  • 베이스라인에 SGR을 추가했을 때 모든 노이즈 유형에서 안정적인 이득을 제공했으며, 특히 심각한 노이즈 시나리오(예: 40% 노이즈에서 10 IPC일 때 +4.7%)에서 유의미한 개선을 보였다.
  • TIAT를 추가하면 성능이 더욱 향상되었으며, 특히 고노이즈 체제에서 불확실성 필터링된 보조 감독의 이점을 확인시켜 주었다.
  • 다양한 샘플링: 다양한 정적-동적 균형 계수($\alpha_{max}$)를 가진 여러 교사 궤적을 훈련하는 것이 고정된 샘플링 전략보다 더 강건하다는 것이 증명되었다.
• 효율성: 본 방법은 추가적인 피크 GPU 메모리를 거의 사용하지 않는다. 계산 오버헤드는 신뢰도 추정 및 보조 타겟 구축으로 인해 중간 수준이다(예: CIFAR-10 500 IPC 기준 실행 시간 약 1.5배 증가).

의의

본 논문은 노이즈가 있는 감독 하에서의 데이터셋 증류라는 미개척 문제를 해결하는 솔루션을 제시한다. 궤적 기반 재가중치 부여와 보조 정규화를 통해 최적화 루프에서 노이즈 추정을 분리함으로써, 이 프레임워크는 불완전한 데이터로부터 고품질의 합성 데이터셋을 생성하기 위한 강건하고 플러그 앤 플레이(plug-and-play)가 가능한 접근 방식을 제공한다. 저자들은 이것이 깨끗한 감독을 사용할 수 없는 상황에서도 효율적인 모델 재학습과 데이터 공유를 가능하게 하여, 노이즈 탄력적 데이터셋 증류에 대한 향후 연구의 길을 열어준다고 주장한다.