기술 요약: 도메인 일반화 가능한 데이터셋 증류 를 위한 스펙트럼 경량 수술

1. 문제 정의

본 논문은 **데이터셋 증류 (Dataset Distillation, DD)**의 중요한 한계를 다룹니다. 즉, 훈련 데이터와 테스트 데이터가 독립적이고 동일하게 분포되어 있다는 (i.i.d.) 가정입니다. 실제로 증류된 데이터셋으로 훈련된 모델은 도메인 변화 (Out-of-Distribution 또는 OOD 시나리오) 에 직면할 때 성능이 크게 저하되는 경향이 있습니다.

저자들은 기존 DD 방법, 특히 **분포 매칭 (Distribution Matching, DM)**이 압축 과정에서 클래스 판별 정보와 도메인 특정 정보를 부주의하게 얽히게 만든다고 지적합니다. 표준 DM 방법은 이 두 가지 유형의 정보를 구분하지 않고 전체 소스 데이터셋의 특징 분포를 매칭하는 것을 목표로 하기 때문에, 결과적으로 생성된 합성 데이터셋은 보이지 않는 도메인에 대한 강건성이 부족합니다.

또한, 본 논문은 단순히 증류된 데이터셋에 사후 도메인 일반화 (Domain Generalization, DG) 기법을 적용하는 것은 두 가지 이유로 불충분하다고 주장합니다:

1. 데이터 불일치: 기존 DG 방법은 대규모 실제 데이터셋의 자연스러운 다양성에 의존하는데, 이는 컴팩트한 합성 집합에서는 위배되는 가정입니다.
2. 효율성 충돌: DG 방법은 종종 다운스트림 훈련 시간을 증가시키는 무거운 증강 전략을 사용하므로, DD 의 핵심 효율성 목표와 모순됩니다.

따라서 저자들은 새로운 문제 설정인 **도메인 일반화 가능한 데이터셋 증류 (Domain Generalizable Dataset Distillation, DGDD)**를 도입합니다. 이 정의는 단순히 분포 내 (ID) 성능을 보존하는 것이 아니라, 보이지 않는 타겟 도메인에 대한 강건한 일반화를 보장하는 컴팩트한 데이터셋의 생성을 명시적으로 목표로 합니다.

2. 방법론: 스펙트럼 경량 수술 (Spectral Gradient Surgery, SGS)

DGDD 문제를 해결하기 위해 저자들은 기존 DM 방법에 플러그인 가능한 확장인 **스펙트럼 경량 수술 (Spectral Gradient Surgery, SGS)**을 제안합니다. 핵심 통찰은 도메인별 경량의 스펙트럼 영역에서의 도메인 간 합의가 클래스 판별 신호를 도메인 특정 노이즈에서 효과적으로 분리할 수 있다는 점입니다.

방법론은 다음 단계를 거칩니다:

A. 도메인별 경량 계산

$S$개의 소스 도메인이 주어지면, 이 방법은 각 도메인 $D_s$에 대해 합성 샘플 $\hat{x}_i$에 대한 특정 경량 $g_i^s$를 계산합니다. 이 경량은 합성 샘플 $\hat{x}_i$를 업데이트하여 도메인 $s$의 특징 분포와 더 잘 일치하도록 하는 방향을 나타냅니다.

B. 스펙트럼 분해

픽셀 공간에서 작동하는 대신, SGS 는 2 차원 고속 푸리에 변환 (FFT) 을 사용하여 이러한 경량을 스펙트럼 영역으로 변환합니다. 이는 다음과 같은 이유로 중요합니다:

• 픽셀별 합의는 공간적 정렬 불일치에 취약합니다.
• 주파수 성분은 전역적인 공간 패턴을 나타내므로, 도메인 간 합의를 측정하는 데 의미론적으로 유의미합니다.

C. 결과 길이를 통한 신호 분리

이 방법은 모든 도메인에 걸친 경량의 복소수 평균을 계산하고, 각 주파수 성분에서 **요소별 결과 길이 (element-wise resultant length, $r_i$)**를 측정합니다.

• 높은 합의 ($r_i \to 1$): 경량 방향이 도메인 간에 정렬되어 있음을 나타내며, 이는 클래스 판별 정보를 의미합니다.
• 낮은 합의 ($r_i \to 0$): 상충되는 방향을 나타내며, 이는 도메인 특정 노이즈를 의미합니다.

이 지표를 사용하여 경량을 두 개의 보완적 신호로 분해합니다:

1. 클래스 판별 신호 ($g_i^{class}$): 평균 경량에 $r_i$를 가중하여 얻습니다. 이는 모든 소스 도메인에서 공유되는 패턴을 강화합니다.
2. 도메인 특정 신호 ($g_i^{domain, s}$): 특정 도메인의 경량과 합의 간의 편차를 계산하여 얻습니다. 이는 다양성을 장려하기 위해 특정 도메인의 고유한 특성을 보존합니다.

D. 적응형 최적화

합성 데이터셋은 세 가지 경량 신호의 조합을 사용하여 업데이트됩니다:
$$\hat{x}_i \leftarrow \hat{x}_i - \eta \cdot (g_i + \lambda_c \cdot g_i^{class} + \lambda_d \cdot g_i^{domain, s(i)})$$
여기서:

• $g_i$는 기준선으로 작용하는 표준 DM 경량입니다.
• $g_i^{class}$는 도메인 불변 패턴을 강화합니다.
• $g_i^{domain, s(i)}$는 도메인 특정 변형을 보존합니다 (다양성을 보장하기 위해 합성 샘플에 균일하게 할당됨).
• $\lambda_c$와 $\lambda_d$는 이러한 추가 신호의 강도를 조절합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 제시합니다:

1. 문제 정의: 기존 DD 가 ID 성능에 초점을 맞추는 것과 구별되는 OOD 일반화를 명시적으로 목표로 하는 새로운 설정인 **도메인 일반화 가능한 데이터셋 증류 (DGDD)**의 도입.
2. 알고리즘 제안: 경량의 스펙트럼 분해를 통해 클래스 및 도메인 정보를 분리하는 **스펙트럼 경량 수술 (SGS)**의 개발. 이는 강건성을 위한 클래스 판별 신호와 다양성을 위한 도메인 특정 신호를 제공합니다.
3. 플러그인 호환성: SGS 가 기존 DM 프레임워크 (예: DM, HDD-DM) 에 핵심 목표를 수정하지 않고 통합될 수 있으며, 하부 최적화 아키텍처 변경이 필요 없음을 입증.

4. 실험 결과

저자들은 Multi-Domain Generalization (MDG) 및 Single-Domain Generalization (SDG) 설정 하에서 Digits-DG, PACS, CORe50-Hard의 세 가지 벤치마크에서 SGS 를 평가했습니다.

• 성능 향상: SGS 는 모든 데이터셋과 Image Per Class (IPC) 설정 (10 및 20) 에서 OOD 일반화를 일관되게 개선했습니다.
  • PACS(IPC=10) 에서 SGS 는 기준선 DM 의 평균 OOD 정확도를 **+3.0%**만큼, HDD-DM 을 **+2.2%**만큼 개선했습니다.
  • CORe50-Hard(IPC=10) 에서 DM 을 **+1.5%**만큼, HDD-DM 을 **+3.4%**만큼 개선했습니다.
• 사후 DG 와의 비교: 성능을 개선하지 못하거나 훈련 시간을 극적으로 증가시켰던 (최대 6.8 배 오버헤드) 사후 DG 방법 (FACT, MixStyle, AdvFreq 등) 과 달리, SGS 는 다운스트림 훈련 중 추가 계산 오버헤드 없이 우수한 OOD 정확도를 달성했습니다.
• 절대 연구 (Ablation Studies):
  • 클래스 판별 신호 ($g^{class}$) 만 사용하면 의미론은 보존되지만 시각적 다양성이 감소했습니다.
  • 도메인 특정 신호 ($g^{domain}$) 만 사용하면 세밀한 클래스 특징을 인코딩하지 못했습니다.
  • 세 가지 신호의 조합이 가장 좋은 결과를 낳았으며, 이는 그들의 보완적 성격을 확인시켜 주었습니다.
• 분포 내 성능: SGS 는 기준선 방법과 비교 가능한 ID 성능을 유지하여 OOD 강건성을 개선하는 것이 ID 정확도 비용을 수반하지 않음을 증명했습니다.

5. 중요성 및 주장

본 논문은 도메인 일반화 가능한 데이터셋 증류를 위한 첫 번째 효과적인 접근법을 제공한다고 주장합니다. 그 중요성은 다음과 같습니다:

• 중요한 격차 해소: DD 문헌에서 largely 탐구되지 않았던 실제 배포에서 빈번한 도전 과제인 도메인 변화에 대한 증류된 데이터셋의 취약성을 해결합니다.
• 효율성: 스펙트럼 수술을 통해 일반화를 증류 과정에 직접 통합함으로써, 사후 증강 전략과 관련된 계산 패널티를 피합니다.
• 이론적 통찰: 스펙트럼 영역에서의 도메인 간 경량 합의가 클래스 불변 특징을 식별하는 신뢰할 수 있는 대리 지표임을 확립하여, 압축된 데이터셋에서 정보를 분해하는 방법에 대한 새로운 관점을 제시합니다.

저자들은 SGS 가 현재 분포 매칭 프레임워크 내에서 검증되었지만, 도메인 간 합의를 통한 스펙트럼 분해의 근본 원리는 경량 매칭 및 궤적 매칭과 같은 다른 DD 패러다임에도 개념적으로 적용 가능하다고 언급하며, 이는 향후 연구 과제로 남깁니다.