💻 computer science

Dataset Distillation by Influence Matching

이 논문은 새롭고 효율적인 완전 미분 가능한 샘플 수준 영향력 추정치를 통해 합성 데이터셋의 최종 훈련 결과를 전체 데이터셋과 정렬함으로써 압축된 합성 데이터셋을 학습하는 데이터셋 증류 방법인 Influence Matching(Inf-Match)을 소개하며, 이를 통해 이미지 분류 및 시각-언어 검색 벤치마크 모두에서 최첨단 성능을 달성하였다.

원저자: Haoru Tan, Wang Wang, Sitong Wu, Xiuzhe Wu, Yangtian Sun, Chirui Chang, Shaofeng Zhang, Xiaojuan Qi

게시일 2026-07-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Haoru Tan, Wang Wang, Sitong Wu, Xiuzhe Wu, Yangtian Sun, Chirui Chang, Shaofeng Zhang, Xiaojuan Qi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 동물을 인식하는 법을 가르치려 한다고 상상해 보세요. 그런데 당신에게는 이 로봇의 교과서로 사용할 수 있는 수백만 권의 책(이미지)이 담긴 도서관이 있습니다. 이 거대한 도서관은 로봇이 완벽하게 학습하는 데 도움을 주지만, 들고 다니거나 저장하거나 다른 로봇에게 보내기에는 악몽 같은 일입니다. 이것이 바로 데이터셋 증류(dataset distillation)의 세계입니다. 이는 거대한 도서관을 로봇이 배워야 할 모든 것을 여전히 가르쳐 줄 수 있는 아주 작고 주머니에 들어갈 만한 요약본으로 축소하는 데 전념하는 컴퓨터 과학 분야입니다.

오랫동안 과학자들은 학습의 '과정'을 살펴보며 이 문제를 해결하려 노력했습니다. 그들은 "만약 우리의 작은 요약본이 로봇이 거대한 도서관을 공부하는 동안 수행한 정확한 단계, 실수, 그리고 매일의 숙제를 똑같이 복제할 수 있다면"이라고 생각했습니다. 그것은 마치 거장의 손가락 움직임을 하나하나 똑같이 흉내 내게 함으로써, 음악이 제대로 연주되기를 바라는 방식으로 피아노를 가르치는 것과 같았습니다. 하지만 때로는 손가락 움직임이 완벽하게 일치하더라도 음악은 엉망일 수 있습니다. 연구자들이 던져온 큰 질문은 이것입니다. "우리가 단계의 모방을 건너뛰고 대신 '결과'에 집중할 수 있을까? 우리가 만든 작은 요약본이, 로봇이 거대한 도서관을 어떻게 공부했는지와 상관없이, 마치 전체 도서관을 공부했을 때와 정확히 똑같은 '두뇌'(최종 지식)를 갖도록 보장할 수 있을까?"

이것이 바로 "영향력 매칭을 통한 데이터셋 증류(Dataset Distillation by Influence Matching, Inf-Match)" 논문이 다루는 내용입니다. HKU, CUHK, 스탠퍼드 대학교의 연구진인 저자들은 우리가 로봇의 일일 훈련 루틴을 복사하는 것을 멈추고 대신 최종 결과를 맞추어야 한다고 주장합니다. 그들은 **영향력 매칭(Influence Matching)**이라는 영리한 새로운 방법을 소개합니다.

기존의 방법들을 요리사가 재료를 얼마나 썰고, 젓고, 열을 가했는지 모든 과정을 기록하며 레시피를 복사하려는 것으로 생각한다면, 새로운 방법인 Inf-Match는 다음과 같이 묻는 것과 더 비슷합니다. "만약 내가 이 케이크에서 특정 재료를 제거한다면, 맛이 얼마나 변할까?" 그리고 "만약 내가 이 새로운 재료를 추가한다면, 풍미가 어떻게 바뀔까?" 각 데이터 조각이 로보의 두뇌를 특정 방향으로 얼마나 "밀어내는지"를 정확히 측정함으로써, 연구팀은 거대한 원래의 도서관과 정확히 동일한 총 "밀어내는 힘"을 발휘하는 작은 합성 데이터셋을 만들어냅니다.

이를 위해 그들은 '영향력 추정기(influence estimator)'라는 특별한 수학적 도구, 즉 초고속 계산기 역할을 하는 도구를 발명했습니다. 사진 한 장을 제거했을 때 어떤 일이 일어나는지 보기 위해 로봇을 수천 번 다시 훈련시키는 대신(이는 시간이 너무 오래 걸릴 것입니다), 이 도구는 변화를 즉각적으로 예측하는 지름길을 사용합니다. 이것은 마치 "고양이 사진을 개 사진으로 바꾸면, 로봇의 두뇌가 정확히 이만큼 이동할 것이다"라고 말해주는 수정구슬을 가진 것과 같습니다.

결과는 인상적입니다. CIFAR-10, CIFAR-100, 그리고 까다로운 Tiny-ImageNet과 같은 표준 이미지 데이터셋에 대해 테스트했을 때, 그들의 방법은 기존의 최고 기술들을 일관되게 앞질렀습니다. 예를 들어, 클래스당 단 10개의 합성 이미지만을 사용한 Tiny-ImageNet 데이터셋에서 Inf-Match는 **31.5%**의 정확도를 달성했으며, 이는 이전 최고 방법인 NCFM보다 4.7% 향상된 수치입니다. 또한 그들은 Flickr30K 데이터셋(이미지와 텍스트를 매칭하는 작업)을 이용한 시각-언어 과업에서도 테스트를 진행했으며, 그들의 방법은 강력한 베이스라인 모델들보다 평균 2.5% 더 우수한 성능을 보였습니다.

이 논문은 중간 단계가 아닌 최종적인 "영향력"에 집중함으로써, 훨씬 더 효과적인 미니 데이터셋을 만들 수 있다고 제안합니다. 저자들은 그들의 접근 방식이 다양한 유형의 신경망에서 잘 작동하며, 이미지와 텍스트를 모두 포함하는 복잡한 작업으로도 확장 가능하다는 것을 보여줍니다. 그들이 모든 AI 문제를 해결했다고 주장하는 것은 아니지만, 그들의 실험은 최종적인 결과를 맞추는 것이 훈련 과정을 단계별로 복사하려는 것보다 더 효율적인 데이터 압축을 위한 더 신뢰할 수 있는 경로임을 강력하게 시사합니다. 요약하자면, 그들은 이야기를 잃지 않으면서 도서관을 축소하는 방법을 찾아낸 것입니다.

기술 요약: 영향력 매칭을 통한 데이터셋 증류 (Dataset Distillation by Influence Matching)

문제 정의

현대 딥러닝은 방대한 양의 데이터셋에 의존하며, 이는 저장, 전송 및 학습 비용을 과도하게 높이는 원인이 됩니다. **데이터셋 증류(Dataset Distillation)**는 훨씬 더 큰 원래의 데이터셋으로부터 핵심적인 지식을 응축한 소형화되고 정보력이 높은 데이터셋을 합성함으로써 이 문제를 해결하고자 합니다.

기존의 접근 방식은 주로 **프로세스 정렬(process alignment)**에 의존하며, 이는 합성 데이터가 실제 데이터의 중간 학습 역학(예: 단계별 그래디언트 또는 학습 궤적)을 모방하도록 최적화하는 방식입니다. Gradient Matching (GM)이나 Trajectory Matching (MTT)과 같은 방법들이 성공을 거두었으나, 이들은 근본적인 한계점을 가집니다. 즉, 중간 프로세스를 일치시키는 것이 최종 결과(수렴된 모델 파라미터)를 일치시키는 것을 보장하지는 않는다는 점입니다. 이는 합성 데이터가 학습 궤적은 완벽하게 재현할 수 있어도, 다운스트림 성능이나 일반화 성능은 달성하지 못하는 최적화 격차(optimization gap)를 발생시킵니다. 또한, 기존의 데이터 영향력을 정량화하는 방법들은 계산적으로 매우 까다로운 역 헤시안(inverse-Hessian) 계산과 심층 신경망에서는 성립하지 않는 엄격한 볼록성(convexity) 가정을 필요로 합니다.

방법론: 영향력 매칭 (Influence Matching, Inf-Match)

저자들은 프로세스 정렬에서 **결과 정렬(outcome alignment)**로 최적화 목표를 전환하는 영향력 매칭(Inf-Match) 프레임워크를 제안합니다. Inf-Match는 단순히 중간 학습 단계를 모방하는 대신, 전체 데이터셋이 최종 수렴된 파라미터에 미치는 효과와 동일한 효과를 갖는 합성 데이터 세트를 학습합니다.

1. 미분 가능한 샘플 영향력 추정기 (Differentiable Sample Influence Estimator)

핵심 혁신은 데이터를 추가하거나 제거했을 때 최종 모델 파라미터가 어떻게 변화하는지를 정량화하는, 완전히 미분 가능한 샘플 수준의 영향력 추정기입니다.

메커니즘: 이 추정기는 최적화 역학(SGD 궤적)을 언롤링(unroll)하고 1차 테일러 근사(first-order Taylor approximation)를 적용합니다.
효율성: 역 헤시안 곱(inverse-Hessian products) 계산을 피하고 볼록성 가정을 배제하여, 유한 차분(finite differences)을 통해 헤시안-그래디언트 곱을 근사함으로써 선형 시간 복잡도( $O(p)$ , 여기서 $p$ 는 파라미터 수)를 달성합니다.
이론적 보장: 논문은 추정 오차에 대한 이론적 상한을 제공하며, 오차가 학습 단계 $T$ 에 따라 다항식 형태로 증가함을 보여줍니다(기존 추정치들의 지수적 오차 증가를 개선함). 또한 이 오차는 손실 함수의 립시츠 상수(Lipschitz constant)와 그래디언트 노름(gradient norms)에 의해 제어됩니다.

2. 최적화 목적 함수 (Optimization Objective)

데이터셋 증류 문제는 실제 데이터셋의 영향력과 합성 데이터셋의 영향력 사이의 불일치를 최소화하는 문제로 정식화됩니다.

목표: 총 파라미터 변화량 $\| I_{-D} + I_{+S} \|$ 를 최소화하는 것입니다. 여기서 $I_{-D}$ 는 실제 데이터셋 $D$ 를 제거했을 때의 영향력이고, $I_{+S}$ 는 합성 데이터셋 $S$ 를 추가했을 때의 영향력입니다.
정식화: 영향력 추정기를 대입함으로써, 목적 함수는 증류 루프 중에 $S$ 에 대해 모델을 실제로 재학습할 필요 없이, $S$ 로 학습된 최종 모델 파라미터를 $D$ 로 학습된 모델과 정렬하는 미분 가능한 손실 함수가 됩니다.

3. 알고리즘 파이프라인

초기화: 합성 세트 $S$ 는 $D$ 의 실제 이미지(IPC, Image-Per-Class 설정 준수)와 $D$ 로 학습된 모델로부터 생성된 소프트 레이블(soft labels)로 초기화됩니다.
궤적 샘플링: 베이스 모델을 $D$ 에 대해 학습시켜 궤적 체크포인트를 기록합니다. 증류 과정 중에는 영향력을 추정하기 위해 이 체크포인트 중 일부를 샘플링합니다.
최적화: 합성 이미지와 소프트 레이블은 영향력 불일치 손실(Eq. 7)을 최소화하도록 경사 하강법을 통해 업데이트됩니다. 헤시안과 그래디언트를 효율적으로 추정하기 위해 $D$ 와 $S$ 모두에서 미니 배치가 사용됩니다.
점진적 샘플링 (Progressive Sampling): 시간 단계 선택 스케줄이 사용됩니다. 초기에는 기본적인 패턴을 포착하기 위해 초기 체크포인트를 우선 샘링하고, 이후에는 미세한 구조를 인코딩하기 위해 후기 체크포인트로 전환합니다.

주요 기여

결과 중심 패러다임: 본 논문은 데이터셋 증류를 휴리스틱한 프로세스 매칭에서 엄격한 결과 매칭으로 재정의하며, 중간 역학이 아닌 최종 모델 상태를 직접 타겟팅합니다.
효율적인 영향력 추정기: 역 헤시안 계산이나 볼록성 가정 없이 선형 시간 내에 작동하는 확장 가능한 미분 가능한 영향력 추정기를 도입하여, 심층 신경망에도 적용 가능하게 만들었습니다.
최첨단 성능 (SOTA): 표준 분류 및 시각-언어 작업에서 새로운 벤치마크를 수립하였으며, 결과 정렬이 프로세스 정렬보다 우수한 일반화 성능을 제공함을 입증했습니다.

실험 결과

저자들은 이미지 분류(CIFAR-10, CIFAR-100, Tiny-ImageNet) 및 시각-언어 작업(Flickr30K)에 대해 Inf-Match를 평가했습니다.

이미지 분류:
- Tiny-ImageNet (IPC=10): Inf-Match는 **31.5%**의 정확도를 달성하여 이전 최고 모델인 NCFM보다 +4.7% 향상된 성능을 보였습니다.
- CIFAR-100 (IPC=50): **57.4%**의 정확도를 달성하여 NCFM보다 2.7%, DATM보다 2.4% 높은 성능을 기록했습니다.
- 교차 아키텍처 일반화: Inf-Match로 생성된 합성 데이터는 다양한 아키텍처(ResNet, VGG, AlexNet)에서 테스트했을 때 일관되게 베이스라인(MTT, DATM)보다 우수한 성능을 보였으며, 이는 강력한 일반화 능력을 나타냅니다.
시각-언어 (Flickr30K):
- 200개의 합성 샘플을 사용한 이미지-텍스트 검색 작업에서 Inf-Match는 7.4% Recall@1을 달성하여 DATM을 1.3% 앞질렀습니다.
- 1000개의 샘플을 사용했을 때, 텍스트-이미지 검색에서 **16.4%**에 도달하며 모든 베이스라인을 제쳤습니다.
절제 연구 (Ablation Studies): 실제 데이터 초기화, 학습 가능한 소프트 레이블, 그리고 점진적 시간 단계 샘플링의 조합이 최종 성능에 시너지 효과를 낸다는 점을 확인했습니다.
특징 공간 분석: 시각화 결과, 샘플을 고밀도 영역에 집중시키는 분포 매칭(Distribution Matching, DM) 방식과 달리, Inf-Match는 샘플이 고밀도 영역과 분포의 경계(edges)를 모두 효과적으로 점유하도록 생성하여 더 균형 잡힌 표현을 만들어냄을 보여줍니다.

의의 및 주장

본 논문은 **영향력 매칭(Influence Matching)**이 데이터셋 증류의 근본적인 변화를 의미한다고 주장합니다. 데이터가 최종 모델 파라미터에 미치는 영향을 직접 정량화하고 일치시킴으로써, 프로세스 매칭 방식에 내재된 최적화 격차를 해소합니다.

저자들은 자신들의 접근 방식이 취약한 휴리스틱이나 계산적으로 불가능한 가정에 의존하지 않고 데이터를 증류하는 원칙적인 방법을 제공한다고 단언합니다. 실험 결과는 "결과"(최종 파라미터 변화)를 매칭하는 것이 고품질의 합성 데이터셋을 생성하기 위한 더 신뢰할 수 있는 목표이며, 이를 통해 다양한 데이터셋과 압축률에서 최첨단 성능을 이끌어낼 수 있음을 시사합니다. 이 연구는 결과 정렬(outcome alignment)을 확장 가능하고 효과적인 데이터셋 증류를 위한 다음 단계로 자리매김하고 있습니다.