💻 computer science

Towards Consistent and Efficient Dataset Distillation via Diffusion-Driven Selection

본 논문은 사전 학습된 확산 모델을 활용하여 예측된 노이즈 손실과 클래스 내 클러스터링을 기반으로 독특한 이미지 패치를 선택함으로써, 대규모 데이터셋에서 기존의 생성 기반 방법들을 능가하는 효율적인 원스텝 프로세스를 가능하게 하는 새로운 데이터셋 증류 프레임워크를 제안한다.

원저자: Xinhao Zhong, Shuoyang Sun, Zhaoyang Xu, Xulin Gu, Bin Chen, Min Zhang, Yaowei Wang

게시일 2026-06-26

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xinhao Zhong, Shuoyang Sun, Zhaoyang Xu, Xulin Gu, Bin Chen, Min Zhang, Yaowei Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 새로운 견습생에게 거대하고 복잡한 연회(마치 수천 가지의 요리가 있는 전체 ImageNet 데이터셋과 같은)를 요리하는 법을 가르치려는 셰프라고 상상해 보세요. 보통은 모든 요리, 모든 식재료, 그리고 모든 단계를 견습생에게 보여줘야 할 것입니다. 하지만 이는 시간이 너무 오래 걸리고, 엄청난 주방 공간(메모리)이 필요하며, 많은 가스(연산 능력)를 태우게 됩니다.

**데이터셋 증류(Dataset Distillation)**는 아주 완벽한 "요약 메뉴" 또는 "미니 메뉴"를 만들어, 견습생이 이 몇 가지 예시만 공부함으로써 연회 전체를 배울 수 있게 하자는 아이디어입니다.

기존 "요약 메뉴"들의 문제점

과과거에 과학자들은 두 가지 방식으로 이 미니 메뉴를 만들려고 시도했습니다:

픽셀 단위 최적화(Pixel-by-Pixel Optimization): 몇 개의 이미지 속 모든 픽셀을 수학적으로 미세하게 조정하여 완벽하게 만들려고 노력하는 것입니다. 이것은 마치 손으로 진흙을 빚어 걸작을 조각하려는 것과 같습니다. 매우 느릴 뿐만 아니라, 작고 단순한 요리(예: CIFAR-10)에서만 작동합니다. 거대한 연회(ImageNet)에 적용하려고 하면 주방이 복잡성으로 인해 폭발해 버립니다.
AI 생성(AI Generation): 강력한 AI(확산 모델, Diffusion Model)를 사용하여 실제 요리와 닮은 새로운 이미지를 직접 발명해내는 것입니다. 여기서 문제는 AI가 당신이 가르치려는 메뉴(인터넷)와는 다른 메뉴(인터넷 데이터)로 학습되었다는 점입니다. AI는 "골든 리트리버"를 솜사탕처럼 푹신한 구름처럼 만들거나, "상어"를 날개가 달린 물고기처럼 발명할 수도 있습니다. 이는 **분포 변화(distribution shift)**를 일으킵니다. 즉, 가짜 음식이 실제 음식의 맛과 딱 맞지 않게 되는 것입니다.

새로운 해결책: "확산 기반 선택(Diffusion-Driven Selection)"

이 논문의 저자들은 이 요약 메뉴를 만드는 더 영리한 방법을 제안합니다. AI에게 새로운 음식을 창조하라고 요구하는 대신, AI가 주방에 이미 있는 실제 음식 중에서 가장 좋은 부분을 찾아내는 비평가 역할을 하도록 요청하는 것입니다.

이 방법이 어떻게 작동하는지 간단한 비유를 통해 설명하겠습니다.

1단계: "블라인드 테이스팅(The Blind Taste Test)" (1단계)

실제 골든 리트리버 사진 한 장이 있다고 상상해 보세요. 당신은 "이 사진의 어느 부분이 가장 골든 리트리버다운가?"를 알고 싶습니다.

먼저, 사전 학습된 AI(Stable Diffusion)를 가져와서 빈 화면을 "골든 리트리버"로 바꾸기 위해 필요한 노이즈(정적)가 무엇인지 추측하게 합니다.
그런 다음, 빈 화면을 (특정 품종이 아닌 그냥) "개"로 바꾸기 위해 필요한 노이즈가 무엇인지 묻습니다.
마법 같은 순간: 이 두 가지 추측을 비교함으로써, AI는 특정 픽셀들이 어떻게 그 개를 특히 골든 리트리버처럼 보이게 만드는지를 강조해 냅니다. 이는 마치 AI가 레이저 포인터를 사용하여 개의 처진 귀와 황금빛 털을 가리키며, "이 부분이 중요해!"라고 말하는 것과 같습니다.
그들은 이 "레이저가 가리킨" 패치들을 실제 이미지에서 잘라냅니다. 새로운 이미지를 만드는 것이 아니라, 실제 이미지에서 가장 좋은 조각들을 잘라내는 것입니다.

2단계: "그룹 파티(The Grouping Party)" (2단계)

이제 당신에게는 수천 개의 이러한 "최고의 조각들"이 있습니다. 어떤 것은 귀이고, 어떤 것은 꼬리이며, 어떤 것은 코입니다.

이들을 그냥 가방에 던져 넣으면 혼란스러울 것입니다.
그래서 저자들은 유사한 패치들을 함께 묶기 위해 클러스터링 기술(양말을 색상과 패턴별로 분류하는 것과 같은 방식)을 사용합니다.
그들은 최종 미니 메뉴가 다양한 종류(diversity)를 갖추면서도 모든 클래스의 본질을 포착할 수 있도록, 각 그룹에서 가장 대표적인 "양말"을 선택합니다.

왜 이것이 게임 체인저인가

이 논문은 세 가지 주요 승리를 주장합니다:

"가짜 음식"이 없음: 그들이 새로운 이미지를 생성하는 대신 실제 이미지에서 조각을 잘라내기 때문에, 데이터 분포가 원본과 완벽하게 일치합니다. "환각(hallucination)"이나 이상한 아티팩트가 발생하지 않습니다.
원스텝 프로세스: 기존 방식들은 이미지 수나 클래스 유형을 변경할 때마다 전체 과정을 다시 실행해야 하는 경우가 많았습니다. 이 새로운 방법은 "원클릭" 버튼과 같습니다. 한 번 실행하면 다양한 설정에서 작동하는 데이터셋을 얻을 수 있습니다.
속도와 규모: 이 방법은 이전 방식들이 실패했거나 너무 오래 걸렸던 거대한 데이터셋(ImageNet-1K 등)과 복잡한 모델(ResNet-101 등)에서도 작동합니다.

결과

실험에서 이 "자르고 붙이는(cut-and-paste)" 방식은 AI의 특징 인식 능력을 활용하여 기존의 최첨단(state-of-the-art) 방식들을 지속적으로 앞질렀습니다. 이 방식은 픽셀을 최적화하거나 처음부터 새로운 이미지를 생성하려는 무거운 계산 비용 없이도, 원래의 방대한 데이터셋만큼(혹은 그보다 더 잘) 모델을 학습시킬 수 있는 더 작은 데이터셋을 만들어냈습니다.

요약하자면: 이 방법은 AI에게 개의 그림을 그리라고 시키는 대신, 실제 사진에서 가장 개다운 부분을 가리키라고 시키고, 그 조각들을 잘라내어 완벽하고 압축적인 학습 가이드를 만드는 것입니다.

기술 요약: 확산 기반 선택을 통한 일관되고 효율적인 데이터셋 증류

문제 정의

데이터셋 증류(Dataset Distillation)는 원래의 전체 데이터셋과 유사한 성능을 달하는 딥 모델을 학습시킬 수 있는 압축된 데이터셋을 합성하는 것을 목표로 하며, 이를 통해 메모리 및 계산 비용을 줄이고자 한다. 그러나 기존의 최적화 기반 방법들(예: 그래디언트 매칭)은 방대한 픽셀 수준의 최적화 공간에 직면해 있어, CIFAR-10/100과 같은 소규모 데이터셋으로 활용이 제한된다. 최근의 접근 방식들은 사전 학습된 확산 모델(Diffusion Model)을 활용하여 합성 이미지를 직접 생성하지만, 다음과 같은 중대한 한계점을 가진다:

분포 변화(Distribution Shifts): 확산 모델(모델 자체 또는 잠재 공간 내 이미지 프로토타입)을 미세 조정(Fine-tuning)하는 방법들은 사전 학습 데이터(예: LAION, ImageNet-1K)와 타겟 데이터셋 간의 분포 불일치로 인해, 클래스와 무관하거나 노이즈가 섞인 출력을 생성하는 문제를 겪는다.
비효율성 및 경직성: 현재의 확산 기반 방법들은 특정 데이터셋에 맞춰 모델을 미세 조정하거나, 다양한 클래스 조합 또는 압축 비율(IPC 설정)을 처리할 때 여러 번의 증류 단계를 요구하는 경우가 많아 실질적인 확장성을 저해한다.

방법론

저자들은 생성적 접근 방식에서 벗어나, 사전 학습된 확산 모델을 이미지 생성이 아닌 **패치 선택(Patch Selection)**에 활용하는 DDDS (Diffusion-Driven Dataset Selection) 프레임워크를 제안한다. 이 방법은 확산 모델을 미세 조정하거나 프록시 분류기를 학습시키지 않는 단일 단계 프로세스로 작동한다.

단계 I: 최적의 클래스 관련 특징 선택

새로운 이미지를 생성하는 대신, 이 방법은 원본 실제 이미지 내에서 가장 정보량이 많은 영역을 식별한다.

차분 노이즈 예측(Differential Noise Prediction): 각 입력 이미지 $z$ 와 타겟 클래스 레이블 $c$ 에 대해, 사전 학습된 Stable Diffusion (SD) 모델은 두 가지 조건 하에서 노이즈 맵을 예측한다: 클래스 텍스트 프롬프트 $c$ (예: "An image of golden retriever")가 있는 경우와 레이블이 없는 경우( $\phi$ , Classifier-free guidance).
대표성 점수 산출(Representativeness Scoring): 두 노이즈 예측의 차이인 $M(z|c) = \mathbb{E}_{\epsilon, t}[N_t(z, \epsilon, c) - N_t(z, \epsilon, \phi)]$ 는 클래스 관련 정보를 정량화한다. 차분 손실(Differential loss)이 높을수록 해당 영역이 클래스를 구분하는 데 결정적임을 의미한다.
패치 추출(Patch Extraction): 노이즈 맵은 원본 이미지 해상도로 업샘플링된다. 이미지는 패치로 나뉘며, 각 패치에 대해 차분 노이즈 값을 합산하여 점수 $R(p|c)$ 를 계산한다. 점수가 가장 높은 패치들이 후보로 선택된다.

단계 II: 시각적 요소 집합(Visual Elements Aggregation)

무작위성을 완화하고 선택된 패치 간의 다양성을 보장하기 위해 클러스터링 기반 선택 전략이 적용된다.

특징 추출: 선택된 패치들은 DIFT (Diffusion Feature) 표현을 추출하기 위해 처리된다. 이는 패치 잠재값에 특정 타임 스텝의 노이즈를 추가하고, 텍스트 조건과 함께 U-Net을 통과시켜 중간 레이어 활성화 값을 얻는 과정을 포함한다.
클러스터링 및 순위 지정: DIFT 특징에 대해 K-means 클러스터링이 수행된다. 선택은 다음과 같은 이중 순위 규칙을 따른다:
1. 클러스터 내부(Intra-cluster): 패치들은 클러스터 중심점으로부터의 거리에 따라 순위가 매겨진다(중심적이고 대표적인 샘플을 선호함).
2. 클러스터 간(Inter-cluster): 클러스터들은 구성원들의 중앙값 대표성 점수( $R(p|c)$ )에 따라 순위가 매겨진다.
최종 선택: 다양성과 대표성을 모두 확보하기 위해 상위 순위의 클러스터(예: 상위 10개)가 우선순위를 갖는다. 만약 클래스당 이미지 수(IPC)가 낮을 경우, 여러 패치를 결합하여 하나의 합성 이미지를 형성한다.

주요 기여

독립적인 패러다임: 본 논문은 사전 학습된 확산 모델을 생성(Generation)이 아닌 **국소화(Localization, Selection)**에 활용하는 데이터셋 증류 프레임워크를 도입한다. 이 접근 방식은 확산 사전 지식(Prior)과 타겟 데이터셋 사이의 분포 불일치 문제를 직접적으로 해결한다.
효율적인 단일 단계 프로세스: 이 방법은 모델 미세 조정, 프록시 모델 학습, 또는 다양한 설정(클래스 조합 또는 IPC)에 따른 반복적인 증류 과정을 제거한다. 이를 통해 완전하게 제한이 없는 단일 패스(Single-pass) 증류 프로세스를 달성한다.
최첨단 성능(SOTA): 광범한 실험을 통해 제안된 방법이 다양한 데이터셋(CIFAR, ImageNet 서브셋, ImageNet-1K)과 모델 아키텍처(ResNet, ViT, EfficientNet) 전반에서 기존의 학습 불필요(Training-free) 및 최적화 기반 방법들을 일관되게 능가함을 입증하였다.

실험 결과

고해解 데이터셋: ImageNet-1K 및 그 서브셋(ImageNette, ImageWoof, ImageNet-100)에서 DDDS는 SRe2L, RDED, Minimax, D4M과 같은 베이스라인보다 유의미한 성능 향상을 보인다. 예를 들어, ImageNette의 IPC=100 설정에서 DDDS는 **92.0%**의 정확도를 달하여, 차순위 방법인 MGD3(91.0%)를 앞질렀다.
저해解 데이터셋: CIFAR-10/100 및 TinyImageNet에서 이 방법은 정보 매칭 방법(예: DSA, IDM) 및 기타 확산 기반 접근 방식과 대등하거나 더 높은 성능을 보인다.
교차 아키텍처 일반화: 증류된 데이터셋은 CNN 및 Vision Transformer(ViT)를 포함한 다양한 교사-학생(Teacher-Student) 아키텍처 전반에서 견고하게 작동한다.
효율성: 단일 단계 프로세스는 클래스 조합이나 IPC 설정에 관계없이 일정한 시간 비용을 발생시키며, 반복적인 증류를 요구하는 방법들과 비교했을 때 상당한 속도 향상(예: 패치 추출을 위해 300개의 실제 이미지를 사용할 때 약 4배의 속도 향상)을 제공한다.

의의 및 주장

저자들은 본 연구가 데이터셋 증류를 위해 확산 모델을 활용하는 새로운 관점을 제공한다고 주장한다. 생성에서 선택으로 초점을 전환함으로써, 이 방법은 생성적 사전 지식에 의해 도입되는 편향 없이 원래의 데이터 분포를 효과적으로 복원한다. 이 프레임워크는 대규모 데이터셋 증류의 확장성 및 일관성 문제를 해결하는 솔루션으로 강조되며, 현재의 최첨단 기술들에 대한 실용적이고 학습이 필요 없는(Training-free), 매우 효율적인 대안을 제시한다. 추가 연구를 촉진하기 위해 소스 코드가 공개되어 있다.