🤖 machine learning

Understanding Dataset Distillation via Spectral Filtering

यह शोध पत्र UniDD पेश करता है, जो एक स्पेक्ट्रल फ़िल्टरिंग फ्रेमवर्क है जो आवृत्ति घटकों (frequency components) पर उनके प्रभावों का विश्लेषण करके विविध डेटासेट डिस्टिलेशन विधियों को एकीकृत करता है, और करिकुलम फ्रीक्वेंसी मैचिंग (CFM) का प्रस्ताव करता है ताकि कम- और उच्च-आवृत्ति सूचनाओं को गतिशील रूप से संतुलित किया जा सके, जिससे विभिन्न डेटासेट्स पर बेहतर प्रदर्शन प्राप्त किया जा सके।

मूल लेखक: Deyu Bo, Songhua Liu, Xinchao Wang

प्रकाशित 2026-03-16

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Deyu Bo, Songhua Liu, Xinchao Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास लाखों किताबों वाला एक विशाल पुस्तकालय (असली डेटासेट - Real Dataset) है। आप एक छात्र (AI मॉडल) को वह सब कुछ सिखाना चाहते हैं जो उसे जानने की आवश्यकता है, लेकिन आपके पास उसे हर एक किताब पढ़ने का समय नहीं है। इसलिए, आप एक छोटी, सटीक "चीट शीट" (सिंथेटिक डेटासेट - Synthetic Dataset) लिखने का निर्णय लेते हैं जिसमें केवल कुछ पन्ने होंगे, लेकिन उसमें किसी तरह सारा आवश्यक ज्ञान समाहित होगा।

इस प्रक्रिया को डेटासेट डिस्टिलेशन (Dataset Distillation) कहा जाता है।

समस्या यह है कि अलग-अलग शोधकर्ता इन चीट शीट्स को लिखने के लिए अलग-अलग नियमों का उपयोग कर रहे हैं। कुछ मुख्य विचारों पर ध्यान केंद्रित करते हैं, कुछ सूक्ष्म विवरणों पर, और अक्सर वे इस बात पर सहमत नहीं होते कि कौन सा नियम सबसे अच्छा है।

यह शोध पत्र इस समस्या को देखने का एक नया तरीका पेश करता है जिसे UniDD (यूनिवर्सल डेटासेट डिस्टिलेशन) कहा जाता है और एक नई विधि पेश करता है जिसे CFM (करिकुलम फ्रीक्वेंसी मैचिंग) कहा जाता है। यह कैसे काम करता है, इसे सरल भाषा में यहाँ समझाया गया है:

1. बड़ा विचार: "साउंड मिक्सिंग बोर्ड" का उदाहरण

लेखकों ने महसूस किया कि चीट शीट बनाने के ये सभी अलग-अलग तरीके वास्तव में एक ही काम कर रहे हैं, बस एक साउंड मिक्सिंग बोर्ड पर अलग-अलग सेटिंग्स के साथ।

डेटा ध्वनि के रूप में: कल्पना करें कि आपका डेटासेट एक जटिल गाना है। इसमें गहरी, गूँजती हुई बेस (bass) ध्वनियाँ हैं (कम-आवृत्ति वाली जानकारी जैसे कि बिल्ली का सामान्य आकार) और उच्च-पिच वाली, तीखी ट्रेबल (treble) ध्वनियाँ हैं (उच्च-आवृत्ति वाली जानकारी जैसे कि फर या मूंछों की बनावट)।
फ़िल्टर: प्रत्येक विधि वास्तविक किताबों के "गाने" को चीट शीट के "गाने" से मिलाने का प्रयास करती है।
- लो-पास फिल्टर्स (बेस प्लेयर): DM और DC जैसी विधियाँ एक ऐसे फ़िल्टर की तरह कार्य करती हैं जो केवल बेस को गुजरने देती हैं। वे बड़े चित्र को पकड़ने में बेहतरीन हैं (जैसे, "यह एक बिल्ली है"), लेकिन परिणाम धुंधला दिखता है और इसमें विवरण की कमी होती है।
- हाई-पास फिल्टर्स (ट्रेबल प्लेयर): MTT और FrePo जैसी विधियाँ एक ऐसे फ़िल्टर की तरह कार्य करती हैं जो केवल उच्च-पिच वाली आवाजों को गुजरने देती हैं। वे अद्भुत विवरण और बनावट को पकड़ते हैं, लेकिन परिणाम बिना किसी स्पष्ट आकार के अराजक या शोर भरा दिख सकता है।

खोज: यह शोध पत्र सिद्ध करता है कि प्रत्येक मौजूदा विधि वास्तव में इस मिक्सिंग बोर्ड के नॉब्स (knobs) को घुमाकर विशिष्ट आवृत्तियों (frequencies) को चुनने का एक अलग तरीका है।

2. समस्या: "एक-सुर" की सीमा

पुरानी विधियों में एक बड़ी खामी थी: वे एक ही सेटिंग पर अटकी हुई थीं।

यदि आपने "बेस" विधि का उपयोग किया, तो आपकी चीट शीट स्पष्ट लेकिन धुंधली थी।
यदि आपने "ट्रेबल" विधि का उपयोग किया, तो आपकी चीट शीट तीखी लेकिन अव्यवस्थित थी।
उनमें से कोई भी एक ही समय में दोनों काम नहीं कर सकता था क्योंकि उनके "नॉब्स" एक जगह स्थिर थे।

3. समाधान: "करिकुलम" दृष्टिकोण (CFM)

लेखक एक नई विधि प्रस्तावित करते हैं जिसे करिकुलम फ्रीक्वेंसी मैचिंग (CFM) कहा जाता है। इसे एक स्मार्ट शिक्षक के रूप में सोचें जो जानता है कि समय के साथ छात्र को प्रभावी ढंग से कैसे सिखाया जाए।

सब कुछ एक साथ सिखाने के बजाय, शिक्षक एक शेड्यूल (करिकुलम) का पालन करता है:

शुरुआती दिन (बुनियादी बातें): प्रशिक्षण की शुरुआत में, शिक्षक एक लो-पास फ़िल्टर का उपयोग करता है। वे बड़े चित्र पर ध्यान केंद्रित करते हैं। "ठीक है छात्र, पहले यह सीखो कि यह एक पक्षी है, कार नहीं।" यह बुनियादी संरचना और निरंतरता स्थापित करता है।
मध्यम दिन (विवरण जोड़ना): जैसे-जैसे प्रशिक्षण आगे बढ़ता है, शिक्षक धीरे-धीरे अधिक हाई-फ्रीक्वेंसी जानकारी को अंदर आने देने के लिए नॉब घुमाता है। "अब जब तुम जानते हो कि यह एक पक्षी है, तो चलो इसके पंखों और चोंच को देखते हैं।"
अंतिम दिन (पॉलिश करना): अंत तक, शिक्षक दोनों को संतुलित कर चुका होता है। छात्र ने सामान्य आकार और सूक्ष्म विवरण दोनों को सीख लिया है।

यह गतिशील दृष्टिकोण AI को एक ऐसी चीट शीट बनाने की अनुमति देता है जो संरचनात्मक रूप से सुदृढ़ (धुंधली नहीं) और विवरणों से समृद्ध (अराजक नहीं) हो।

4. परिणाम: एक बेहतर चीट शीट

लेखकों ने विभिन्न "पुस्तकालयों" (CIFAR और ImageNet जैसे डेटासेट) पर इसका परीक्षण किया।

पुराना तरीका: चीट शीट्स या तो बहुत धुंधली थीं या बहुत शोर भरी।
नया तरीका (CFM): चीट शीट्स स्पष्ट, तीखी और सभी आवश्यक जानकारी से युक्त थीं। जब उन्होंने इन चीट शीट्स का उपयोग करके नए AI मॉडल को प्रशिक्षित किया, तो उनके प्रदर्शन में पुराने तरीकों की तुलना में काफी सुधार हुआ।

सारांश

संक्षेप में, यह शोध पत्र कहता है:

"हमने पता लगाया है कि डेटा को कंप्रेस करने के ये सभी अलग-अलग तरीके केवल ध्वनि आवृत्तियों को फ़िल्टर करने के अलग-अलग तरीके हैं। पुरानी विधियाँ केवल बेस या केवल ट्रेबल सुनने तक सीमित थीं। हमारी नई विधि, CFM, एक स्मार्ट डीजे (DJ) की तरह कार्य करती है जो बेस से शुरू करती है और धीरे-धीरे ट्रेबल को मिलाती जाती है, जिससे AI के सीखने के लिए एक आदर्श प्लेलिस्ट तैयार होती है।"

यह AI प्रशिक्षण प्रक्रिया को तेज़, अधिक कुशल और बहुत स्मार्ट बनाता है।

यहाँ पेपर "Understanding Dataset Distillation via Spectral Filtering" (UniDD/CFM) का विस्तृत तकनीकी सारांश दिया गया है, जिसे ICLR 2026 में एक कॉन्फ्रेंस पेपर के रूप में प्रस्तुत किया गया है।

1. समस्या विवरण (Problem Statement)

डेटासेट डिस्टिलेशन (Dataset Distillation - DD) का लक्ष्य बड़े पैमाने के वास्तविक डेटासेट को संक्षिप्त, सिंथेटिक डेटासेट में संकुचित करना है, ताकि सिंथेटिक डेटा पर प्रशिक्षित मॉडल मूल डेटा पर प्रशिक्षित मॉडलों के समान प्रदर्शन प्राप्त कर सकें। हालाँकि विभिन्न DD विधियाँ मौजूद हैं (जैसे, ग्रेडिएंट मैचिंग, ट्रेजेक्टरी मैचिंग, स्टैटिस्टिकल मैचिंग), वे विजातीय अनुकूलन उद्देश्यों (optimization objectives) के तहत कार्य करती हैं जिनका आपस में बहुत कम सैद्धांतिक संबंध है।

मुख्य अंतराल (Key Gap): इन विविध उद्देश्यों के बीच संबंध समझाने के लिए कोई एकीकृत ढांचा (unified framework) नहीं है। मौजूदा विधियाँ आमतौर पर निश्चित अनुकूलन रणनीतियों पर निर्भर करती हैं जो केवल एक प्रकार की आवृत्ति जानकारी (या तो लो-फ्रीक्वेंसी ग्लोबल स्ट्रक्चर या हाई-फ्रीक्वेंसी टेक्सचर) को कैप्चर करती हैं, जिससे उनकी अनुकूलन क्षमता और सामान्यीकरण (generalization) क्षमता सीमित हो जाती है।

2. कार्यप्रणाली (Methodology)

यह पेपर एक दो-भाग वाली कार्यप्रणाली प्रस्तावित करता है: एक सैद्धांतिक एकीकरण ढांचा (UniDD) और एक नवीन एल्गोरिद्मिक समाधान (Curriculum Frequency Matching - CFM)।

A. UniDD: एक स्पेक्ट्रल फ़िल्टरिंग फ्रेमवर्क

लेखक प्रतिनिधि DD विधियों (DM, DC, MTT, FrePo) का विश्लेषण करते हैं और उन्हें एक स्पेक्ट्रल फ़िल्टरिंग फ्रेमवर्क के तहत एकीकृत करते हैं।

मूल अवधारणा (Core Concept): DD उद्देश्यों को फीचर-फीचर कोरिलेशन (FFC) मैट्रिक्स ( $X^\top X$ ) के आइजनवैल्यूज़ (eigenvalues) पर विशिष्ट फ़िल्टर फंक्शन लागू करने के रूप में व्याख्यायित किया गया है ताकि फीचर-लेबल कोरिलेशन (FLC) मैट्रिक्स ( $X^\top Y$ ) के फ्रीक्वेंसी कंपोनेंट्स को निकाला जा सके।
गणितीय सूत्रीकरण (Mathematical Formulation): सामान्य उद्देश्य को इस प्रकार सूत्रित किया गया है:
$\min_{X_s} \| f(X^\top X)g(X^\top Y) - f(X_s^\top X_s)g(X_s^\top Y_s) \|_F^2$
जहाँ $f(\cdot)$ एक फ़िल्टर फंक्शन है और $g(\cdot)$ एक बाइनरी फंक्शन ( $I$ या $X^\top Y$ ) है।
विधियों का वर्गीकरण:
- लो-फ्रीक्वेंसी मैचिंग (LFM): DM और DC जैसी विधियाँ लो-पास फ़िल्टर के रूप में कार्य करती हैं। वे मुख्य घटकों (principal components/बड़े आइजनवैल्यूज़) को कैप्चर करती हैं, जिसके परिणामस्वरूप सिंथेटिक चित्र मोटे तौर पर रंगीन (coarse-grained colors) और धुंधले टेक्सचर (blurred textures) वाले होते हैं, लेकिन उनमें उच्च इंट्रा-क्लास कंसिस्टेंसी होती है।
- हाई-फ्रीक्वेंसी मैचिंग (HFM): MTT और FrePo जैसी विधियाँ हाई-पास फ़िल्टर के रूप में कार्य करती हैं। वे छोटे आइजनवैल्यूज़ पर जोर देती हैं, सूक्ष्म टेक्सचर (fine-grained textures) को कैप्चर करती हैं और विविधता (diversity) में सुधार करती हैं, जो अक्सर कंसिस्टेंसी की कीमत पर होता है।

B. CFM: करिकुलम फ्रीक्वेंसी मैचिंग

यह पहचानते हुए कि मौजूदा विधियाँ फिक्स्ड फिल्टर्स (केवल एक फ्रीक्वेंसी बैंड सीखना) का उपयोग करती हैं, लेखक डिस्टिलेशन के दौरान फ़िल्टर को गतिशील रूप से समायोजित करने के लिए CFM का प्रस्ताव करते हैं।

डायनेमिक फ़िल्टर डिज़ाइन: CFM एक फ़िल्टर फंक्शन $f(\lambda) = (\lambda + \beta)^{-1}$ $f (λ) = (λ + β)^{- 1}$ का उपयोग करता है। पैरामीटर $\beta$ $β$ फ्रीक्वेंसी बैंड को नियंत्रित करता है:
- बड़ा $\beta$ $\rightarrow$ लो-पास व्यवहार (कंसिस्टेंसी)।
- छोटा $\beta$ $\rightarrow$ हाई-पास व्यवहार (डाइवर्सिटी)।
करिकुलम रणनीति (Curriculum Strategy): $\beta$ को स्थिर रखने के बजाय, CFM ट्रेनिंग बैचों ( $b$ ) के दौरान $\beta$ को धीरे-धीरे कम करने के लिए एक शेड्यूलर का उपयोग करता है:
$\beta_b = \beta^* \frac{1 + \cos(\pi b / B)}{2}$
यह मॉडल को पहले लो-फ्रीक्वेंसी ग्लोबल स्ट्रक्चर (स्थिरता सुनिश्चित करने के लिए) सीखने और फिर धीरे-धीरे हाई-फ्रीक्वेंसी विवरणों (विविधता बढ़ाने के लिए) को शामिल करने की अनुमति देता है।
कार्यान्वयन विवरण (Implementation Details):
- FFC/FLC गणना: इन्हें कनवल्शनल लेयर्स के फीचर मैप्स से कंप्यूट किया जाता है। बड़े फीचर मैप्स को रीशेप करने से होने वाले न्यूमेरिकल ओवरफ्लो से बचने के लिए, लेखक कोवेरियेंस मैट्रिसेस और मीन रिप्रेजेंटेशन का विकल्प के रूप में उपयोग करते हैं।
- एक्सपोनेंशियल मूविंग अपडेटिंग (EMU): मिनी-बैच ट्रेनिंग (बनाम फुल-बैच सैद्धांतिक धारणा) को संभालने के लिए, FFC और FLC सांख्यिकी को बैचों के माध्यम से मूविंग एवरेज का उपयोग करके अपडेट किया जाता है।
- लॉस फंक्शन: यह एक फ़िल्टर-मैचिंग लॉस, एक सिग्नल-मैचिंग लॉस और एक मानक क्लासिफिकेशन लॉस को जोड़ता है।

3. मुख्य योगदान (Key Contributions)

UniDD फ्रेमवर्क: विविध DD उद्देश्यों को FFC और FLC मैट्रिसेस पर स्पेक्ट्रल फ़िल्टरिंग समस्याओं के रूप में एकीकृत करने वाला पहला सैद्धांतिक ढांचा, जो यह प्रकट करता है कि DD मौलिक रूप से एक फ्रीक्वेंसी-मैचिंग समस्या है।
फ़िल्टर लक्षण वर्णन (Filter Characterization): मौजूदा विधियों का लो-फ्रीक्वेंसी (ग्लोबल/कलर) और हाई-फ्रीक्वेंसी (टेक्सचर/डाइवर्सिटी) मैचर्स में एक कठोर वर्गीकरण, जो उनकी संबंधित खूबियों और कमजोरियों (जैसे, क्यों DM छवियों को धुंधला करता है जबकि MTT टेक्सचर को सुरक्षित रखता है) की व्याख्या करता है।
CFM एल्गोरिदम: एक नवीन DD विधि जो लो- और हाई-फ्रीक्वेंसी जानकारी को गतिशील रूप से संतुलित करने के लिए करिकुलम रणनीति का उपयोग करके फिक्स्ड फिल्टर्स की सीमा को दूर करती है, जिससे बेहतर सिंथेटिक डेटा गुणवत्ता प्राप्त होती है।
व्यापक सत्यापन (Comprehensive Validation): व्यापक प्रयोग जो दर्शाते हैं कि CFM छोटे पैमाने (CIFAR-10/100) और बड़े पैमाने (ImageNet-1K) के डेटासेट पर स्टेट-ऑफ-द-आर्ट बेसलाइन्स से बेहतर प्रदर्शन करता है, और इसमें बेहतर क्रॉस-आर्किटेक्चर जनरलाइजेशन क्षमता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने विभिन्न बैकबोन (ConvNet, ResNet-18/101) का उपयोग करके CIFAR-10/100, Tiny-ImageNet और ImageNet-1K पर CFM का मूल्यांकन किया।

CIFAR-10/100 पर प्रदर्शन: CFM ने उन्नत बेसलाइन्स (DM, DC, MTT, FrePo, SRe2L, G-VBSM) को लगातार पछाड़ा।
- उदाहरण: CIFAR-10 पर 50 IPC और ResNet-18 के साथ, CFM ने 82.3% सटीकता प्राप्त की, जो अगले सर्वश्रेष्ठ (MTT 71.7%) से काफी अधिक है।
बड़े पैमाने के डेटासेट पर प्रदर्शन:
- Tiny-ImageNet: CFM ने औसतन DWA से ~3% बेहतर प्रदर्शन किया।
- ImageNet-1K: CFM ने IPC=50 और IPC=100 के लिए ट्रेनिंग-आधारित विधियों में सबसे अच्छा परिणाम दिया, जिसने SRe2L, CDA और RDED को पीछे छोड़ दिया।
क्रॉस-आर्किटेक्चर जनरलाइजेशन: जब ResNet-18 पर प्रशिक्षित किया गया और विविध आर्किटेक्चर (ResNet-50/101, DenseNet, RegNet, ConvNeXt) पर परीक्षण किया गया, तो CFM ने उच्चतम सटीकता बनाए रखी, जो यह सिद्ध करता है कि यह किसी विशिष्ट आर्किटेक्चर के प्रति ओवरफिट होने के बजाय सामान्यीकरण योग्य ज्ञान को एनकोड करता है।
दक्षता (Efficiency): CFM ने G-VBSM की तुलना में कम स्पेस ओवरहेड और SRe2L की तुलना में प्रतिस्पर्धी टाइम ओवरहेड प्रदर्शित किया।
एब्लेशन स्टडीज (Ablation Studies):
- फ़िल्टर-मैचिंग लॉस को हटाने से प्रदर्शन में महत्वपूर्ण गिरावट आई, जो FFC मैट्रिक्स मैचिंग के महत्व की पुष्टि करता है।
- फिक्स्ड फिल्टर्स (शुद्ध लो-पास या शुद्ध हाई-पास) डायनेमिक CFM रणनीति की तुलना में खराब प्रदर्शन करते हैं, जो करिकुलम दृष्टिकोण को प्रमाणित करते हैं।

5. महत्व (Significance)

सैद्धांतिक अंतर्दृष्टि (Theoretical Insight): यह पेपर DD के प्रति प्रतिमान (paradigm) को ह्यूरिस्टिक ऑब्जेक्टिव डिज़ाइन से स्पेक्ट्रल विश्लेषण की ओर स्थानांतरित करता है। यह एक सिद्धांतपूर्ण व्याख्या प्रदान करता है कि विभिन्न विधियाँ अलग-अलग व्यवहार क्यों करती हैं (जैसे, क्यों कुछ छवियां धुंधली बनाती हैं जबकि अन्य शोर वाली/नोइजी होती हैं)।
व्यावहारिक प्रभाव (Practical Impact): CFM पेश करके, यह पेपर डेटासेट डिस्टिलेशन के लिए एक मजबूत, सामान्यीकरण योग्य समाधान प्रदान करता है जो ImageNet-1K जैसे बड़े पैमाने के, जटिल डेटासेट पर भी प्रभावी ढंग से काम करता है, जहाँ पिछली विधियाँ अक्सर संघर्ष करती हैं।
भविष्य की दिशा (Future Direction): यह फ्रेमवर्क वर्तमान सुपरवाइज्ड इमेज क्लासिफिकेशन के दायरे से आगे बढ़कर अनसुपरवाइज्ड और मल्टी-मोडल डेटासेट डिस्टिलेशन पर स्पेक्ट्रल फ़िल्टरिंग अवधारणाओं को लागू करने के मार्ग खोलता है।