💻 computer science

Learnability-Guided Diffusion for Dataset Distillation

यह शोध पत्र लर्नैबिलिटी-गाइडेड डिफ्यूजन (LGD) का प्रस्ताव करता है, जो एक नवीन डेटासेट डिस्टिलेशन फ्रेमवर्क है जो प्रशिक्षण संकेत की अतिरेकता (redundancy) को कम करने और बड़े पैमाने के बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त करने के लिए लर्नैबिलिटी स्कोर के आधार पर क्रमिक रूप से सिंथेटिक डेटा उत्पन्न करता है।

मूल लेखक: Jeffrey A. Chan-Santiago, Mubarak Shah

प्रकाशित 2026-04-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jeffrey A. Chan-Santiago, Mubarak Shah

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक छात्र को विभिन्न प्रकार के कुत्तों को पहचानना सिखाने की कोशिश कर रहे हैं।

पुराना तरीका (पारंपरिक डेटासेट डिस्टिलेशन - Traditional Dataset Distillation):
आमतौर पर, शोधकर्ता 10,000 कुत्तों की तस्वीरों की पूरी लाइब्रेरी का प्रतिनिधित्व करने के लिए 50 तस्वीरों की एक छोटी "चीट शीट" बनाने की कोशिश करते हैं। वे इन तस्वीरों को बनाने के लिए एक स्मार्ट AI जनरेटर का उपयोग करते हैं।

समस्या: पुराने तरीके ऐसे शिक्षक की तरह हैं जो, छात्र को विविध उदाहरण देने के बजाय, गलती से उसे केवल एक ही गोल्डन रिट्रीवर की 50 तस्वीरें थमा देते हैं, जिनमें बस रोशनी का थोड़ा अंतर होता है।
परिणाम: छात्र गोल्डन रिट्रीवर को पूरी तरह से पहचानना सीख जाता है लेकिन जब वह पूडल (Poodle) या बुलडॉग (Bulldog) देखता है, तो बुरी तरह विफल हो जाता है। "चीट शीट" अनावश्यक (redundant) जानकारी से भरी होती है। यह एक पाठ्यपुस्तक के एक ही पन्ने को 50 बार पढ़ने जैसा है; आप पहली कुछ बार पढ़ने के बाद कुछ भी नया नहीं सीख रहे हैं। पेपर का दावा है कि मौजूदा तरीके 80-90% अनावश्यक हैं।

नया तरीका (लर्नैबिलिटी-गाइडेड डिफ्यूजन - Learnability-Guided Diffusion):
लेखक एक स्मार्ट दृष्टिकोण प्रस्तावित करते हैं जिसे लर्नैबिलिटी-गाइडेड डिफ्यूजन (LGD) कहा जाता है। इसे एक व्यक्तिगत ट्यूटर (Personalized Tutor) के रूप में सोचें जो चरण-दर-चरण एक पाठ्यक्रम (Curriculum) बनाता है।

यह इस प्रकार काम करता है, एक सरल उपमा (Analogy) का उपयोग करते हुए:

1. "बिल्कुल सही" पाठ्यक्रम (The "Just-Right" Curriculum)

एक साथ सभी 50 तस्वीरें बनाने के बजाय, AI डेटासेट को छोटे बैचों (इन्क्रिमेंट्स) में बनाता है।

चरण 1: यह आसान तस्वीरों (जैसे, गोल्डन रिट्रीवर की स्पष्ट तस्वीरें) के एक छोटे बैच के साथ शुरू होता है। यह छात्र मॉडल को इन पर तब तक प्रशिक्षित करता है जब है तक कि छात्र इनमें महारत हासिल न कर ले।
चरण 2: अब, AI पूछता है: "यह छात्र अभी भी किस चीज़ में संघर्ष कर रहा है?"
- यदि छात्र गोल्डन रिट्रीवर को जानता है लेकिन पूडल को देखकर भ्रमित हो जाता है, तो AI विशेष रूप से पूडल की नई तस्वीरें बनाता है।
- यह और अधिक गोल्डन रिट्रीवर नहीं बनाता क्योंकि छात्र उन्हें पहले से ही जानता है (जो कि अनावश्यक होगा)।
चरण 3: छात्र पूडल को सीखता है। AI फिर पूछता है, "आगे क्या?" शायद छात्र धुंधली तस्वीरों या बारिश में कुत्तों को पहचानने में संघर्ष कर रहा है। AI उन विशिष्ट कठिन उदाहरणों को उत्पन्न करता है।

2. दो "दिमाग" (The Two "Brains" - असली सीक्रेट)

यह सुनिश्चित करने के लिए कि AI कुछ भी बेतुका न बना दे (जैसे तीन पैरों वाला कुत्ता), यह नई छवियां बनाने के लिए दो "मस्तिष्कों" का उपयोग करता है:

मस्तिष्क A (वर्तमान छात्र): यह मस्तिष्क देखता है कि छात्र अभी तक क्या नहीं जानता है। यह कहता है, "हमें इसके और उदाहरणों की आवश्यकता है!" (यही लर्नैबिलिटी वाला हिस्सा है)।
मस्तिष्क B (विशेषज्ञ शिक्षक): यह एक सुपर-स्मार्ट मॉडल है जिसे पूरे डेटासेट पर प्रशिक्षित किया गया है। यह गुणवत्ता नियंत्रण फिल्टर के रूप में कार्य करता है। यह कहता है, "रुको, वह नई तस्वीर बिल्ली जैसी दिख रही है, कुत्ते जैसी नहीं। इसे ठीक करो।"
जादू: AI केवल ऐसी छवियां बनाता है जो छात्र को चुनौती देने के लिए पर्याप्त कठिन हों और विशेषज्ञ शिक्षक द्वारा वैध के रूप में पहचाने जाने के लिए पर्याप्त आसान हों। यह सुनिश्चित करता है कि प्रत्येक नई तस्वीर छात्र के ज्ञान में कुछ नया जोड़ती है।

3. "विविधता" का दबाव (The "Diversity" Push)

कल्पना कीजिए कि छात्र ने धूप वाले पार्कों में गोल्डन रिट्रीवर को पहचानना सीख लिया है। AI अनजाने में और अधिक धूप वाले पार्क की तस्वीरें बनाना जारी रख सकता है।

इसे ठीक करने के लिए, यह एक "प्रतिकर्षण" (Repulsion) बल जोड़ता है। यदि AI धूप वाले पार्क की फोटो बनाने की कोशिश करता है, तो इसे दूर धकेल दिया जाता है क्योंकि छात्र के पास पहले से ही ऐसी कई तस्वीरें हैं। यह AI को मजबूर करता है कि वह बारिश में कुत्ते, या दौड़ते हुए कुत्ते, या सोते हुए कुत्ते की तस्वीरें बनाए। यह सुनिश्चित करता है कि "चीट शीट" सभी कोणों को कवर करे।

परिणाम

इस "करिकुलम लर्निंग" दृष्टिकोण का उपयोग करके:

कम बर्बादी: उन्होंने "अनावश्यकता" (बर्बाद प्रयास) को लगभग 40% तक कम कर दिया।
बेहतर प्रदर्शन: इस तरह से बनाए गए छोटे डेटासेट ImageNet (1,000 वस्तु श्रेणियों का एक विशाल संग्रह) जैसे विशाल डेटासेट पर पुराने तरीकों की तुलना में बेहतर प्रदर्शन करते हैं।
दक्षता (Efficiency): यह पूरी किताब को दोबारा पढ़ने के बजाय केवल उन विषयों पर ध्यान केंद्रित करके फाइनल परीक्षा की तैयारी करने जैसा है जिनमें आप कमजोर हैं।

संक्षेप में:
पुराने तरीकों ने पूरी लाइब्रेरी को एक ही पन्ने में संकुचित करने की कोशिश की, जिससे एक धुंधला और दोहराव वाला मिश्रण बना।
यह नया तरीका एक स्मार्ट ट्यूटर की तरह काम करता है जो एक बार में एक अध्याय के रूप में अध्ययन मार्गदर्शिका (Study Guide) बनाता है, लगातार यह जांचता रहता है कि छात्र ने क्या सीखा है और केवल उन विशिष्ट, कठिन उदाहरणों को जोड़ता है जिनकी उसे अगले चरण में महारत हासिल करने के लिए आवश्यकता है।

यहाँ जेफरी ए. चान-सैंटियागो और मुबारक शाह के शोध पत्र "Learnability-Guided Diffusion for Dataset Distillation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

डेटासेट डिस्टिलेशन (Dataset Distillation) का लक्ष्य एक बड़े वास्तविक डेटासेट ( $D_T$ ) से एक छोटा सिंथेटिक डेटासेट ( $D_S$ ) तैयार करना है, ताकि $D_S$ पर प्रशिक्षित मॉडल $D_T$ पर प्रशिक्षित मॉडलों के समान प्रदर्शन प्राप्त कर सकें।

मुख्य मुद्दा: मौजूदा विधियों में अतिरेक (Redundancy in Existing Methods)
वर्तमान अत्याधुनिक विधियाँ (जैसे, इन्फ्लुएंस-गाइडेड डिफ्यूजन, मिनिमैक्स डिफ्यूजन) आमतौर पर दृश्य विविधता (visual diversity) या औसत प्रशिक्षण प्रक्षेपवक्र (average training trajectories) (पूरे डेटासेट में ग्रेडिएंट्स को मैच करना) के लिए अनुकूलन (optimize) करती हैं। लेखक एक महत्वपूर्ण दोष की पहचान करते हैं: ये दृष्टिकोण अतिरेकपूर्ण प्रशिक्षण संकेत (redundant training signals) उत्पन्न करते हैं।

अनुभवजन्य निष्कर्ष (Empirical Finding): जब मौजूदा डिस्टिल्ड डेटासेट्स को अलग-अलग उप-समूहों (disjoint subsets) में विभाजित किया जाता है, तो कोई भी एकल उप-समूह अन्य उप-समूहों में पाए जाने वाले प्रशिक्षण संकेत का 80-90% हिस्सा कैप्चर कर लेता है।
परिणाम: इन डेटासेट्स पर प्रशिक्षित मॉडल ओवरलैपिंग जानकारी सीखते हैं न कि पूरक ज्ञान (complementary knowledge)। अनुकूलन प्रक्रिया "मध्यम-शक्ति" वाले ग्रेडिएंट्स की ओर अभिसरित (converge) हो जाती है जो किसी विशिष्ट प्रशिक्षण चरण के लिए उपयोगी नहीं होते, जिससे सीखने की स्वाभाविक प्रगति (कोर्स फीचर्स से लेकर सूक्ष्म विवरणों तक) का लाभ उठाने में विफल रहती है।

2. कार्यप्रणाली: लर्नैबिलिटी-गाइडेड डिफ्यूजन (Methodology: Learnability-Guided Diffusion - LGD)

लेखक एक स्थिर, वन-शॉट संश्लेषण (one-shot synthesis) से एक क्रमिक, लर्नैबिलिटी-ड्रिवन फ्रेमवर्क (incremental, learnability-driven framework) की ओर एक प्रतिमान परिवर्तन (paradigm shift) का प्रस्ताव करते हैं। मुख्य विचार प्रत्येक नए बैच के नमूनों को मॉडल की वर्तमान स्थिति पर आधारित करके उन्हें चरण-दर-चरण निर्मित करना है, ताकि यह सुनिश्चित किया जा सके कि वे नया लर्निंग सिग्नल प्रदान करें।

A. क्रमिक डिस्टिलेशन फॉर्मूलेशन (Incremental Distillation Formulation)

डिस्टिल्ड डेटासेट $D_S$ को $K$ विलगित वृद्धियों (disjoint increments) $\{I_1, I_2, ..., I_K\}$ में विभाजित किया गया है।

आरंभीकरण (Initialization): एक छोटे सीड डेटासेट (जैसे, 10 Images Per Class - IPC) के साथ शुरू करें।
पुनरावृत्ति लूप (Iterative Loop):
- संचयी डेटासेट $D_{i-1} = \bigcup_{k=1}^{i-1} I_k$ पर एक मॉडल $\theta_{i-1}$ को प्रशिक्षित करें।
- अगली वृद्धि $I_i$ को विशेष रूप से $\theta_{i-1}$ के लिए लर्निंग गेन (learning gain) को अधिकतम करने के लिए संश्लेषित करें।
- डेटासेट को अपडेट करें और दोहराएं।

B. लर्नैबिलिटी स्कोर और ऑब्जेक्टिव (Learnability Score & Objective)

यह निर्धारित करने के लिए कि कौन से नमूने वर्तमान मॉडल के लिए सबसे उपयोगी हैं, लेखक एक लर्नैबिलिटी स्कोर $S(x, y)$ को परिभाषित करते हैं:
$S(x, y) = \mathcal{L}(\theta_{i-1}, x, y) - \omega \cdot \mathcal{L}(\theta^*, x, y)$

$\mathcal{L}(\theta_{i-1}, x, y)$ : वर्तमान लर्नर पर लॉस। उच्च लॉस इंगित करता है कि नमूना वर्तमान में मॉडल के लिए कठिन/कठिन है।
$\mathcal{L}(\theta^*, x, y)$ : एक संदर्भ मॉडल (reference model) (पूरे डेटासेट पर प्रशिक्षित) पर लॉस। यह एक रेगुलराइज़र के रूप में कार्य करता है ताकि नमूना सिमेंटिक रूप से वैध और सीखने योग्य (आउट-ऑफ-डिस्ट्रीब्यूशन नहीं) बना रहे।
लक्ष्य: ऐसे नमूने उत्पन्न करना जो वर्तमान मॉडल के लिए कठिन हों (उच्च $\mathcal{L}(\theta_{i-1})$ ) लेकिन संदर्भ मॉडल के लिए आसान/वैध हों (कम $\mathcal{L}(\theta^*)$ )। यह "लर्नेबल गैप" को लक्षित करता है।

C. लर्नैबिलिटी-गाइडेड डिफ्यूजन सैंपलिंग (Learnability-Guided Diffusion Sampling)

संश्लेषण प्रक्रिया एक डिफ्यूजन मॉडल (DiT) का उपयोग करती है जो लर्नैबिलिटी स्कोर द्वारा निर्देशित (guided) होता है:

गाइडेंस सिग्नल (Guidance Signal): डिनोइजिंग प्रक्रिया के दौरान, प्रेडिक्टेड नॉइज़ को लर्नैबिलिटी स्कोर के ग्रेडिएंट द्वारा समायोजित किया जाता है:
$\tilde{\epsilon}_\phi = \epsilon_\phi + \lambda \cdot \rho_t \cdot \nabla_{x_t} S(x_t, y)$
यह जनरेशन को डेटा वितरण के उन क्षेत्रों की ओर मोड़ता है जहाँ वर्तमान मॉडल संघर्ष कर रहा है।
विविधता तंत्र (Diversity Mechanism): यह सुनिश्चित करने के लिए कि नए नमूने केवल मौजूदा नमूनों की नकल न करें, एक डेविएशन गाइडेंस (deviation guidance) टर्म जोड़ा गया है, जो उत्पन्न नमूने को पहले से संश्लेषित नमで作ों के मेमोरी बफर से दूर धकेलता है।
चयन (Selection): प्रत्येक लक्षित नमूने के लिए, $\kappa$ उम्मीदवारों (candidates) को जेनरेट किया जाता है। उच्चतम लर्नैबिलिटी स्कोर वाले उम्मीदवार को चुना जाता है, जिससे उच्च गुणवत्ता वाले, गैर-अतिरेकपूर्ण (non-redundant) जुड़ाव सुनिश्चित होते हैं।

3. प्रमुख योगदान (Key Contributions)

लर्नैबिलिटी-ड्रिवन फ्रेमवर्क: एक अभिनव क्रमिक दृष्टिकोण जो डेटासेट डिस्टिलेशन को एक अनुक्रमिक करिकुलम लर्निंग समस्या के रूप में पुनर्गठित करता है, जिससे पूरक (complementary) न कि अतिरेकपूर्ण डेटा उत्पन्न होता है।
लर्नैबिलिटी-गाइडेड डिफ्यूजन (LGD): एक विशिष्ट संश्लेषण एल्गोरिदम जो डिफ्यूजन जनरेशन को वर्तमान मॉडल की लर्निंग फ्रंटियर पर कंडिशन करता है, जिससे इन्फॉर्मेटिवनेस और सिमेंटिक वैधता के बीच संतुलन बनता है।
रेडंडेंसी विश्लेषण: एक डायग्नोस्टिक फ्रेमवर्क जो प्रदर्शित करता है कि मौजूदा विधियाँ 80-90% सिग्नल ओवरलैप से ग्रस्त हैं, जिसे LGD द्वारा 39.1% कम किया गया है।
स्टेट-ऑफ-द-आर्ट प्रदर्शन: उन बड़े पैमाने के डेटासेट्स पर नए रिकॉर्ड स्थापित करना जहाँ पिछली विधियाँ संघर्ष कर रही थीं।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन ImageNette, ImageWoof, और ImageNet-1K पर विभिन्न आर्किटेक्चर (ConvNet-6, ResNet-AP-10, ResNet-18) और IPC बजट (20–100) के माध्यम से किया गया।

प्रदर्शन लाभ (Performance Gains):
- ImageNet-1K (50 IPC): 60.1% सटीकता प्राप्त की, जो SOTA (MGD3 60.2% पर) से मेल खाती है और बेस DiT (52.9%) से काफी बेहतर है।
- ImageNette (100 IPC): 87.2% प्राप्त किया, जो IGD (84.5%) और DiT (78.2%) से बेहतर है।
- ImageWoof (100 IPC): 72.9% प्राप्त किया, जो सबसे अच्छा रिपोर्ट किया गया परिणाम है।
रेडंडेंसी में कमी: क्रॉस-इन्क्रीमेंट वैलिडेशन ने दिखाया कि एक LGD इंक्रीमेंट पर प्रशिक्षित मॉडल का अगले इंक्रीमेंट पर सटीकता काफी कम थी (औसत 57.65% बनाम DiT के लिए 94.7%), जो सिद्ध करता है कि डेटा पूरक है।
प्रशिक्षण गतिशीलता (Training Dynamics):
- लॉस स्पाइक्स (Loss Spikes): नई वृद्धियों को जोड़ने पर LGD ने बड़े लॉस स्पाइक्स दिखाए, जो इंगित करता है कि नया डेटा वास्तव में चुनौतीपूर्ण और सूचनात्मक था।
- करिकुलम प्रभाव (Curriculum Effect): विधि ने स्वाभाविक रूप से एक करिकुलम बनाया जहाँ शुरुआती वृद्धियों ने आसान संरचनाओं को कैप्चर किया और बाद की वृद्धियों ने जटिल, कठिन-से-सीखने वाले फीचर्स पेश किए।
सामान्यीकरण (Generalization): डिस्टिल्ड डेटासेट्स ने मजबूत क्रॉस-आर्किटेक्चर ट्रांसफ़रेबिलिटी दिखाई, जिससे डिस्टिलेशन में उपयोग किए गए आर्किटेक्चर से भिन्न आर्किटेक्चर पर परीक्षण करने पर भी उच्च सटीकता बनी रही।

5. महत्व (Significance)

यह शोध पत्र डेटासेट डिस्टिलेशन में एक मौलिक बाधा को संबोधित करता है: नमूना अतिरेक (sample redundancy)। "औसत ग्रेडिएंट्स को मैच करने" के बजाय "वर्तमान मॉडल की लर्निंग फ्रंटियर को लक्षित करने" पर ध्यान केंद्रित करके, लेखक प्रदर्शित करते हैं कि:

दक्षता (Efficiency): छोटे, गैर-अतिरेकपूर्ण डेटासेट्स बड़े, अतिरेकपूर्ण डेटासेट्स के बराबर या उससे बेहतर प्रदर्शन प्राप्त कर सकते हैं।
स्केलेबिलिटी (Scalability): क्रमिक, करिकुलम-आधारित दृष्टिकोण की अनुमति देता है कि डिस्टिलेशन ImageNet-1K जैसे उच्च-रिज़ॉल्यूशन, बड़े पैमाने के डेटासेट्स पर प्रभावी ढंग से स्केल हो सके, जो पहले डिस्टिल करना कठिन था।
सैद्धांतिक अंतर्दृष्टि (Theoretical Insight): यह डेटासेट डिस्टिलेशन और करिकुलम लर्निंग के बीच एक संबंध स्थापित करता है, जो यह सुझाव देता है कि डेटा का क्रम और कठिनाई, डेटा के अपने स्वरूप जितने ही महत्वपूर्ण हैं।

प्रस्तावित लर्नability-गाइडेड डिफ्यूजन सिंथेटिक डेटा उत्पन्न करने का एक सिद्धांतपूर्ण तरीका प्रदान करता है जो लर्नर के साथ विकसित होता है, जो कुशल और प्रभावी डेटासेट डिस्टिलेशन के लिए एक नया मानक प्रस्तुत करता है।