💻 computer science

IMS3: Breaking Distributional Aggregation in Diffusion-Based Dataset Distillation

यह शोध पत्र IMS3 का प्रस्ताव करता है, जो एक डिफ्यूजन-आधारित डेटासेट डिस्टिलेशन फ्रेमवर्क है जो जनरेटिव लाइकलीहुड (generative likelihood) और डिस्क्रिमिनेटिव यूटिलिटी (discriminative utility) के बीच के मिसअलाइनमेंट को हल करने के लिए इनवर्जन-मैचिंग फाइन-ट्यूनिंग (Inversion-Matching fine-tuning) और सिलेक्टिव सबग्रुप सैंपलिंग (Selective Subgroup Sampling) को जोड़ता है, जिससे सैंपल विविधता और इंटर-क्लास सेपरेबिलिटी (inter-class separability) को बढ़ाकर अत्याधुनिक प्रदर्शन प्राप्त किया जा सके।

मूल लेखक: Chenru Wang, Yunyi Chen, Zijun Yang, Joey Tianyi Zhou, Chi Zhang

प्रकाशित 2026-03-17

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chenru Wang, Yunyi Chen, Zijun Yang, Joey Tianyi Zhou, Chi Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक मास्टर शेफ हैं जो एक नए प्रशिक्षु (apprentice) को एक जटिल व्यंजन, जैसे कि एक परफेक्ट बीफ वेलिंगटन (Beef Wellington) बनाना सिखाने की कोशिश कर रहे हैं। आपके पास 10,000 कुकबुक्स (मूल डेटासेट) का एक विशाल पुस्तकालय है। लेकिन आपके प्रशिक्षु की रसोई बहुत छोटी है, और वह एक बार में केवल कुछ ही रेसिपी कार्ड रख सकता है।

डेटासेट डिस्टिलेशन (Dataset Distillation) उन 10,000 कुकबुक्स को केवल 10 बेहतरीन रेसिपी कार्डों में समेटने की कला है, जो प्रशिक्षु को वह सब कुछ सिखा दें जो उसे जानने की आवश्यकता है।

लंबे समय तक, शेफ (AI शोधकर्ताओं) ने यह करने की कोशिश की कि सबसे "औसत" (average) रेसिपी चुनी जाएं। लेकिन हाल ही में, उन्होंने एक जादु적인, जनरेटिव AI (एक डिफ्यूजन मॉडल) का उपयोग करके शून्य से नई, बेहतरीन रेसिपी कार्ड्स बनाना शुरू किया। यह एक बड़ी सफलता थी, लेकिन इसमें एक दोष था: AI "औसत" व्यंजन बनाने में बहुत माहिर था। यह हमेशा एक ही लोकप्रिय बीफ वेलिंगटन के विभिन्न रूप बनाता रहता था, उन अजीब, मसालेदार या 'एज-केस' (edge-case) रेसिपीज़ को अनदेखा कर देता था जो वास्तव में प्रशिक्षु के लिए किसी भी स्थिति को संभालने के लिए सीखना महत्वपूर्ण हैं।

यही वह समस्या है जिसे ImS3 हल करता है। आइए इसे सरल उपमाओं का उपयोग करके समझते हैं:

समस्या: "भीड़भाड़ वाली पार्टी" का प्रभाव (The "Crowded Party" Effect)

कल्पना कीजिए कि AI एक टैक्सी ड्राइवर को सिखाने के लिए शहर का नक्शा बनाने की कोशिश कर रहा है।

पुराना तरीका (Standard Diffusion): AI नक्शा वहां बनाकर तैयार करता है जहां सबसे अधिक लोग रहते हैं। वह डेटा की अधिकता वाले क्षेत्रों (high-density regions) के चारों ओर मोटी, गहरी रेखाएं खींचता है क्योंकि डेटा वहीं मौजूद है।
परिणाम: टैक्सी ड्राइवर डाउनटाउन (शहर के मुख्य क्षेत्र) को तो पूरी तरह से जानता है, लेकिन जैसे ही वह शांत उपनगरों (suburbs) या पेचीदा गलियों में जाने की कोशिश करता है, वह रास्ता भटक जाता है (ये डिसीजन बाउंड्रीज़/decision boundaries हैं)। AI के संदर्भ में, मॉडल समान दिखने वाली श्रेणियों (जैसे गोल्डन रिट्रीवर बनाम लैब्राडोर) के बीच अंतर करने में विफल रहता है क्योंकि उसने कभी "एज केस" (किनारे के मामलों) को नहीं सीखा।

लेखक इसे डिस्ट्रीब्यूशनल एग्रीगेशन (Distributional Aggregation) कहते हैं। AI भीड़ में रहने में बहुत सहज है और नक्शे के अकेले, महत्वपूर्ण स्थानों को अनदेखा कर देता है।

समाधान: ImS3 (इन्वर्जन-मैचिंग + सिलेक्टिव सबग्रुप सैंपलिंग)

लेखक इस नक्शे को ठीक करने के लिए दो-चरणीय "जादुई ट्रिक" का प्रस्ताव देते हैं।

चरण 1: "पीछे की ओर चलना" (Inversion-Matching)

उपमा: कल्पना कीजिए कि आप एक भीड़भाड़ वाली पार्टी में चल रहे हैं। यदि आप आगे बढ़ते हैं, तो आप स्वाभाविक रूप से भीड़ के बीच में रहते हैं। लेकिन यदि आप उसी रास्ते पर पीछे की ओर चलने की कोशिश करते हैं, तो आप लड़खड़ा सकते हैं और कमरे के किनारों, दीवारों और शांत कोनों की ओर विचलित हो सकते हैं।

यह कैसे काम करता है:

AI एक वास्तविक छवि लेता है (जैसे कुत्ते की फोटो)।
यह उसे "अन-डिफ्यूज़" (un-diffuse) करने की कोशिश करता है, मूल शोर (noise) को खोजने के लिए पीछे की ओर काम करता है।
गणित के एक गुण के कारण, यह "पीछे की ओर का रास्ता" स्वाभाविक रूप रूप से डेटा स्पेस के खाली, शांत कोनों (low-density areas) की ओर झुक जाता है।
समाधान: लेखक AI को इन "पीछे की ओर" के रास्तों पर ध्यान देने के लिए मजबूर करते हैं। वे AI से कहते हैं: "हे, तुम आमतौर पर शांत कोनों को अनदेखा करते हो। लेकिन देखो कि जब तुम पीछे की ओर चले थे तो तुम कहां विचलित हुए थे! चलो उन जगहों को भी सीखते हैं।"

यह सुनिश्चित करता है कि AI केवल "औसत" कुत्ते को याद न करे; यह अजीब कोणों, छायाओं और दुर्लभ नस्लों को भी सीखता है जो परिभाषा के किनारे पर स्थित हैं।

चरण 2: "स्मार्ट सेलेक्टर" (Selective Subgroup Sampling)

उपमा: कल्पना कीजिए कि AI ने "बीफ वेलिंगटन" के लिए 100 अलग-अलग रेसिपी कार्ड तैयार किए हैं। वे सभी अच्छे दिखते हैं, लेकिन उनमें से कुछ एक-दूसरे के बहुत समान हैं, और कुछ बहुत अधिक "शेफर्ड पाई" (एक अलग श्रेणी) जैसे दिखते हैं। आपको प्रशिक्षु को देने के लिए 10 सर्वश्रेष्ठ कार्ड चुनने की आवश्यकता है।

यह कैसे काम करता है:

AI सिंथेटिक छवियों के कई समूह (उम्मीदवार) बनाता है।
केवल यह देखने के बजाय कि कौन सा "सुंदर" दिखता है, स्मार्ट सेलेक्टर दो चीजें जांचता है:
- प्रतिनिधित्व (Representativeness): क्या यह समूह वास्तविक श्रेणी जैसा दिखता है? (क्या यह वास्तव में एक असली बीफ वेलिंगटन है?)
- पृथक्करण (Separation): क्या यह समूह अन्य श्रेणियों से स्पष्ट रूप से भिन्न है? (क्या यह निश्चित रूप से शेफर्ड पाई नहीं है?)
यह उस विशिष्ट समूह को चुनता है जो सही संतुलन बनाता है: सटीक होने के लिए वास्तविक चीज़ के पर्याप्त करीब, लेकिन अन्य श्रेणियों से अलग होने के लिए पर्याप्त दूर।

परिणाम

इन दोनों चरणों को जोड़कर, ImS3 एक ऐसा डिस्टिल्ड डेटासेट बनाता है जो है:

अधिक व्यापक (Broader): यह पूरे नक्शे को कवर करता है, न कि केवल भीड़भाड़ वाले डाउनटाउन को।
अधिक स्पष्ट (Sharper): विभिन्न श्रेणियों के बीच की रेखाएं स्पष्ट और विशिष्ट हैं।

वास्तविक दुनिया में:
जब उन्होंने ImageWoof (कुत्तों की नस्लों का एक कठिन परीक्षण) जैसे डेटासेट्स पर इसका परीक्षण किया, तो उनकी विधि ने एक छात्र AI को पिछले तरीकों की तुलना में बहुत तेज़ी से और अधिक सटीकता से सीखने में सक्षम बनाया। यह प्रशिक्षु को रेसिपी कार्डों का एक ऐसा सेट देने जैसा था जिसमें बुनियादी बातों से लेकर सबसे कठिन मामलों तक, हर संभव खाना पकाने की स्थिति शामिल थी, जिसके परिणामस्वरूप रिकॉर्ड समय में एक मास्टर शेफ तैयार हुआ।

सारांश:

पुराना AI: "मैं बस व्यस्त सड़कों को बनाऊंगा।" (किनारों को छोड़ देता है)।
ImS3: "आइए शांत गलियों को खोजने के लिए पीछे की ओर चलें, और फिर उन बेहतरीन नक्शा टुकड़ों को चुनें जो मोहल्लों को स्पष्ट रूप से अलग करते हैं।" (सब कुछ कवर करता है और चीजों को स्पष्ट रखता है)।

यहाँ शोध पत्र "IMS3: Breaking Distributional Aggregation in Diffusion-Based Dataset Distillation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

डेटासेट डिस्टिलेशन (Dataset Distillation) का लक्ष्य एक संक्षिप्त सिंथेटिक डेटासेट को संश्लेषित करना है जो एक मॉडल को बड़े पैमाने के मूल डेटासेट के समान प्रशिक्षण प्रभावकारिता प्राप्त करने में सक्षम बनाता है। यद्यपि डिफ्यूजन-आधारित डेटासेट डिस्टिलेशन डिफ्यूजन मॉडल्स की जनरेटिव शक्ति के कारण एक आशाजनक प्रतिमान (paradigm) के रूप में उभरा है, यह एक मौलिक लक्ष्य विसंगति (goal misalignment) से ग्रस्त है:

जनरेटिव बनाम डिस्क्रिमिनेटिव (Generative vs. Discriminative): डिफ्यूजन मॉडल्स डेटा लाइकलीहुड (likelihood) को अधिकतम करने के लिए अनुकूलित होते हैं, जिससे वे डेटा मैनिफोल्ड के उच्च-घनत्व वाले क्षेत्रों (high-density regions) में नमूनों को केंद्रित करते हैं।
वितरण संबंधी एकत्रीकरण (Distributional Aggregation): हालाँकि, डेटासेट डिस्टिलेशन के लिए एक डिस्क्रिमिनेटिव (discriminative) उद्देश्य की आवश्यकता होती है। प्रभावी वर्गीकरण (classification) निर्णय सीमाओं (decision boundaries) के पास महत्वपूर्ण नमूनों को कैप्चर करने पर निर्भर करता है, जो अक्सर कम-घनत्व वाले क्षेत्रों (low-density regions) में स्थित होते हैं।
परिणाम: मौजूदा डिफ्यूजन-आधारित विधियाँ (जैसे, Minimax Diffusion) ऐसा सिंथेटिक डेटा उत्पन्न करती हैं जो उच्च-घनत्व वाले क्षेत्रों में अत्यधिक एकत्रित होता है, जिससे वे सीमावर्ती क्षेत्रों (boundary regions) को कवर करने में विफल रहते हैं। इसके परिणामस्वरूप डाउनस्ट्रीम क्लासिफायर्स में खराब इंटर-क्लास सेपरेबिलिटी (inter-class separability) और कम सामान्यीकरण (generalization) होता है।

2. कार्यप्रणाली: ImS3 फ्रेमवर्क (Methodology: ImS3 Framework)

लेखक ImS3 का प्रस्ताव करते हैं, जो एक दो-चरणीय फ्रेमवर्क है जिसे वितरण संबंधी एकत्रीकरण (distributional aggregation) को कम करने और डिस्क्रिमिनेटिव विविधता को बढ़ाने के लिए डिज़ाइन किया गया है। यह फ्रेमवर्क फाइन-ट्यूनिंग के लिए इनवर्जन-मैचिंग (Inversion-Matching - IM) और इन्फरेंस के लिए सिलेक्टिव सबग्रुप सैंपलिंग (Selective Subgroup Sampling - S3) से बना है।

A. फाइन-ट्यूनिंग के लिए इनवर्जन-मैचिंग (IM)

यह चरण डिफ्यूजन इनवर्जन की अंतर्निहित अस्थिरता (instability) का लाभ उठाकर कम-घनत्व वाले क्षेत्रों में कवरेज की कमी को संबोधित करता है।

अंतर्दृष्टि (Insight): जबकि डिफ्यूजन इनवर्जन (एक वास्तविक छवि को शोर/noise में वापस ट्रेस करना) सैद्धांतिक रूप से नियतात्मक (deterministic) है, यह उच्च-आयामी स्थानों में स्वाभाविक रूप से अस्थिर है। छोटी त्रुटियाँ संचित होती हैं, जिससे इनवर्जन प्रक्षेपवक्र (trajectories) उच्च-घनत्व वाले मैनिफोल्ड से दूर कम-घनत्व वाले क्षेत्रों की ओर विचलित हो जाते हैं।
रणनीति: इस अस्थिरता को दोष के रूप में देखने के बजाय, ImS3 इसका उपयोग करता है। यह विधि फाइन-ट्यूनिंग के दौरान मानक डिनोइजिंग प्रक्षेपवक्र को इनवर्जन प्रक्षेपवक्रम के साथ संरेखित करती है।
लॉस फंक्शन (Loss Function): मॉडल को एक संयुक्त लॉस का उपयोग करके फाइन-ट्यून किया जाता है:
1. स्टैंडर्ड डिफ्यूजन लॉस ( $\mathcal{L}_{Diff}$ ): उच्च-घनत्व वाले क्षेत्रों में उच्च-फिडेलिटी जनरेशन सुनिश्चित करता है।
2. इनवर्जन-मैचिंग लॉस ( $\mathcal{L}_{IM}$ ): कोसाइन सिमिलरिटी ( $1 - \sigma(z_t, z_t^{inv})$ ) का उपयोग करके समान टाइमस्टेप $t$ पर शोर लेटेंट $z_t$ को उसके इनवर्जन समकक्ष $z_t^{inv}$ के साथ संरेखित करता है।
प्रभाव: यह संरेखण एक सुधारात्मक संकेत (corrective signal) के रूप में कार्य करता है, जो मॉडल को उच्च-घनत्व वाले नमूनों की गुणवत्ता से समझौता किए बिना, कम-प्रतिनिधित्व वाले, कम-घनत्व वाले क्षेत्रों (निर्णय सीमाओं के पास) में नमूने उत्पन्न करने के लिए प्रोत्साहित करता है।
दक्षता (Efficiency): लेखक केवल हल्के एडैप्टर्स (adapters) को अपडेट करने के लिए Difffit (पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग) का उपयोग करते हैं, जिससे कंप्यूटेशनल लागत कम रहती है।

B. सिलेक्टिव सबग्रुप सैंपलिंग (S3)

यह चरण सैंपलिंग प्रक्रिया के दौरान अंतर-वर्ग सेपरेबिलिटी (inter-class separability) की कमी को संबोधित करता है।

समस्या: मानक डिफ्यूजन सैंपलिंग वर्गों के बीच संबंधों को अनदेखा करते हुए स्वतंत्र रूप से वर्गों को उत्पन्न करती है, जिससे वर्गों के बीच ओवरलैपिंग फीचर वितरण हो सकता है।
रणनीति: S3 एक ट्रेनिंग-फ्री (training-free) सैंपलिंग तंत्र है। प्रत्येक वर्ग के लिए, यह सिंथेटिक नमूनों के कई कैंडिडेट सबग्रुप उत्पन्न करता है।
चयन मानदंड (Selection Criteria): यह एक फ्रोजन फीचर एक्सट्रैक्टर के माध्यम से गणना किए गए दो पूरक मेट्रिक्स के आधार पर इष्टतम सबग्रुप का चयन करता है:
1. प्रतिनिधित्व (Representativeness): सबग्रुप का सेंट्रॉइड (centroid) वास्तविक डेटा सेंट्रॉइड के करीब होना चाहिए (यह सुनिश्चित करना कि सिंथेटिक डेटा वास्तविक क्लास वितरण को कैप्चर करता है)।
2. विशिष्टता (Distinctiveness): सबग्रुप का सेंट्रॉइड अन्य वर्गों के सेंट्रॉइड से दूर होना चाहिए (यह सुनिश्चित करना कि इंटर-क्लास सेपरेशन बना रहे)।
अनुकूलन (Optimization): चयन एक ऑब्जेक्टिव फंक्शन $\mathcal{L}_{S^3}$ को कम करता है जो वास्तविक सेंट्रॉइड्स के निकटता और अन्य क्लास सेंट्रॉइड्स से अलगाव के बीच संतुलन बनाता है। इसे ग्रीडी सर्च (greedy search) के माध्यम से हल किया जाता है।

3. मुख्य योगदान (Key Contributions)

वितरण संबंधी एकत्रीकरण की पहचान: शोध पत्र औपचारिक रूप से डिफ्यूजन-आधारित डिस्टिलेशन की उच्च-घनत्व वाले क्षेत्रों में अत्यधिक केंद्रित होने की प्रवृत्ति का विश्लेषण और पहचान करता है, जो महत्वपूर्ण सीमावर्ती नमूनों की उपेक्षा करता है।
इनवर्जन-मैचिंग (IM): एक नवीन फाइन-ट्यूनिंग रणनीति जो कम-घनत्व वाले क्षेत्रों की ओर मॉडल को निर्देशित करने के लिए डिफ्यूजन इनवर्जन की अस्थिरता का उपयोग करती है, जिससे वितरण कवरेज का विस्तार होता है।
सिलेक्टिव सबग्रुप सैंपलिंग (S3): एक ट्रेनिंग-फ्री सैंपलिंग रणनीति जो सेंट्रॉइड ज्योमेट्री के आधार पर इष्टतम सबग्रुप चुनकर स्पष्ट रूप से इंटर-क्लास सेपरेबिलिटी और रिप्रेजेंटेटिवनेस को अनुकूलित करती है।
स्टेट-ऑफ-द-आर्ट प्रदर्शन: संयुक्त ImS3 फ्रेमवर्क कई डेटासेट और आर्किटेक्चर पर श्रेष्ठ परिणाम प्राप्त करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने ImageWoof (फाइन-ग्रेन्ड), ImageNette, ImageIDC, और ImageNet-100 एवं ImageNet-1K के सबसेट्स सहित उच्च-रिज़ॉल्यूशन बेंचमार्क पर ImS3 का मूल्यांकन किया।

प्रदर्शन: ImS3 विभिन्न इमेज प्रति क्लास (IPC) सेटिंग्स (जैसे, IPC=10, 50, 100) में स्टेट-ऑफ-द-आर्ट बेसलाइन्स (Minimax, D4M, D3HR, और SRe2L जैसे ऑप्टिमाइज़ेशन-आधारित तरीकों सहित) को लगातार पछाड़ता है।
- उदाहरण: ImageWoof के साथ IPC=10 और ResNetAP-10 पर, ImS3 ने 41.8% सटीकता प्राप्त की, जो Minimax (35.7%) और DDVLCP (39.5%) से अधिक है।
एब्लेशन स्टडीज (Ablation Studies):
- IM और S3 दोनों व्यक्तिगत रूप से प्रदर्शन लाभ में योगदान देते हैं।
- IM कम-घनत्व वाले क्षेत्रों के कवरेज में सुधार करता है।
- S3 क्लास सेपरेबिलिटी को बढ़ाता है।
- दोनों का संयोजन सर्वोत्तम परिणाम देता है।
विज़ुअलाइज़ेशन: t-SNE विज़ुअलाइज़ेशन दिखाते हैं कि ImSne बेसलाइन्स की तुलना में टाइट इंट्रा-क्लास क्लस्टर और स्पष्ट इंटर-क्लास सेपरेशन उत्पन्न करता है, जो बेहतर वितरण कवरेज और डिस्क्रिमिनेटिव संरचना की पुष्टि करता है।
दक्षता: विधि कंप्यूटेशनल रूप से कुशल है, जिसमें फाइन-ट्यूनिंग में केवल ~8 एपॉक्स लगते हैं और S3 के लिए किसी अतिरिक्त प्रशिक्षण की आवश्यकता नहीं होती है।

5. महत्व (Significance)

यह शोध पत्र जनरेटिव मॉडलिंग और डिस्क्रिमिनेटिव उपयोगिता के बीच की खाई को पाटकर डेटासेट डिस्टिलेशन के क्षेत्र में एक महत्वपूर्ण योगदान देता है।

प्रतिमान परिवर्तन (Paradigm Shift): यह इस धारणा को चुनौती देता है कि डिस्टिलेशन के लिए डिफ्यूजन मॉडल्स को पूरी तरह से जनरेटिव होना चाहिए, यह दिखाते हुए कि इनवर्जन अस्थिरता का जानबूझकर उपयोग करने से डिस्क्रिमिनेटिव कार्यों में सुधार हो सकता है।
व्यावहारिकता: प्रस्तावित विधियाँ (IM और S3) व्यावहारिक, स्केलेबल हैं और उन्हें पूरे बैकबोन के जटिल पुन: प्रशिक्षण की आवश्यकता नहीं है, जिससे वे बड़े पैमाने के अनुप्रयोगों के लिए उपयुक्त बनती हैं।
सामान्यीकरण (Generalization): यह सुनिश्चित करके कि सिंथेटिक डेटा निर्णय सीमाओं को कवर करता है और क्लास सेपरेशन बनाए रखता है, ImS3 ऐसे डिस्टिल्ड डेटासेट बनाता है जो अनदेखे डेटा और विविध मॉडल आर्किटेक्चर (ResNet, ViT, EfficientNet) के लिए बेहतर सामान्यीकरण करते हैं।

संक्षेप में, ImS3 डिफ्यूजन-आधारित डिस्टिलेशन में "वितरण संबंधी एकत्रीकरण" (distributional aggregation) की बाधा को प्रभावी ढंग से तोड़ता है, जो कुशल डीप लर्निंग के लिए कॉम्पैक्ट, उच्च-गुणवत्ता वाले डेटासेट को संश्लेषित करने के लिए एक मजबूत समाधान प्रदान करता है।