← नवीनतम पेपर
🤖 AI

PRISM: Diversifying Dataset Distillation by Decoupling Architectural Priors

PRISM एक डेटा डिस्टिलेशन फ्रेमवर्क है जो विविध शिक्षक मॉडलों से आर्किटेक्चरल प्रायर्स (architectural priors) का लाभ उठाने के लिए लॉजिट-मैचिंग और रेगुलराइजेशन उद्देश्यों को अलग करके इंट्रा-क्लास विविधता और सामान्यीकरण को बढ़ाता है, जो ImageNet-1K पर मौजूदा सिंगल- और मल्टी-टीचर विधियों से लगातार बेहतर प्रदर्शन करता है।

मूल लेखक: Brian B. Moser, Shalini Sarode, Federico Raue, Stanislav Frolov, Krzysztof Adamkiewicz, Arundhati Shanbhag, Joachim Folz, Tobias C. Nauen, Andreas Dengel

प्रकाशित 2026-02-24
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Brian B. Moser, Shalini Sarode, Federico Raue, Stanislav Frolov, Krzysztof Adamkiewicz, Arundhati Shanbhag, Joachim Folz, Tobias C. Nauen, Andreas Dengel

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ PRISM पेपर का विवरण दिया गया है, जिसे सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ अनुवादित किया गया है।

बड़ी समस्या: "इको चैंबर" (Echo Chamber) प्रभाव

कल्पना कीजिए कि आप एक छात्र (एक AI) को यह सिखाने की कोशिश कर रहे हैं कि विभिन्न जानवरों को कैसे पहचानना है। उन्हें हजारों असली फोटो दिखाने के बजाय, आप केवल कुछ सिंथेटिक (कृत्रिम) छवियों का एक छोटा, सटीक "चीट शीट" (cheat sheet) बनाना चाहते हैं जिसमें सारा आवश्यक ज्ञान समाहित हो। इसे डेटासेट डिस्टिलेशन (Dataset Distillation) कहा जाता है।

वर्तमान तरीकों (जैसे लोकप्रिय SRe2L) के साथ समस्या यह है कि वे इस चीट शीट को बनाने के लिए केवल एक ही शिक्षक (single teacher) पर निर्भर करते हैं।

इसे ऐसे समझें जैसे आप एक विशिष्ट कला समीक्षक (art critic) से यह बताने के लिए कह रहे हों कि "कुत्ता" कैसा दिखता है।

  • यदि वह समीक्षक केवल गोल्डन रिट्रीवर (Golden Retriever) को पसंद करता है, तो वह हर कुत्ते का वर्णन सुनहरे बालों और लटकते कानों वाले कुत्ते के रूप में करेगा।
  • यदि वे केवल चिहुआहुआ (Chihuahua) को पसंद करते हैं, तो वे हर कुत्ते को छोटा और भोंकने वाला बताएंगे।

चूंकि AI केवल एक व्यक्ति के दृष्टिकोण से सीख रहा है, इसलिए उनके द्वारा बनाई गई "सिंथेटिक" छवियां बोरिंग और एक जैसी (identical) हो जाती हैं। वे सभी एक जैसी दिखती हैं (homogenous)। जब AI इन बोरिंग छवियों से सीखने की कोशिश करता है, तो जब वह किसी ऐसे असली कुत्ते को देखता है जो दिखने में अलग है (जैसे कि ग्रेट डेन), तो वह भ्रमित हो जाता है और सामान्यीकरण (generalize) करने में विफल रहता है।

समाधान: PRISM ("विशेषज्ञों का पैनल")

इस पेपर के लेखक PRISM (PRIors from Diverse Source Models) का प्रस्ताव देते हैं।

एक कला समीक्षक से कुत्ता वर्णित करने के लिए कहने के बजाय, PRISM विभिन्न विशेषज्ञों के एक पैनल से इसे एक साथ वर्णित करने के लिए कहता है।

  • विशेषज्ञ A (एक Logit Teacher) आकार और पहचान (क्या यह एक कुत्ता है?) पर ध्यान केंद्रित करता है।
  • विशेषज्ञ B (एक BN Teacher) बनावट (texture), रोशनी और प्राकृतिक अहसास (क्या यह एक असली फोटो जैसा दिखता है?) पर ध्यान केंद्रित करता है।
  • विशेषज्ञ C पूरी तरह से अलग प्रकार का विशेषज्ञ हो सकता है (जैसे कि एक अलग न्यूरल नेटवर्क आर्किटेक्चर)।

जादुई ट्रिक: डिकपलिंग (Decoupling)
पुराने तरीके में, एक ही विशेषज्ञ को दोनों काम करने पड़ते थे (आकार और बनावट दोनों का वर्णन करना)। PRISM में, वे इन कामों को डिकपल (अलग) कर देते हैं।

  • वे छवि के अर्थ को निर्देशित करने के लिए शिक्षक A का उपयोग करते हैं।
  • वे शिक्षक B (जो पूरी तरह से अलग प्रकार का AI हो सकता है) का उपयोग दृश्य शैली (visual style) को निर्देशित करने के लिए करते हैं।

दुनिया के इन विभिन्न "दृष्टिकोणों" को मिलाकर, परिणामी सिंथेटिक छवियां बहुत अधिक विविध होती हैं। आपको एक ही "चीट शीट" में गोल्डन रिट्रीवर, चिहुआहुआ, पिल्ला और एक बूढ़ा कुत्ता मिलता है, न कि केवल दस एक जैसे गोल्डन रिट्रीवर।

व्यवहार में यह कैसे काम करता है

  1. सेटअप: कल्पना कीजिए कि आप "कुत्ते" की श्रेणी के लिए 100 छवियों का कोलाज बना रहे हैं।
  2. पुराना तरीका (SRe2L): आप एक AI से सभी 100 छवियां उत्पन्न करने के लिए कहते हैं। वे सभी संदिग्ध रूप से समान दिखते हैं क्योंकि उस AI का एक विशिष्ट लुक के प्रति "पूर्वाग्रह (bias)" होता है।
  3. PRISM का तरीका:
    • आप AI मॉडल X से पूछते हैं कि कौन सी विशेषताएं एक कुत्ते को पहचानने योग्य बनाती हैं (Logits)।
    • आप AI मॉडल Y (जो अलग तरह से बनाया गया है) से पूछते हैं कि एक कुत्ते को प्राकृतिक दिखने के लिए क्या चाहिए और वह कंप्यूटर ग्राफ़िक्स जैसा क्यों नहीं दिखता (Batch Normalization या टेक्सचर)।
    • आप उनकी सलाह को मिला देते हैं। परिणाम एक ऐसी छवि होती है जो या तो सही ढंग से पहचाने जाने योग्य है (एक कुत्ता) और दृश्य रूप से विविध (visually diverse) भी है।

यह क्यों महत्वपूर्ण है (परिणाम)

पेपर ने इसका परीक्षण ImageNet-1K पर किया, जो 1,000 श्रेणियों वाला एक विशाल डेटासेट है।

  • बेहतर सटीकता (Better Accuracy): जब उन्होंने इन विविध PRISM छवियों पर नए AI को प्रशिक्षित किया, तो AI ने पुराने तरीकों की तुलना में बहुत उच्च स्कोर (70.4% तक सटीकता) प्राप्त किया।
  • अधिक विविधता (More Diversity): उन्होंने यह मापा कि छवियां आपस में कितनी समान हैं। पुराने तरीकों ने ऐसी छवियां बनाईं जो 90% समान थीं (बोरिंग)। PRISM ने ऐसी छवियां बनाईं जो एक-दूसरे से बहुत भिन्न थीं (विविध), जो AI को वास्तविक दुनिया की अराजकता को संभालने में मदद करती हैं।
  • स्केलेबिलिटी (Scalability): उन्होंने इसे एक विशाल डेटासेट पर कुशलतापूर्वक करने में सफलता प्राप्त की, जिससे यह सिद्ध हुआ कि आपको गुणवत्ता के लिए गति (speed) से समझौता करने की आवश्यकता नहीं है।

मुख्य निष्कर्ष (Takeaway)

PRISM इस बात को समझने जैसा है कि दुनिया को समझने के लिए, आपको केवल एक व्यक्ति की बात नहीं सुननी चाहिए। अलग-अलग "व्यक्तित्वों" और "आर्किटेक्चर" वाले विभिन्न AI मॉडलों को सिंथेटिक डेटा जनरेशन प्रक्रिया को सिखाने की अनुमति देकर, परिणाम बहुत अधिक समृद्ध, मजबूत और उपयोगी डेटासेट होता है।

यह "एकरूपता (homogeneity)" की समस्या को हल करता है, यह सुनिश्चित करके कि सिंथेटिक डेटा केवल एक AI के पूर्वाग्रह का दर्पण नहीं है, बल्कि कई अलग-अलग दृष्टिकोणों का एक मोज़ेक (mosaic) है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.AI →