🤖 machine learning

RCAP: Robust, Class-Aware, Probabilistic Dynamic Dataset Pruning

यह शोध पत्र RCAP को प्रस्तुत करता है, जो एक सुदृढ़, क्लास-अवेयर, संभाव्य डायनेमिक डेटासेट प्रूनिंग एल्गोरिदम है जो प्रति क्लास उच्च-लॉस वाले नमूनों को अनुकूल रूप से चुनता है ताकि असंतुलित डेटासेट पर केवल 10% डेटा के साथ पूर्ण-डेटा प्रशिक्षण से भी बेहतर प्रदर्शन करते हुए, वर्स्ट-ग्रुप सटीकता और प्रशिक्षण दक्षता में महत्वपूर्ण सुधार किया जा सके।

मूल लेखक: Atif Hassan, Swanand Khare, Jiaul H. Paik

प्रकाशित 2026-06-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Atif Hassan, Swanand Khare, Jiaul H. Paik

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक छात्र को एक विशाल फाइनल परीक्षा के लिए पढ़ा रहे हैं। आपके पास लाखों किताबों वाली एक लाइब्रेरी है (पूरा डेटासेट)। पारंपरिक रूप से, सबसे अच्छे परिणाम प्राप्त करने के लिए, आप छात्र को हर एक किताब पढ़ने के लिए मजबूर करते हैं। इसमें बहुत समय लगता है, बिजली और समय का भारी खर्च होता है, और अक्सर छात्र मानसिक थकान (burnout) का शिकार हो जाता है।

डेटा प्रूनिंग (Data pruning) का विचार यह है कि, "आइए केवल सबसे महत्वपूर्ण किताबें चुनें और बाकी सबको हटा दें।" लक्ष्य यह है कि छात्र को उतना ही बेहतर तरीके से सिखाया जाए, लेकिन बहुत तेज़ी से और कम खर्च में।

हालाँकि, इसमें एक पेंच है। यदि आप केवल "सबसे कठिन" किताबें चुनते हैं, तो आप अनजाने में उन दुर्लभ, कठिन विषयों को अनदेखा कर सकते हैं जिनमें छात्र सबसे अधिक संघर्ष करता है। यदि छात्र उन दुर्लभ विषयों में विफल हो जाता है, तो वह पूरे एग्जाम में फेल हो जाएगा, भले ही उसने आसान चीज़ों में महारत हासिल की हो। शोधकर्ता इसे रोबस्टनेस (robustness - मजबूती/सक्षमता) की कमी कहते हैं।

यहाँ आता है RCAP (Robust, Class-Aware, Probabilistic Dynamic Dataset Pruning)। RCAP को एक सुपर-स्मार्ट, अनुकूलन योग्य (adaptive) ट्यूटर के रूप में सोचें जो केवल एक बार किताबों की एक स्थिर सूची नहीं बनाता और उस पर टिका नहीं रहता, बल्कि वह छात्र के प्रदर्शन के आधार पर हर दिन (प्रत्येक "epoch" के दौरान) अपनी पढ़ाई की सूची बदल देता है।

RCAP कैसे काम करता है, यहाँ इसके सरल चरणों में विवरण दिया गया है:

1. "क्लास-अवेयर" रणनीति (एक संतुलित आहार)

कल्पना कीजिए कि आपका छात्र 100 अलग-अलग विषयों की परीक्षा के लिए पढ़ाई कर रहा है। कुछ विषय आसान हैं (जैसे "सेब") और कुछ बहुत कठिन हैं (जैसे "क्वांटम फिजिक्स")।

समस्या: यदि आप पूरे ढेर में से केवल "सबसे कठिन" प्रश्न चुनते हैं, तो आप अनजाने में "सेब" के बारे में 100 प्रश्न उठा सकते हैं (क्योंकि उनकी संख्या बहुत अधिक है) और "क्वांटम फिजिक्स" के बारे में शून्य प्रश्न। छात्र सेब के मामले में बहुत अच्छा हो जाएगा लेकिन वह परीक्षा में फेल हो जाएगा क्योंकि उसने कभी क्वांटम फिजिक्स का प्रश्न देखा ही नहीं।
RCAP का समाधान: RCAP प्रत्येक विषय के लिए "स्कोर" (लॉस) को अलग से देखता है। यदि छात्र "क्वांटम फिजिक्स" के साथ संघर्ष कर रहा है, तो RCAP कहता है, "ठीक है, आज के अध्ययन सत्र के लिए, हमें यह सुनिश्चित करना होगा कि हम क्वांटम फिजिक्स के लिए विशेष रूप से एक निश्चित प्रतिशत प्रश्न चुनें।" यह सुनिश्चित करने के लिए कि कोई भी विषय पीछे न छूटे, यह हर एक विषय के लिए ठीक से गणना करता है कि कितनी किताबें रखनी हैं।

2. "डायनामिक" रणनीति (एक दैनिक शेड्यूल)

अधिकांश अन्य तरीके अपनी पढ़ाई की सूची एक बार चुनते हैं और उसे कभी नहीं बदलते।

RCAP का समाधान: RCAP डायनामिक है। हर दिन, यह छात्र के होमवर्क की जाँच करता है।
- यदि छात्र ने कल "क्वांटम फिजिक्स" पर खराब प्रदर्शन किया, तो RCAP आज के लिए क्वांटम फिजिक्स के प्रश्नों की संख्या बढ़ा देता है।
- यदि छात्र "सेब" के मामले में बहुत सहजता से आगे बढ़ रहा है, तो RCAP "सेब" के प्रश्नों की संख्या कम कर सकता है।
- यह हर एक दिन इस संतुलन की पुनर्गणना करता है, जिससे यह सुनिश्चित होता है कि अध्ययन योजना छात्र के सीखने के साथ विकसित होती रहे।

3. "प्रोबेबिलिस्टिक" रणनीति (एक लॉटरी टिकट)

एक बार जब RCAP तय कर लेता है कि, "हमें क्वांटम फिजिक्स के 50 प्रश्नों की आवश्यकता है," तो वह उन 50 को कैसे चुनता है?

पुराना तरीका: सभी 1,000 क्वांटम फिजिक्स प्रश्नों को उनकी कठिनाई के अनुसार क्रमबद्ध करें और शीर्ष 50 चुनें। यह धीमा और गणनात्मक रूप से महंगा है।
RCAP का तरीका: यह एक "वेटेड लॉटरी" (weighted lottery) का उपयोग करता है। यह प्रत्येक प्रश्न को एक टिकट देता है। प्रश्न छात्र के लिए जितना कठिन होगा (उच्च "लॉस"), उसे उतना ही बड़ा टिकट मिलेगा।
- एक बहुत ही आसान प्रश्न के पास एक छोटा टिकट (चुनने की कम संभावना) होता है।
- एक बहुत ही कठिन प्रश्न के पास एक विशाल टिकट (चुनने की उच्च संभावना) होता है।
- RCAP फिर 50 टिकट निकालता है। यह सॉर्टिंग (क्रमबद्ध करने) की तुलना में बहुत तेज़ है, लेकिन यह गारंटी देता है कि कठिन प्रश्न सबसे अधिक बार चुने जाएंगे।

4. "रोबस्ट" परिणाम (एक सुरक्षा जाल)

पेपर का दावा है कि ऐसा करके, RCAP एक बड़ी समस्या को हल करता है: वर्स्ट-ग्रुप एक्यूरेसी (Worst-Group Accuracy)।

वास्तविक दुनिया में, "ग्रुप्स" अलग-अलग प्रकार के डेटा हो सकते हैं (जैसे बिल्लियों बनाम कुत्तों की तस्वीरें, या अलग-अलग बालों के रंग वाले लोगों की छवियां)।
अन्य तरीके उच्च औसत स्कोर प्राप्त कर सकते हैं लेकिन सबसे कठिन समूह पर बुरी तरह विफल हो सकते हैं।
RCAP यह सुनिश्चित करता है कि यहाँ तक कि "सबसे खराब प्रदर्शन करने वाले" समूह को भी पर्याप्त ध्यान मिले। पेपर दिखाता है कि कठिन, असंतुलित डेटासेट पर, RCL वास्तव में पूरे डेटासेट पर प्रशिक्षण लेने की तुलना में बेहतर प्रदर्शन करता है, जबकि वह केवल 10% डेटा का उपयोग करता है।

निचोड़ (The Bottom Line)

RCAP एक स्मार्ट, अनुकूलन योग्य कोच की तरह है जो:

निगरानी करता है कि छात्र किन विशिष्ट विषयों के साथ संघर्ष कर रहा है।
समायोजन करता है और कमजोर क्षेत्रों पर ध्यान केंद्रित करने के लिए दैनिक अध्ययन योजना को बदलता है।
एक तेज़, निष्पक्ष लॉटरी प्रणाली का उपयोग करके सबसे कठिन अभ्यास प्रश्न चुनता है।

परिणाम:

गति: यह औसतन प्रशिक्षण को 8.69 गुना तेज़ बनाता है।
गुणवत्ता: यह केवल समय ही नहीं बचाता; यह अक्सर कठिन, दुर्लभ मामलों को संभालने की मॉडल की क्षमता (रोबस्टनेस) में सुधार करता है।
दक्षता: यह अतिरिक्त कंप्यूटिंग पावर की आवश्यकता के बिना यह हासिल करता है; यह केवल उस "स्कोर" का उपयोग करता है जिसे मॉडल सामान्य प्रशिक्षण के दौरान पहले से ही कैलकुलेट करता है।

संक्षेप में, RCAP यह साबित करता है कि आपको 'A' ग्रेड पाने के लिए पूरी लाइब्रेरी पढ़ने की आवश्यकता नहीं है। आपको बस सही समय पर सही किताबें चुनने वाले सही ट्यूटर की आवश्यकता है।

तकनीकी सारांश: RCAP – रोबस्ट, क्लास-अवेयर, प्रोबेबिलिस्टिक डायनेमिक डेटासेट प्रूनिंग

1. समस्या विवरण

डीप लर्निंग मॉडल्स को विशाल डेटासेट्स की आवश्यकता होती है, जिससे अत्यधिक कंप्यूटेशनल लागत और अस्थिर प्रशिक्षण समय (training times) उत्पन्न होता है। जबकि डेटा प्रूनिंग तकनीकें कम सूचनात्मक उदाहरणों को हटाकर इन लागतों को कम करने का लक्ष्य रखती हैं, मौजूदा पद्धतियों में महत्वपूर्ण सीमाएँ हैं:

स्थिर बनाम गतिशील (Static vs. Dynamic): स्टैटिक प्रूनिंग प्रशिक्षण से पहले एक निश्चित उपसमूह (subset) चुनती है, जो अक्सर नमूना महत्व निर्धारित करने के लिए महंगे प्री-ट्रेनिंग पर निर्भर करती है। डायनेमिक प्रूनिंग प्रशिक्षण के दौरान उपसमूहों को अनुकूलित करती है लेकिन अक्सर मजबूती (robustness) बनाए रखने में विफल रहती है।
वर्स्ट-ग्रुप एक्यूरेसी (Worst-Group Accuracy): वर्तमान अत्याधुनिक डायनेमिक प्रूनिंग विधियाँ (जैसे, RS2, InfoBatch) औसत प्रदर्शन को प्राथमिकता देती हैं लेकिन अक्सर वर्स्ट-ग्रुप एक्यूरेसी की उपेक्षा करती हैं। यह विशेष रूप से क्लास-इम्बैलेंस्ड डेटासेट्स में हानिकारक है या जब विशिष्ट क्लास (जैसे, CIFAR10 में "बिल्लियाँ" बनाम "कुत्ते") उच्च लॉस (loss) प्रदर्शित करती हैं, जिससे नॉन-रोबस्ट मॉडल बनते हैं जो अल्पसंख्यक या कठिन समूहों पर विफल हो जाते हैं।
क्लास-अवेयरनेस (Class-Awareness): मौजूदा पद्धतियों में प्रशिक्षण प्रक्रिया के दौरान कठिनाई (hardness) के आधार पर व्यक्तिगत क्लास के प्रतिनिधित्व को गतिशील रूप से समायोजित करने के लिए एक सिद्धांतपूर्ण तंत्र की कमी है।

मूल प्रश्न यह है: क्या डेटा प्रूनिंग के दौरान क्लास हार्डनेस को शामिल करने से संतुलित और असंतुलित दोनों सेटिंग्स में मॉडल की मजबूती बढ़ती है?

2. कार्यप्रणाली: RCAP

लेखक RCAP (Robust, Class-Aware, Probabilistic) का प्रस्ताव करते हैं, जो एक डायनेमिक डेटासेट प्रूनिंग एल्गोरिदम है जिसे वर्स्ट-ग्रुप एक्यूरेसी को अनुकूलित करने और दक्षता बनाए रखने के लिए डिज़ाइन किया गया है। यह विधि प्रति एपोक (epoch) दो प्राथमिक चरणों में कार्य करती है:

2.1 एडेप्टिव पर-क्लास सबसेट साइज

RCAP प्रत्येक क्लास के लिए रिटेन किए जाने वाले नमूनों की इष्टतम संख्या निर्धारित करने की समस्या का समाधान करता है।

सैद्धांतिक आधार: लेखक एक फिक्स्ड प्रूनिंग रेट कंस्ट्रेंट के तहत कुल एम्पिरिकल एरर को कम करने के लिए एक क्लोज्ड-फॉर्म सॉल्यूशन (थ्योरम 3.1) निकालते हैं। यह समाधान दर्शाता है कि उच्च संचयी लॉस (जो अधिक कठिनाई का संकेत देता है) वाली क्लास को प्रशिक्षण उपसमूह का आनुपातिक रूप से बड़ा हिस्सा आवंटित किया जाना चाहिए।
कार्यान्वयन: प्रत्येक एपोक $t$ $t$ में, क्लास $j$ $j$ के लिए रिटेन किए जाने वाले नमदों का अंश $\alpha_j$ $α_{j}$ पिछले एपोक ( $t-1$ $t - 1$ ) के उस क्लास के एग्रीगेटेड लॉस के आधार पर गणना किया जाता है।
- सूत्र है: $\hat{\alpha}_j^{t+1} \propto \frac{\sqrt{p_j \tilde{E}_j^t}}{n_j}$ , जहाँ $p_j$ क्लास प्रोपोर्शन है, $\tilde{E}_j^t$ एग्रीगेटेड लॉस है, और $n_j$ क्लास $j$ में कुल नमूने हैं।
- क्लिपिंग मैकेनिज्म (Clipping Mechanism): यह सुनिश्चित करने के लिए कि $\alpha_j \leq 1$ , यदि गणना किया गया अंश 1 से अधिक हो जाता है, तो अतिरिक्त भाग अन्य क्लासों के बीच पुनर्वितरित किया जाता है। यह एल्गोरिदम को किसी विशिष्ट क्लास के लिए मौजूद नमूनों से अधिक नमूने चुनने के प्रयास को रोकता है।

2.2 एडेप्टिव पर-क्लास सैंपल सिलेक्शन

एक बार प्रत्येक क्लास के लिए सबसेट साइज निर्धारित हो जाने के बाद, RCAP विशिष्ट नमूनों का चयन करता है।

प्रोबेबिलिस्टिक सैंपलिंग: डिटर्मिनिस्टिक सॉर्टिंग (जो कम्प्यूटेशनल रूप से महंगी है) के बजाय, RCAP प्रति-नमूना लॉस पर परिभाषित एक प्रोबेबिलिटी डिस्ट्रीब्यूशन से नमूने लेता है।
लॉस-आधारित प्रोबेबिलिटी: क्लास $j$ के लिए नमूना $X_i$ चुनने की संभावना $e^{\phi_j(X_i)/\beta}$ के समानुपाती है, जहाँ $\phi_j$ नमूने का लॉस है और $\beta$ एक टेम्परेचर हाइपर-पैरामीटर है।
लॉस क्लिपिंग: आउटलेर्स (जैसे, लेबल नॉइज़ के कारण अत्यधिक उच्च लॉस) के कारण होने वाली अस्थिरता को रोकने के लिए, लॉस वैल्यूज को इनिशियलाइजेशन (एपोक 0) पर देखे गए अधिकतम लॉस के विरुद्ध क्लिप किया जाता है। यह सुनिश्चित करता है कि सैंपलिंग डिस्ट्रीब्यूशन रोबस्ट रहे और नॉइजी आउटलेर्स की ओर चयन को अत्यधिक बायस न करे।
इटरेटिव अपडेट: लॉस वैल्यू $\phi$ को प्रत्येक एपोक के अंत में वर्तमान मॉडल स्टेट के आधार पर अपडेट किया जाता है, और यह प्रक्रिया दोहराई जाती है।

जटिलता (Complexity): यह विधि मानक फॉरवर्ड पास के अलावा कोई अतिरिक्त कंप्यूटेशनल ओवरहेड नहीं डालती है, क्योंकि सभी मेट्रिक्स ट्रेनिंग के दौरान कंप्यूट किए गए लॉस से प्राप्त होते हैं। प्रति-नमूना टाइम कॉम्प्लेक्सिटी $O(1)$ है।

3. प्रमुख योगदान

नवेल एल्गोरिदम: RCAP का परिचय, जो क्लास-वाइज सबसेट साइजिंग के लिए क्लोज्ड-फॉर्म सॉल्यूशन के साथ एडेप्टिव प्रोबेबिलिस्टिक सैंपलिंग रणनीति को स्पष्ट रूप से संयोजित करने वाला पहला डायनेमिक प्रूनिंग मेथड है।
रोबस्टनेस फोकस: यह विधि विशेष रूप से वर्स्ट-ग्रुप एक्यूरेसी में सुधार को लक्षित करती है, जो एक महत्वपूर्ण अंतर को संबोधित करती है जहाँ अल्पसंख्यक या कठिन क्लास को अक्सर कम प्रतिनिधित्व दिया जाता है।
व्यापक मूल्यांकन: पेपर छह डेटासेट्स (CIFAR10, CIFAR100, ImageNet, Waterbirds, CelebA, iNaturalist) और पांच अलग-अलग आर्किटेक्चर (ResNet, EfficientNet, Dinov2, आदि) में क्लास-बैलेंस्ड और अत्यधिक इम्बैलेंस्ड डेटासेट्स पर डायनेमिक प्रूनिंग का पहला व्यापक मूल्यांकन प्रदान करता है।
दक्षता: यह प्रदर्शन से समझौता किए बिना महत्वपूर्ण स्पीडअप प्राप्त करता है, विशेष रूप से इम्बैलेंस्ड डेटा पर।

4. प्रयोगात्मक परिणाम

लेखकों ने तीन ट्रेनिंग पैराडाइम्स के तहत सात अत्याधुनिक बेसलाइन्स (जिसमें CCS, MetriQ, TDDS, UCB, InfoBatch, और RS2 शामिल हैं) के विरुद्ध RCAP का मूल्यांकन किया: ट्रेनिंग फ्रॉम स्क्रैच, ट्रांसफर लर्निंग, और फाइन-ट्यूनिंग।

वर्स्ट-ग्रुप एक्यूरेसी: RCAP ने सभी डेटासेट्स और प्रूनिंग रेट्स पर सभी बेसलाइन्स को लगातार पछाड़ दिया। विशेष रूप से, अत्यधिक इम्बैलेंस्ड डेटासेट्स (Waterbirds, CelebA, iNaturalist) पर, RCAP ने 90% प्रूनिंग रेट पर भी श्रेष्ठ वर्स्ट-ग्रुप एक्यूरेसी प्राप्त की, जो अक्सर फुल डेटासेट पर प्रशिक्षित मॉडल्स के प्रदर्शन को भी पीछे छोड़ देती है।
- उदाहरण: iNaturalist (90% प्रूनिंग) पर, RCAP ने ~68.5% वर्स्ट-ग्रुप एक्यूरेसी हासिल की, जबकि अन्य मेथड्स काफी गिर गए (जैसे, InfoBatch ~5.5% पर, TDDS 0% पर)।
औसत एक्यूरेसी (Average Accuracy): क्लास-बैलेंस्ड डेटासेट्स (CIFAR10, CIFAR100) पर, RCL ने मौजूदा तरीकों के बराबर या बेहतर प्रतिस्पर्धी औसत एक्यूरेसी बनाए रखी।
दक्षता: RCAP ने फुल-डेटा ट्रेनिंग की तुलना में औसतन 8.69× स्पीडअप दिया। इम्बैलेंस्ड डेटासेट्स पर, इसने ट्रेनिंग समय को भारी रूप से कम करते हुए फुल-डेटा ट्रेनिंग पर >1% प्रदर्शन सुधार हासिल किया।
हाइपर-पैरामीटर सेंसिटिविटी: टेम्परेचर पैरामीटर $\beta$ पर एक एब्लेशन स्टडी से पता चला कि हाई-लॉस नमूनों को प्राथमिकता देने के लिए $\beta < 1$ उच्च प्रूनिंग रेट (90%) के लिए महत्वपूर्ण है, जबकि $\beta > 1$ मध्यम दरों (50%) पर अधिक स्थिरता प्रदान करता है।

5. महत्व और दावे

पेपर का दावा है कि RCAP रोबस्ट डायनेमिक डेटासेट प्रूनिंग में एक नया स्टेट-ऑफ-द-आर्ट स्थापित करता है। इसका महत्व निम्नलिखित में निहित है:

इम्बैलेंस की समस्या का समाधान: लॉस के आधार पर क्लास-वाइज प्रतिनिधित्व को गतिशील रूप से समायोजित करके, RCAP उस बायस को स्वाभाविक रूप से कम करता है जो अन्य प्रूनिंग पद्धतियों को परेशान करता है, विशेष रूप से उच्च प्रूनिंग रेट पर।
व्यावहारिक दक्षता: यह "बेस्ट-ऑफ-बोट्स-वर्ल्ड्स" परिदृश्य प्रदान करता है: प्रशिक्षण समय (स्पीडअप) के साथ काफी कम समय और बेहतर मॉडल मजबूती (वर्स्ट-ग्रुप एक्यूरेसी), जो इस धारणा को चुनौती देता है कि प्रूनिंग को प्रदर्शन के लिए ट्रेड-ऑफ करना पड़ता है।
सामान्यीकरण (Generalizability): यह पद्धति मॉडल-अग्नोस्टिक है और विविध आर्किटेक्चर एवं ट्रेनिंग पैराडाइम्स में प्रभावी है।

लेखकों द्वारा स्वीकार की गई सीमाएं:

RCAP को इष्टतम क्लास-वाइज फ्रैक्शन्स का सटीक अनुमान लगाने के लिए कुछ शुरुआती एपोक्स की आवश्यकता होती है, जो उन परिदृश्यों में इसकी उपयोगिता को सीमित कर सकता है जहाँ तत्काल प्रभावशीलता की आवश्यकता होती है (जैसे, लार्ज लैंग्वेज मॉडल्स के साथ फ्यू-शॉट लर्निंग)।
टेम्परेचर हाइपर-पैरामीटर $\beta$ के लिए वर्तमान में मैनुअल ट्यूनिंग की आवश्यकता होती है। लेखक भविष्य के कार्य के रूप में $\beta$ को ट्रेनिंग के दौरान एडेप्टिव बनाने का सुझाव देते हैं।