🤖 machine learning

Reducing Class-Wise Performance Disparity via Margin Regularization

यह शोध पत्र MR $^2$ को प्रस्तुत करता है, जो एक सैद्धांतिक रूप से आधारित मार्जिन रेगुलराइजेशन विधि है जो डीप न्यूरल नेटवर्क में समग्र सटीकता में सुधार करते हुए वर्ग-वार प्रदर्शन विषमताओं को प्रभावी ढंग से कम करने के लिए प्रति-वर्ग फीचर परिवर्तनशीलता के आधार पर लॉजिट और रिप्रेजेंटेशन मार्जिन को गतिशील रूप से समायोजित करता है।

मूल लेखक: Beier Zhu, Kesen Zhao, Jiequan Cui, Qianru Sun, Yuan Zhou, Xun Yang, Hanwang Zhang

प्रकाशित 2026-02-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Beier Zhu, Kesen Zhao, Jiequan Cui, Qianru Sun, Yuan Zhou, Xun Yang, Hanwang Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ शोध पत्र "Reducing Class-Wise Performance Disparity via Margin Regularization" (MR2) का सरल भाषा और रचनात्मक उपमाओं के साथ अनुवाद दिया गया है।

समस्या: "तारा छात्र" (Star Student) बनाम "संघर्षरत छात्र" (Struggling Student)

एक कक्षा की कल्पना करें जहाँ एक शिक्षक (AI मॉडल) 1,000 अलग-अलग विषयों (classes) को पढ़ा रहा है, जिसमें "बिल्ली को पहचानना" से लेकर "एक विशिष्ट प्रकार के दुर्लभ ऑर्किड की पहचान करना" तक शामिल हैं।

भले ही शिक्षक हर विषय के लिए समान समय तक पढ़ाई करे (संतुलित डेटा), फिर भी कुछ अजीब होता है। शिक्षक आसान विषयों (जैसे "बिल्ली") में जीनियस बन जाता है लेकिन कठिन विषयों (जैसे "दुर्लभ ऑर्किड") में बहुत खराब बना रहता है। शोध पत्र के उदाहरण में, AI सबसे आसान छवियों पर 100% सटीकता प्राप्त करता है लेकिन सबसे कठिन छवियों पर केवल 16%।

यह अनुचित है। यदि आप इस AI को वास्तविक दुनिया में तैनात करते हैं, तो यह कुछ कार्यों के लिए बहुत अच्छा काम कर सकता है लेकिन अन्य पर खतरनाक रूप से विफल हो सकता है। शोध पत्र इसे क्लास-वाइज परफॉरमेंस डिस्पैरिटी (Class-Wise Performance Disparity) कहता है।

पुराना तरीका: "एक ही आकार सबके लिए" (और यह क्यों विफल होता है)

पहले, शोधकर्ताओं ने इसे ठीक करने के लिए निम्नलिखित प्रयास किए:

कठिन विषयों के लिए अतिरिक्त होमवर्क देना: (Reweighting)। लेकिन इससे अक्सर शिक्षक आसान विषयों को भूल जाता था।
परीक्षा के प्रश्न बदलना: (Logit margins)। लेकिन ये आमतौर पर उन स्थितियों के लिए डिज़ाइन किए गए थे जहाँ कुछ विषयों में छात्रों की संख्या बहुत कम थी (long-tail data), न कि उन स्थितियों के लिए जहाँ विषय की कठिनाई ही समस्या थी।

शोध पत्र का तर्क है कि असली मुद्दा प्रति विषय छात्रों की संख्या नहीं है, बल्कि छात्रों की विविधता (variability) है।

आसान विषय: छात्र (इमेज फीचर्स) बहुत समान दिखते हैं। वे एक सघन, व्यवस्थित घेरे में बैठे होते हैं। उनके चारों ओर एक रेखा खींचना आसान है।
कठिन विषय: छात्र पूरे कमरे में बिखरे हुए हैं। वे विविध और अराजक हैं। एक ऐसी रेखा खींचना जो उन्हें बिना किसी दूसरे क्लास के व्यक्ति को पकड़े, बहुत कठिन है।

समाधान: MR2 (एक "स्मार्ट कोच")

लेखकों ने MR2 (Margin Regularization for performance disparity Reduction) नामक एक नई विधि प्रस्तावित की है। MR2 को एक स्मार्ट कोच के रूप में सोचें जो आसान और कठिन विषयों के लिए खेल के नियम अलग-अलग तरीके से समायोजित करता है।

MR2 इन समस्याओं को ठीक करने के लिए दो विशिष्ट उपकरणों का उपयोग करता है:

1. "उदार सीमा" (Generous Boundary - Logit Margin)

कल्प la है कि शिक्षक प्रत्येक समूह के छात्रों को सुरक्षित रखने के लिए उनके चारों ओर एक सुरक्षा क्षेत्र (margin) बना रहा है।

आसान विषयों के लिए: छात्र पहले से ही एक साथ मजबूती से जुड़े हुए हैं। कोच कहता है, "आपको एक बड़े सुरक्षा क्षेत्र की आवश्यकता नहीं है। एक छोटा सा भी ठीक है।"
कठिन विषयों के लिए: छात्र दूर-दूर बिखरे हुए हैं। यदि कोच एक छोटा सुरक्षा क्षेत्र बनाता है, तो वह कई छात्रों को छोड़ देगा। इसलिए, कोच इन कठिन समूहों के लिए गतिशील रूप से सुरक्षा क्षेत्र का विस्तार (dynamically expands the safety zone) करता है।

उपमा: यह शांत झील में मौजूद लोगों के समूह की तुलना में तूफानी समुद्र में फंसे लोगों के समूह को एक बड़ी लाइफबोट देने जैसा है। शोध पत्र गणितीय रूप से सिद्ध करता है कि इन बिखरे हुए समूहों को "बड़ी लाइफबोट" (margins) देने से त्रुटि की संभावना कम हो जाती है।

2. "पास आकर खड़े होने" का आदेश (Huddle Up Command - Representation Margin)

बड़े लाइफबोट के साथ भी, यदि "कठिन" समूह के छात्र अभी भी बेतहाशा इधर-उधर भाग रहे हैं, तो वे फिर भी गिर सकते हैं।

MR2 एक दूसरा नियम जोड़ता है: छात्रों को एक साथ करीब आने के लिए कहें।
यह AI को दंडित करता है यदि "कठिन" छात्र एक-दूसरे से बहुत दूर हैं। यह AI को एक ऐसा प्रतिनिधित्व (representation) सीखने के लिए मजबूर करता है जहाँ "कठिन" छवियां एक-दूसरे के अधिक समान दिखें, जिससे उन्हें एक साथ समूहबद्ध करना आसान हो जाए।

उपमा: यदि "कठिन" क्लास एक कॉन्सर्ट में मौजूद अराजक भीड़ की तरह है, तो MR2 न केवल उन्हें एक बड़ा घेरा देता है; बल्कि यह उन्हें यह भी कहता है, "एक साथ करीब खड़े हो जाओ ताकि हम आपको सुरक्षित रख सकें।"

व्यवहार में यह कैसे काम करता है

शोधकर्ताओं ने सात अलग-अलग डेटासेट्स (ImageNet सहित) और विभिन्न प्रकार के AI मॉडल्स (मानक न्यूरल नेटवर्क से लेकर CLIP और MAE जैसे उन्नत "फाउंडेशन मॉडल्स" तक) पर इसका परीक्षण किया।

परिणाम:

"कठिन" क्लासेज में काफी सुधार हुआ: कठिन श्रेणियों की सटीकता काफी बढ़ गई (उदाहरण के लिए, ImageNet पर 56% से बढ़कर लगभग 60% हो गई)।
"आसान" क्लासेज को नुकसान नहीं पहुँचा: अन्य तरीकों के विपरीत, जो आसान चीजों को बिगाड़कर कठिन समस्याओं को ठीक करते हैं, MR2 ने वास्तव में आसान क्लासेज में भी थोड़ा सुधार किया।
अंतर कम हो गया: सबसे अच्छे प्रदर्शन करने वाली और सबसे खराब प्रदर्शन करने वाली श्रेणियों के बीच का अंतर नाटकीय रूप से कम हो गया।

बड़ी तस्वीर (बिना गणित के)

शोध पत्र का मूल अंतर्दृष्टि सरल है: सभी क्लासेज समान नहीं होती हैं। कुछ स्वाभाविक रूप से अव्यवस्थित और विविध होती हैं। उन सभी के साथ एक ही सख्त नियम लागू करने से AI विफल हो जाता है।

MR2 एक ऐसी प्रणाली है जो कहती है: "हे, यह समूह अव्यवस्थित है और इसे पकड़ना कठिन है। आइए उन्हें एक बड़ा सुरक्षा बफर दें और उन्हें एक-दूसरे के करीब रहने के लिए कहें।" ऐसा करके, AI पूरे स्तर पर अधिक विश्वसनीय हो जाता है, यह सुनिश्चित करता है कि यह केवल आसान चीजों के लिए ही नहीं, बल्कि कठिन, वास्तविक दुनिया की स्थितियों के लिए भी काम करे।

संक्षेप में: MR2 AI के लिए एक निष्पक्षता उपकरण (fairness tool) है जो इसे एक ऐसे "तारा छात्र" बनने से रोकता है जो केवल आसान उत्तर जानता है, और इसे एक पूर्ण विकसित छात्र में बदल देता है जो आसान और अराजक दोनों चुनौतियों को समान कौशल के साथ संभालता है।

तकनीकी सारांश: MR2 (प्रदर्शन विषमता न्यूनीकरण के लिए मार्जिन नियमितीकरण - Margin Regularization for performance disparity Reduction)

समस्या विवरण

डीप न्यूरल नेटवर्क अक्सर क्लास-वार सटीकता (class-wise accuracy) में पर्याप्त विषमता प्रदर्शित करते हैं, भले ही उन्हें क्लास-बैलेंस्ड डेटासेट पर प्रशिक्षित किया गया हो। अनुभवजन्य अध्ययन (जैसे, Cui et al., 2024) संकेत देते हैं कि "कठिन" क्लासेस (वे जिनकी सटीकता कम है) में "आसान" क्लासेस की तुलना में अधिक फीचर परिवर्तनशीलता (feature variability) होती है। यह असंतुलन डीप मॉडल्स की विश्वसनीय और निष्पक्ष तैनाती के लिए खतरा पैदा करता है। जबकि पिछले कार्यों ने डेटा ऑग्मेंटेशन या रिप्रेजेंटेशन लर्निंग जैसे अनुभवजन्य उपचारों का पता लगाया है, इस बात की सैद्धांतिक समझ कि ये विषमताएं क्यों बनी रहती हैं और सिद्धांतों पर आधारित नियमितीकरण (principled regularization) के माध्यम से उन्हें कैसे कम किया जाए, सीमित है। मौजूदा मार्जिन-आधारित विधियाँ मुख्य रूप से लॉन्ग-टेल्ड (क्लास-इम्बैलेंस्ड) वितरणों के लिए डिज़ाइन की गई हैं और क्लास प्रायर (class priors) एकसमान होने पर अक्सर मानक क्रॉस-एन्ट्रॉपी में सिमट जाती हैं, जिससे संतुलित सेटिंग्स में विषमता को संबोधित करने में विफलता होती है।

कार्यप्रणाली: MR2

लेखक MR2 का प्रस्ताव करते हैं, जो एक सैद्धांतिक रूप से सुदृढ़ ढांचा है जो लॉगिट स्पेस (logit space) और रिप्रेजेंटेशन स्पेस (representation space) दोनों में मार्जिन्स को गतिशील रूप से समायोजित करके क्लास-वार प्रदर्शन विषमता को कम करता है। यह विधि एक नवीन क्लास-सेंसिटिव जनरलाइजेशन बाउंड (generalization bound) पर आधारित है जो प्रति-क्लास फीचर परिवर्तनशीलता को जनरलाइजेशन एरर से जोड़ती है।

1. सैद्धांतिक आधार

लेखक एक मार्जिन-आधारित, क्लास-सेंसिटिव लर्निंग गारंटी (प्रपोजिशन 1) व्युत्पन्न करते हैं। यह बाउंड प्रकट करता है कि जनरलाइजेशन एरर, प्रति-क्लास फीचर परिवर्तनशीलता (विशेष रूप से फीचर मीन के वर्ग के नॉर्म और मीन स्क्वेर्ड डेविएशन के योग) और क्लास-विशिष्ट मार्जिन के वर्ग के अनुपात से प्रभावित होता है।

मुख्य अंतर्दृष्टि: जिन क्लासेस में बड़ी फीचर परिवर्तनशीलता ("कठिन" क्लासेस) होती है, वे जनरलाइजेशन एरर बाउंड में अधिक योगदान देती हैं। इस बाउंड को कम करने के लिए, इन क्लासेस को बड़े मार्जिन दिए जाने चाहिए।
इष्टतम मार्जिन (Optimal Margin): सैद्धांतिक विश्लेषण (कोरोलरी 1) सुझाव देता है कि एक क्लास $y$ के लिए इष्टतम मार्जिन $\gamma_y$ $(\|\hat{\mu}_y\|_2^2 + \|\hat{s}_y\|_2^2)^{1/3}$ के समानुपाती होना चाहिए, जहाँ $\hat{\mu}_y$ एम्पिरिकल फीचर मीन है और $\hat{s}_y$ एम्पिरिकल मीन स्क्वेर्ड डेविएशन है।

2. लॉजिट मार्जिन रेगुलराइजेशन ( $\ell_{\gamma,ce}$ )

MR2 क्रॉस-एन्ट्रॉपी लॉस में एक क्लास-डिपेंडेंट मार्जिन पेश करता है। मार्जिन $\gamma_y$ एक निश्चित हाइपरपैरामीटर नहीं है बल्कि प्रत्येक क्लास के फीचर स्प्रेड के आधार पर गतिशील रूप से गणना किया जाता है:
$\gamma_y = \bar{c} \cdot K \frac{(\|\hat{\mu}_y\|_2^2 + \|\hat{s}_y\|_2^2)^{1/3}}{\sum_{k=1}^K (\|\hat{\mu}_k\|_2^2 + \|\hat{s}_k\|_2^2)^{1/3}}$
यह अनुकूलन तंत्र "कठिन" क्लासेस (उच्च फीचर परिवर्तनशीलता) को बड़े मार्जिन आवंटित करता है, जिससे उनके जनरलाइजेशन बाउंड सख्त होते हैं, जबकि एक संतुलित औसत मार्जिन $\bar{c}$ बनाए रखा जाता है।

3. रिप्रेजेंटेशन मार्जिन रेगुलराइजेशन ( $\ell_{\bar{s}}$ )

जनरलाइजेशन बाउंड को और अधिक सख्त बनाने के लिए, MR2 अत्यधिक इंट्रा-क्लास फीचर स्प्रेड को दंडित करता है। रिप्रेजेंटेशन लॉस औसत मीन स्क्वेर्ड डेविएशन $\bar{s}$ को एक मार्जिन बाधा के रूप में मानकर इंट्रा-क्लास कॉम्पैक्टनेस को प्रोत्साहित करता है:
$\ell_{\bar{s}}(f, x, y) = \ln \left[ 1 + \sum_{x^+ \in D_y \setminus \{x\}} \exp(\|\phi(x) - \phi(x^+)\|_2^2 - 2\bar{s}) \right]$
यह लॉस एक डिफरेंशिएबल रिलैक्सेशन के रूप में कार्य करता है जो एक बाधा को लागू करता है कि एक क्लास के भीतर पेयरवाइज दूरियां $2\bar{s}$ से नीचे रहें, जो प्रभावी रूप से जनरलाइजेशन बाउंड के अंश (numerator) को कम करता है।

4. कोसाइन क्लासिफायर में सामान्यीकरण (Generalization to Cosine Classifiers)

यह फ्रेमवर्क उन मॉडल्स तक विस्तारित है जो कोसाइन क्लासिफायर (जैसे, CLIP) का उपयोग करते हैं, जहाँ फीचर्स $L_2$ -नॉर्मलाइज्ड होते हैं। ऐसे मामलों में, फीचर्स का मानक $L_2$ नॉर्म स्थिर हो जाता है। लेखक क्लास-डिपेंडेंट वेरिएबिलिटी उपायों को बहाल करने के लिए वैकल्पिक $L_p$ नॉर्म्स (जैसे, $p=3$ ) का उपयोग करने का प्रस्ताव करते हैं, जिससे मार्जिन रेगुलराइजेशन प्रभावी बना रहता है।

मुख्य योगदान

सैद्धांतिक विश्लेषण: पेपर एक नवीन, नॉन-एसिम्प्टोटिक, क्लास-सेंसिटिव जनरलाइजेशन बाउंड प्रदान करता है जो स्पष्ट रूप से प्रति-क्लास फीचर परिवर्तनशीलता को जनरलाइजेशन एरर से जोड़ता है, जो संतुलित सेटिंग्स में भी क्लास-डिपेंडेंट मार्जिन्स की आवश्यकता को प्रेरित करता है।
MR2 फ्रेमवर्क: एक ड्यूल-मार्जिन रेगुलराइजेशन दृष्टिकोण जो फीचर स्प्रेड के आधार पर लॉजिट मार्जिन्स को गतिशील रूप से समायोजित करता है और रिप्रेजेंटेशन वेरिएंस को दंडित करता है, जो मानक और कोसाइन क्लासिफायर दोनों के लिए लागू है।
अनुभवजन्य सत्यापन: सात डेटासेट्स (ImageNet, CIFAR-100 और फाइन-ग्रेन्ड डेटासेट्स सहित) और विविध आर्किटेक्चर (ResNet, ViT, MAE, MoCov2, CLIP) पर व्यापक प्रयोग यह प्रदर्शित करते हैं कि MR2 प्रदर्शन विषमता को महत्वपूर्ण रूप से कम करता है।

प्रयोगात्मक परिणाम

लेखक MR2 का मूल्यांकन 14 बेसलाइन्स के विरुद्ध करते हैं, जिनमें रीवेटिंग मेथड्स (LfF, JTT), मार्जिन-आधारित मेथड्स (LDAM, EQL), कॉन्ट्रास्टिव लर्निंग (SupCon), और डिस्ट्रिब्यूशनली रोबस्ट ऑप्टिमाइजेशन (DRO, FairDRO) शामिल हैं।

विषमता न्यूनीकरण (Disparity Reduction): MR2 लगातार "कठिन" क्लासेस पर सबसे अधिक सुधार प्राप्त करता है। उदाहरण के लिए, ResNet-50 के साथ ImageNet पर, MR2 बेसलाइन की तुलना में "कठिन" क्लास की सटीकता में 3.2% का सुधार करता है, जबकि अन्य विधियाँ अक्सर नगण्य लाभ या ट्रेड-ऑफ दिखाती हैं (यानी, आसान क्लासेस की कीमत पर कठिन क्लासेस में सुधार)।
कुल प्रदर्शन: कई डिबायसिंग मेथड्स के विपरीत जो कठिन क्लासेस को बढ़ावा देने के लिए "आसान" क्लास के प्रदर्शन का त्याग करते हैं, MR2 आसान और कठिन क्लासेस के बीच के अंतर को कम करते हुए समग्र सटीकता में सुधार करता है।
सामान्यीकरण (Generalization): यह विधि विभिन्न बैकबोन्स (CNNs, Transformers) और प्री-ट्रेनिंग प्रतिमानों (स्क्रैच से ट्रेनिंग, फ्रोजन फीचर्स पर लीनियर प्रोबिंग, फाउंडेशन मॉडल्स की फाइन-ट्यूनिंग) में मजबूत है।
एब्लेशन स्टडीज (Ablation Studies): परिणाम पुष्टि करते हैं कि लॉजिट मार्जिन (क्लास-डिपेंडेंट $\gamma$ ) और रिप्रेजेंटेशन मार्जिन ( $\ell_{\bar{s}}$ ) दोनों आवश्यक हैं; यूनिफॉर्म मार्जिन का उपयोग करने या रिप्रेजेंटेशन लॉस को हटाने से निम्नतर परिणाम मिलते हैं।

महत्व और दावे

पेपर का दावा है कि MR2 एक सिद्धांतों पर आधारित स्पष्टीकरण प्रदान करता है, जो अनुभवजन्य ह्यूरिस्टिक्स (heuristics) से आगे जाता है। फीचर परिवर्तनशीलता को जनरलाइजेशन बाउंड से जोड़कर, लेखक यह प्रदर्शित करते हैं कि "कठिन" क्लासेस को "आसान" क्लासेस के समान जनरलाइजेशन प्रदर्शन प्राप्त करने के लिए बड़े मार्जिन की आवश्यकता होती है।

MR2 का महत्व इसकी क्षमता में निहित है:

बिना ट्रेड-ऑफ के विषमता कम करना: यह "आसान" क्लास के प्रदर्शन को खराब किए बिना "कधारण" क्लास के प्रदर्शन में सुधार करता है, जो मौजूदा डिबायसिंग तकनीकों का एक सामान्य फेलियर मोड है।
सैद्धांतिक आधार: यह गणितीय औचित्य प्रदान करता है कि क्लास-डिपेंडेंट मार्जिन क्यों आवश्यक हैं, भले ही क्लास प्रायर यूनिफॉर्म हों, जो इसे लॉन्ग-टेल लर्निंग मेथड्स से अलग करता है।
व्यापक प्रयोज्यता: यह CNNs, Transformers और CLIP जैसे फाउंडेशन मॉडल्स सहित आधुनिक आर्किटेक्चर के एक विस्तृत श्रृंखला में प्रभावी ढंग से कार्य करता है, जो बड़े पैमाने पर डीप लर्निंग सिस्टम में निष्पक्षता में सुधार के लिए एक व्यवहार्य रणनीति का सुझाव देता है।

लेखक निष्कर्ष निकालते हैं कि जबकि न्यूरल कोलैप्स (NC) यह सुझाव देता है कि टर्मिनल फेज में फीचर वेरिएंस शून्य हो जाना चाहिए, बड़े पैमाने के डेटासेट्स पर अनुभवजन्य साक्ष्य बताते हैं कि महत्वपूर्ण, क्लास-डिपेंडेंट परिवर्तनशीलता बनी रहती है। MR2 इन अवशेष स्प्रेड (residual spreads) को रेगुलराइज करके इस वास्तविकता को संबोधित करता है ताकि संतुलित जनरलाइजेशन सुनिश्चित किया जा सके।