तकनीकी सारांश: मेमोराइजेशन-गाइडेड डेटासेट डी-बायसिंग के साथ स्प्यूरियस कोरिलेशन को कम करना

समस्या विवरण

वास्तविक दुनिया के डेटासेट में अक्सर स्प्यूरियस कोरिलेशन (spurious correlations) होते हैं—ऐसे फीचर्स जो एक क्लास के भीतर अत्यधिक सुसंगत होते हैं लेकिन लक्षित लेबल (target label) से कारणवश (causally) संबंधित नहीं होते। डीप लर्निंग मॉडल, जिन्हें एम्पेरिकल रिस्क मिनिमाइजेशन (ERM) के माध्यम से प्रशिक्षित किया जाता है, अक्सर सिम्प्लिसिटी बायस (simplicity bias) प्रदर्शित करते हैं, यानी वे जटिल कोर फीचर्स (core features) को पकड़ने से पहले सरल स्प्यूरियस फीचर्स को सीख लेते हैं। इससे उस टेस्ट डेटा पर खराब वर्स्ट-ग्रुप एक्यूरेसी (WGA) होती है जहाँ स्प्यूरियस कोरिलेशन प्रभावी नहीं रहते, विशेष रूप से उन अल्पसंख्यक समूहों (minority groups) के लिए जहाँ स्प्यूरियस एट्रिब्यूट लेबल के विपरीत होता है।

स्प्यूरियस कोरिलेशन को कम करने के लिए मौजूदा दृष्टिकोणों में से कई या तो जटिल ऑप्टिमाइज़ेशन तकनीकों का उपयोग करते हैं या उन्हें ग्रुप लेबल्स (स्प्यूरियस एट्रिब्यूट्स) तक पहुँच की आवश्यकता होती है, जो मानक ERM से विचलित होते हैं। यहाँ एक ऐसी विधि की आवश्यकता है जो स्प्यूरियस कोरिलेशन पर निर्भरता को कम करते हुए मानक ERM ट्रेनिंग को बनाए रख सके। एक संभावित समाधान कोरेसेट सिलेक्शन (coreset selection) है—उच्च गुणवत्ता वाले डेटा उपसमुच्चयों (subsets) का निर्माण करना जो पूर्ण प्रशिक्षण वितरण का प्रतिनिधित्व करते हैं। हालाँकि, यह शोध पत्र तर्क देता है कि व्यापक रूप से उपयोग किए जाने वाले सैंपल स्कोरिंग फंक्शन (जैसे EL2N, SelfSup) और कोरेसेट सिलेक्शन एल्गोरिदम इस संदर्भ में विफल रहते हैं। सिम्प्लिसिटी बायस के कारण, ये स्कोरिंग फंक्शन स्प्यूरियस फीचर्स द्वारा हावी हो जाते हैं, जिससे स्प्यूरियस कोरिलेशन वाले सैंपल्स को "आसान" और बिना उनके सैंपल्स को "कठिन" के रूप में गलत वर्गीकृत किया जाता है। फलस्वरूप, मानक चयन रणनीतियाँ उन कठिन कोर फीचर्स को प्राथमिकता देने में विफल रहती हैं जो ग्रुप रोबस्टनेस के लिए आवश्यक हैं।

कार्यप्रणाली (Methodology)

लेखक TCSL-CS (टू-स्टेज क्यूमुलेटिव सैंपल लॉस-गाइडेड कोरेसेट सिलेक्शन) प्रस्तावित करते हैं, जो ग्रुप लेबल्स की आवश्यकता के बिना कोर और स्प्यूरियस फीचर्स की लर्निंग डायनेमिक्स को अलग करने के लिए डिज़ाइन किया गया एक फ्रेमवर्क है।

1. सैद्धांतिक आधार (Theoretical Foundation)

पेपर न्यूरल टेंगेंट कर्नेल (NTK) रिजीम और स्पाइक्ड कोवेरिएंस मॉडल के तहत एक सैद्धांतिक विश्लेषण प्रदान करता है। यह प्रदर्शित करता है कि सिम्प्लिसिटी बायस कंडीशन ($\beta_s(2\alpha - 1) > \beta_c$, जहाँ $\beta$ फीचर स्ट्रेंथ और $\alpha$ मेजॉरिटी ग्रुप फ्रैक्शन है) के तहत, प्रशिक्षण के शुरुआती चरणों में स्प्यूरियस फीचर्स कोर फीचर्स की तुलना में काफी तेजी से सीखे जाते हैं। यह तीव्र लर्निंग सैंपल लॉस (और इस प्रकार मानक स्कोर) को स्प्यूरियस एट्रिब्यूट द्वारा हावी कर देती है, जिससे वे कठिन कोर फीचर्स की पहचान करने में अप्रभावी हो जाते हैं।

2. दो-चरणीय मॉडल प्रशिक्षण (Two-Stage Model Training)

इन डायनेमिक्स को अलग करने के लिए, लेखक एक दो-चरणीय प्रशिक्षण योजना (एल्गोरिदम 1) पेश करते हैं:

• चरण 1 (स्प्यूरियस मॉडल, $f_s$): एक बायस्ड मॉडल को केवल स्प्यूरियस फीचर्स सीखने के लिए प्रशिक्षित किया जाता है। यह प्रत्येक एपोक में सबसे कम लॉस वाले सैंपल्स को अपवेट (upweight) करके प्राप्त किया जाता है, जो प्रभावी रूप से उन सैंपल्स के लर्निंग को बढ़ाता है जहाँ स्प्यूरियस एट्रिब्यूट लेबल के साथ संरेखित ($a=y$) होता है।
• चरण 2 (कोर मॉडल, $f_c$): $f_s$ के वेट्स को फ्रीज कर दिया जाता है। एक कोर मॉडल को एक संशोधित लॉस फंक्शन का उपयोग करके प्रशिक्षित किया जाता है जो स्प्यूरियस मॉडल के लॉजिट को एक नेगेटिव फीडबैक मैकेनिज्म के रूप में शामिल करता है:
  $$L(B_t, W^c_t) = \sum_{i \in B_t} \lambda_i \ell\left(y_i, f_c(x_i; W^c_t) + \log(f_s(x_i))\right)$$
  यह $f_c$ को बायस्ड मॉडल के प्रेडिक्शन्स की भरपाई करके कोर फीचर्स सीखने के लिए प्रेरित करता है।

3. टू-स्टेज क्यूमुलेटिव सैंपल लॉस (TCSL)

प्रशिक्षित मॉडल्स के आधार पर, लेखक एक नया स्कोरिंग मेट्रिक, TCSL परिभाषित करते हैं, जिसमें दो घटक शामिल हैं:

• $TCSL_s(x)$: स्प्यूरियस मॉडल $f_s$ का क्यूमुलेटिव लॉस। उच्च स्कोर उन सैंपल्स को दर्शाते जहाँ स्प्यूरियस फीचर कमजोर या लेबल के साथ मिसअलाइन्ड है।
• $TCSL_c(x)$: कोर मॉडल $f_c$ का क्यूमुलेटिव लॉस। यह स्कोर स्प्यूरियस एट्रिब्यूट से स्वतंत्र रूप से कोर फीचर्स की कठिनाई को दर्शाता है।

4. TCSL-CS एल्गोरिदम

कोरेसेट सिलेक्शन एल्गोरिदम (एल्गोरिदम 2) एक मजबूत उपसमुच्चय बनाने के लिए दो चरणों में कार्य करता है:

1. हाई-स्प्यूरियोसिटी सैंपल्स की पहचान: $TCSL_s$ स्कोर और लॉस कर्व्स पर wKMeans का उपयोग करके, एल्गोरिदम उन सैंपल्स के एक समूह ($G_{high}$) की पहचान करता है जिनमें उच्च स्प्यूरियस कठिनाई है (अर्थात, ऐसे सैंपल्स जिनमें मजबूत स्प्यूरियस कोरिलेशन की कमी है)। यह सुनिश्चित करने के लिए कि कोरेसेट में चुनौतीपूर्ण अल्पसंख्यक-जैसे (minority-like) सैंपल्स शामिल हों, इनमें से एक उपसमुच्चय चुना जाता है।
2. शेष कोटा भरना: शेष स्लॉट्स को $TCSL_c$ स्कोर के आधार पर मेजॉरिटी ग्रुप ($G_{low}$) से भरा जाता है।
   • यदि सिलेक्शन रेशियो $r$ अधिक है ($r \geq \tau$), तो एल्गोरिदम औसत सटीकता को अधिकतम करने के लिए सबसे कम $TCSL_c$ स्कोर वाले सैंपल्स (सबसे आसान कोर फीचर्स) का चयन करता है।
   • यदि $r$ कम है ($r < \tau$), तो एल्गोरिदम विविधता सुनिश्चित करने और कठिन कोर फीचर्स को बाहर होने से बचाने के लिए विभिन्न $TCSL_c$ कठिनाई बिनों से नमूना लेने हेतु एक हिस्टोग्राम-आधारित चयन (SelectHist) का उपयोग करता है।

मुख्य योगदान (Key Contributions)

• TCSL स्कोर: एक नया मेट्रिक जो कोर और स्प्यूरियस फीचर्स की लर्निंग कठिनाई को अलग-अलग मापता है, जो सिम्प्लिसिटी बायस के तहत मौजूदा स्कोर की विफलता को संबोधित करता है।
• TCSL-CS एल्गोरिदम: एक ग्रुप-रोबस्ट कोरेसेट सिलेक्शन विधि जो ग्रुप लेबल्स तक पहुँच के बिना उच्च वर्स्ट-ग्रुप एक्यूरेसी प्राप्त करती है। यह औसत सटीकता और वर्स्ट-ग्रुप प्रदर्शन के बीच संतुलन बनाने के लिए TCSL स्कोर का लाभ उठाती है।
• सैद्धांतिक विश्लेषण: NTK रिजीम के तहत एक कठोर विश्लेषण जो सिद्ध करता है कि स्प्यूरियस फीचर्स शुरुआती लर्निंग डायनेमिक्स पर हावी होते हैं, जिससे यह स्पष्ट होता है कि मानक लॉस-आधारित स्कोर क्यों विफल होते हैं।
• अनुभवजन्य श्रेष्ठता (Empirical Superiority): यह प्रदर्शित करना कि TCSL-CS द्वारा चयनित मानक ERM मॉडल, मूल प्रशिक्षण डेटा के केवल 10% का उपयोग करते हुए भी स्टेट-ऑफ-द-आर्ट डीबायसिंग तकनीकों (जिनके लिए ग्रुप लेबल्स की आवश्यकता होती है) से बेहतर प्रदर्शन करता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने स्प्यूरियस कोरिलेशन के लिए ज्ञात चार डेटासेट्स पर TCSL-CS का मूल्यांकन किया: Waterbirds, cMNIST, MetaShift, और UrbanCars-B।

• डीबायसिंग बेसलाइन्स बनाम प्रदर्शन: Waterbirds पर, TCSL-CS ने एक मानक ERM मॉडल की WGA में 10.44% का सुधार किया, जो GroupDRO (जिसे ग्रुप लेबल्स की आवश्यकता होती है) और अन्य डीबायसिंग विधियों जैसे LC, DFR, और JTT से बेहतर है। cMNIST (जहाँ स्प्यूरियस कोरिलेशन अत्यंत मजबूत, $\alpha=0.995$ है) पर, TCSL-CS ने अगले सर्वश्रेष्ठ मेथड से 11% से अधिक की बढ़त बनाई।
• कोरेसेट सिलेक्शन बेसलाइन्स बनाम प्रदर्शन: TCSL-CS ने सभी डेटासेट्स पर मानक कोरेसेट सिलेक्शन विधियों (EL2N, SelfSup, Random, D2) को महत्वपूर्ण रूप से पछाड़ दिया। उदाहरण के लिए, Waterbirds पर, EL2N-आधारित विधियों ने 39.88% जितना कम WGA स्कोर प्राप्त किया, जबकि TCSL-CS ने 91.91% प्राप्त किया।
• डेटा दक्षता: विधि ने केवल 10% प्रशिक्षण डेटा का उपयोग करके स्टेट-ऑफ-द-आर्ट प्रदर्शन हासिल किया।
• एब्लेशन स्टडीज: प्रयोगों ने पुष्टि की कि $TCSL_s$ और $TCSL_c$ सफलतापूर्वक स्प्यूरियस और कोर फीचर कठिनाइयों को अलग करते हैं, जो क्रमशः केवल स्प्यूरियस या कोर फीचर्स पर प्रशिक्षित मॉडल्स से प्राप्त स्कोर के साथ उच्च कोसाइन सिमिलैरिटी दिखाते हैं।

महत्व और दावे (Significance and Claims)

लेखक दावा करते हैं कि TCSL-CS एक स्केलेबल और सिद्धांतिक दृष्टिकोण प्रदान करता है। मौजूदा विधियों के विपरीत जिन्हें जटिल ऑप्टिमाइज़ेशन या ग्रुप लेबल्स की आवश्यकता होती है, TCSL-CS:

1. मानक ERM को बनाए रखता है: यह चयनित कोरेसेट पर मानक ERM प्रशिक्षण के उपयोग की अनुमति देता है, जिससे अंतिम प्रशिक्षण चरण के दौरान विशेष लॉस फंक्शन या ऑप्टिमाइज़ेशन प्रक्रियाओं की आवश्यकता नहीं होती है।
2. कंप्यूटेशनल लागत को कम करता है: एक छोटा उपसमुच्चय (जैसे 10%) चुनकर, यह बड़े मॉडल्स को प्रशिक्षित करने के कम्प्यूटेशनल बोझ को काफी कम कर देता है, क्योंकि महंगी कोरेसेट सिलेक्शन प्रक्रिया एक बार की जाती है, और परिणामी उपसमुच्चय का पुन: उपयोग किया जा सकता है।
3. सामान्यीकरण (Generalizability): चयनित कोरेसेट्स आर्किटेक्चर-अज्ञेय (architecture-agnostic) हैं, जो विभिन्न मॉडल बैकबोन (ResNet, Inception, DenseNet) में सुसंगत प्रदर्शन लाभ प्रदान करते हैं।

लेखक अपने कार्य को विशेष रूप से ग्रुप लेबल्स की अनुपस्थिति में उच्च औसत और उच्च वर्स्ट-ग्रुप एक्यूरेसी प्राप्त करने के लिए डिज़ाइन किए गए पहले कोरेसेट सिलेक्शन एल्गोरिदम के रूप में प्रस्तुत करते हैं, जो डेटा चयन पर सिम्प्लिसिटी बायस के नकारात्मक प्रभाव को प्रभावी ढंग से कम करता है।