🔢 mathematics

Robust Learning of a Group DRO Neuron

यह शोध पत्र एक ग्रुप डिस्ट्रीब्यूशनली रोबस्ट ऑप्टिमाइज़ेशन समस्या को हल करके, जो समूह वितरणों के कॉनवेक्स कॉम्बिनेशन पर वर्स्ट-केस स्क्वेयर्ड लॉस को कम करता है, मनमाने लेबल नॉइज़ और ग्रुप-लेवल डिस्ट्रीब्यूशनल शिफ्ट्स के तहत एक सिंगल न्यूरॉन को मजबूती से सीखने के लिए एक कम्प्यूटेशनल रूप से कुशल प्राइमल-डुअल एल्गोरिदम प्रस्तुत करता है, जो कॉन्स्टेंट-फैक्टर कॉम्पिटिटिव गारंटी प्रदान करता है और LLM प्री-ट्रेनिंग बेंचमार्क पर अपनी क्षमता प्रदर्शित करता है।

मूल लेखक: Guyang Cao, Shuyao Li, Sushrut Karmalkar, Jelena Diakonikolas

प्रकाशित 2026-06-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Guyang Cao, Shuyao Li, Sushrut Karmalkar, Jelena Diakonikolas

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शिक्षक हैं जो एक एकल छात्र (एक न्यूरॉन) को सही उत्तर देने के लिए प्रशिक्षित करने की कोशिश कर रहे हैं। यह छात्र K अलग-अलग समूहों के लोगों के एक कक्षा से सीख रहा है। प्रत्येक समूह का अपना बोलने का तरीका, अपनी पृष्ठभूमि और प्रश्न पूछने की अपनी शैली है।

यहाँ आपका काम पेचीदा है:

शोर (The Noise): हर समूह में कुछ छात्र झूठ बोल रहे हैं या गलत उत्तर दे रहे हैं (लेबल नॉइज़)।
बदलाव (The Shift): शिक्षक को यह नहीं पता कि कल कौन सा समूह सामने आएगा। शायद कल, समूह A 90% होगा और केवल 10% समूह B होगा। या फिर इसके विपरीत भी हो सकता है।
लक्ष्य: आप अपने छात्र को इस तरह प्रशिक्षित करना चाहते हैं कि वह चाहे समूहों का मिश्रण कैसा भी हो, सबसे खराब स्थिति में भी अच्छा प्रदर्शन करे।

यह शोध पत्र इस छात्र को प्रशिक्षित करने का एक नया, स्मार्ट तरीका प्रस्तुत करता है।

समस्या: एक "अनुचित" कक्षा

मानक मशीन लर्निंग में, हम आमतौर पर यह मान लेते हैं कि कक्षा में हर कोई समान रूप से महत्वपूर्ण है। लेकिन वास्तविक दुनिया में, कुछ समूह कम प्रतिनिधित्व वाले हो सकते हैं, या कुछ समूह सीखने के लिए "कठिन" हो सकते हैं।

यदि आप बस सभी के उत्तरों का औसत निकालते हैं, तो आपका छात्र समूह A के प्रश्नों में बहुत अच्छा हो सकता है लेकिन समूह B के लिए बहुत खराब। यदि समूह B अचानक बहुमत (एक "वितरण संबंधी बदलाव" या distributional shift) बन जाता है, तो आपका छात्र विफल हो जाता है।

लेखक पूछते हैं: हम एक ऐसा छात्र कैसे खोजें जो इन समूहों के सबसे खराब मिश्रण के प्रति भी मजबूत हो, भले ही कुछ छात्र हमसे झूठ बोल रहे हों?

समाधान: एक "प्राइमल-डुअल" नृत्य (Primal-Dual Dance)

लेखकों ने एक नया एल्गोरिदम बनाया है जो एक शिक्षक (मॉडल) और एक पर्यवेक्षक (रीवेटिंग सिस्टम) के बीच एक दो-व्यक्ति नृत्य की तरह काम करता है।

शिक्षक (Primal): छात्रों के वर्तमान मिश्रण के आधार पर सही उत्तर सीखने की कोशिश करता है।
पर्यवेक्षक (Dual): एक "सबसे खराब स्थिति वाले परिदृश्य" के जासूस के रूप में कार्य करता है। यह लगातार पूछता है, "यदि हम अभी समूह B को सबसे महत्वपूर्ण समूह बना दें, तो क्या शिक्षक विफल हो जाएगा?" यदि उत्तर हाँ है, तो पर्यवेक्षक अपना ध्यान समूह B की ओर स्थानांतरित कर देता है।

गुप्त नुस्खा: "एक्सट्रपलेशन" (Extrapolation) ट्रिक
आमतौर पर, जब पर्यवेक्षक अपना ध्यान बदलता है, तो वह इसे धीरे-धीरे, चरण-दर-चरण करता है। यह शोध पत्र एक चतुर ट्रिक पेश करता है जिसे "डुअल एक्सट्रपलेशन" कहा जाता है।

उपमा: कल्पना कीजिए कि पर्यवेक्षक एक लक्ष्य की ओर चल रहा है। केवल एक छोटा कदम उठाने के बजाय, वह देखता है कि वह दो कदम पहले कहाँ था और अब कहाँ है, और वह भविष्य की ओर "झुककर" एक बड़ा, स्मार्ट कदम उठाता है।
यह क्यों मायने रखता है: यह एल्गोरिदम को बहुत तेज़ी से और अधिक कुशलता से आगे बढ़ने की अनुमति देता है। शोध पत्र नोट करता है कि "पर्यवेक्षक" पक्ष (समूह भार/weights) पर ऐसा करना, "शिक्षक" पक्ष (जटिल मॉडल पैरामीटर) पर करने की तुलना में बहुत सस्ता और लागू करने में आसान है, विशेष रूप से LLMs जैसे विशाल मॉडलों के लिए।

गारंटी: "काफी अच्छा" ही लक्ष्य है

लेखक स्वीकार करते हैं कि जब डेटा अव्यवस्थित हो और समस्या "नॉन-कॉन्वेक्स" (एक फैंसी शब्द जिसका अर्थ है कि परिदृश्य पहाड़ियों और घाटियों से भरा है, न कि एक चिकने कटोरे जैसा) हो, तो एकदम सटीक उत्तर खोजना गणितीय रूप से असंभव है।

इसके बजाय, वे सिद्ध करते हैं कि उनका एल्गोरिदम एक ऐसा छात्र खोजता है जो प्रतिस्पर्धी (competitive) है।

दावा: उनका छात्र लगभग उतना ही अच्छा प्रदर्शन करेगा जितना कि "सर्वश्रेष्ठ संभव" छात्र कर सकता है, भले ही उस सर्वश्रेष्ठ छात्र को पता हो कि कौन सा समूह सबसे कठिन होगा।
कैच (Catch): वे पूर्णता (100% सटीकता) का वादा नहीं करते हैं, लेकिन वे यह वादा करते हैं कि वे सर्वश्रेष्ठ संभव प्रदर्शन के "एक स्थिर कारक" (constant factor) के भीतर रहेंगे। इसे ऐसे समझें कि आपको "A-" ग्रेड मिलता है जबकि सर्वश्रेष्ठ संभव ग्रेड "A" है, भले ही परीक्षा झूठ बोलने वालों और पेचीदा सवालों के साथ हेरफेर की गई हो।

वास्तविक दुनिया का परीक्षण: AI को प्रशिक्षित करना

यह दिखाने के लिए कि यह केवल कागज पर गणित नहीं है, लेखकों ने Sheared LLaMA के एक संस्करण (विशेष रूप से एक Large Language Model) को प्रशिक्षित करने पर अपने तरीके का परीक्षण किया।

सेटअप: उन्होंने डेटा बैचों को मिलाने के पारंपरिक तरीके को अपने नए "पर्यवेक्षक" एल्गोरिदम से बदल दिया।
परिणाम: उनके तरीके ने पिछले सर्वोत्तम तरीके (DoReMi) की तुलना में विभिन्न कार्यों (जैसे तर्क पहेलियाँ और पठन बोध) पर तेजी से सीखा और उच्च सटीकता प्राप्त की।
निष्कर्ष: "डुअल एक्सट्रपलेशन" ट्रिक ने उनके AI मॉडल को स्थिर होने और बेहतर सीखने में मदद की, जिससे यह साबित हुआ कि यह सैद्धांतिक गणित वास्तव में बड़े AI मॉडलों को स्मार्ट बना सकता है।

सारांश

यह शोध पत्र एक कठिन समस्या का समाधान करता है: एक सरल AI मस्तिष्क को झूठ बोलने वालों और बदलते समूह डायनेमिक्स के खिलाफ मजबूत बनाने के लिए कैसे प्रशिक्षित किया जाए?

उन्होंने एक दो-चरणीय प्रणाली बनाई है जहाँ एक "पर्यवेक्षक" लगातार सबसे खराब स्थिति की जाँच करता है और "शिक्षक" को सबसे कठिन समूहों पर ध्यान केंद्रित करने के लिए प्रेरित करता है। पर्यवेक्षक के पक्ष पर एक "आगे की ओर छलांग लगाने" वाली तकनीक (एक्सट्रपलेशन) का उपयोग करके, उन्होंने इसे तेज़ और कुशल बनाया। उन्होंने सिद्ध किया कि यह वास्तव में काम करता है और दिखाया कि यह वास्तविक दुनिया के AI मॉडलों को अधिक मजबूत बनाने में मदद करता है।

तकनीकी सारांश: एक ग्रुप DRO न्यूरॉन का सुदृढ़ शिक्षण (Robust Learning)

समस्या विवरण
यह शोध पत्र वर्गाकार हानि (squared loss) $\mathbb{E}[(\sigma(w^\top x) - y)^2]$ के तहत एक एकल न्यूरॉन को सीखने की समस्या को संबोधित करता है, जो एक वेक्टर $w$ द्वारा पैरामीटराइज्ड है। यह परिवेश दो साथ चल रही चुनौतियों से चिह्नित है:

एडवर्सरियल लेबल नॉइज़ (Adversarial Label Noise): लेबल $y$ में मनमाने ढंग से भ्रष्टाचार (corruptions) हो सकते हैं, जो इस समस्या को एगोस्टिक लर्निंग (agnostic learning) के क्षेत्र में ले जाता है जहाँ लक्षित फलन (target function) वास्तविक (realizable) नहीं हो सकता है।
ग्रुप डिस्ट्रीब्यूशनल शिफ्ट्स (Group Distributional Shifts): प्रशिक्षण डेटा $K$ अलग-अलग समूहों से उत्पन्न होता है, जिनकी वितरण विधियाँ $p^{[1]}, \dots, p^{[K]}$ हैं। लक्ष्य एक ऐसा मॉडल खोजना है जो समूहों के सबसे खराब-मामले वाले पुनर्रचना (reweighting) के तहत अच्छा प्रदर्शन करे, जिसे ग्रुप डिस्ट्रीब्यूशनल ऑप्टिमाइज़ेशन (Group DRO) समस्या के रूप में औपचारिक रूप दिया गया है।

उद्देश्य नियमितकृत (regularized) सबसे खराब-मामले वाली हानि को कम करना है:
$\min_{w \in B(W)} \max_{\lambda \in \Delta^K} \left( \sum_{i=1}^K \lambda^{[i]} \mathbb{E}_{p^{[i]}}[(\sigma(w^\top x) - y)^2] - \nu d_f(\lambda, \tfrac{1}{K}\mathbf{1}) \right)$
जहाँ $\nu \ge 0$ एक नियमितीकरण पैरामीटर है, $d_f$ एक स्ट्रॉन्गली कॉन्वेक्स $f$ -डाइवर्जेंस (जैसे KL या $\chi^2$ ) है, और लक्ष्य एक ऐसा अनुमान $\hat{w}$ प्राप्त करना है जो सबसे खराब-मामले वाले समूह भारण (group weighting) के तहत इष्टतम पैरामीटर $w^*$ के साथ कॉन्स्टेंट-फैक्टर प्रतिस्पर्धी हो।

कार्यप्रणाली (Methodology)
लेखक इस नॉन-कॉन्वेक्स-कॉन्केव सैडल-पॉइंट समस्या को हल करने के लिए एक गणनात्मक रूप से कुशल प्राइमल-डुअल एल्गोरिदम (एल्गोरिदम 1) विकसित करते हैं। दृष्टिकोण कई प्रमुख तकनीकी घटकों पर निर्भर करता है:

संरचनात्मक धारणाएँ (Structural Assumptions): विश्लेषण यह मानता है कि एक्टिवेशन फंक्शन $\sigma$ कॉन्वेक्स और $(\alpha, \beta)$ -अनबाउंडेड (जैसे ReLU) है। कोवेरिएट वितरण सब-एक्सपोनेन्शियल टेल बाउंड्स (धारणा 1.2) और एक यूनिफॉर्म मार्जिन कंडीशन (धारणा 1.3) को संतुष्ट करते हैं, जो यह सुनिश्चित करता है कि मार्जिन क्षेत्र के भीतर कोवेरिएंस मैट्रिक्स सभी समूहों और वेट वेक्टर्स के लिए यूनिफॉर्मली वेल-कंडीशन्ड है।
सरोगेट ग्रेडिएंट्स (Surrogate Gradients): चूंकि $\sigma$ डिफरेंशिएबल नहीं हो सकता है, इसलिए एल्गोरिदम एक सरोगेट ग्रेडिएंट $v(w; x, y) = 2\beta(\sigma(w^\top x) - y)x$ का उपयोग करता है।
डुअल-साइड एक्सट्रपलेशन (Dual-Side Extrapolation): एल्गोरिदम की एक विशिष्ट विशेषता डुअल वेरिएबल $\lambda \in \Delta^K$ पर एक्सट्रपलेशन (मोमेंटम) का उपयोग करना है, न कि प्रिमल वेरिएबल $w$ पर। यह मेमोरी दक्षता के लिए चुना गया है, क्योंकि आमतौर पर समूहों की संख्या $K$ , आयाम $d$ की तुलना में बहुत कम होती है।
लिनियराइजेशन लेम्मा (Linearization Lemma): लॉस की नॉन-कॉन्वेक्सिटी और एक्सट्रपलेशन स्टेप (जो नेगेटिव एंट्री वाले डुअल वेक्टर्स बना सकता है) को संभालने के लिए, लेखक एक "लिनियराइजेशन" लेम्मा (लेम्मा 3.5) सिद्ध करते हैं। यह परिणाम सरोगेट ग्रेडिएंट का उपयोग करके मीन स्क्वेर्ड लॉस को नीचे से बाउंड करता है, जिससे जटिल हायर-ऑर्डर एरर टर्म्स से बचा जा जा सकता है जो डुअल इटरेट्स के बीच डाइवर्जेंस पर निर्भर करते हैं। यह ढांचा $\nu \to 0$ और KL जैसे वैकल्पिक डाइवर्जेंस को संभालने की अनुमति देता है, जो पिछले कार्यों के विपरीत है जो बड़े $\nu$ वाले $\chi^2$ तक सीमित थे।
अभिसरण विश्लेषण (Convergence Analysis): प्रमाण एक हाइब्रिड रेफरेंस पॉइंट $(w^*, \lambda^*)$ के सापेक्ष एक गैप फंक्शन को बाउंड करके अभिसरण स्थापित करता है। एम्पिरिकल शार्पनेस से प्राप्त लोअर बाउंड और एल्गोरिदम के अपडेट रूल्स से प्राप्त अपर बाउंड को जोड़कर, लेखक दिखाते हैं कि इटरेट्स एक ऐसे समाधान की ओर अभिसरित होते हैं जहाँ $w^*$ से स्क्वेर्ड डिस्टेंस, इष्टतम सबसे खराब-समूह लॉस और एक एरर टर्म $\epsilon$ के एक कॉन्स्टेंट फैक्टर द्वारा बाउंडेड है।

प्रमुख योगदान

गारंटी के साथ पहला कुशल एल्गोरिदम: यह शोध पत्र प्रतिकूल लेबल शोर और ग्रुप डिस्ट्रीबशनल शिफ्ट दोनों के तहत एकल न्यूरॉन सीखने के लिए गारंटी के साथ पहला कम्प्यूटेशनल रूप से कुशल एल्गोरिदम प्रदान करता है।
शिथिल धारणाएँ (Relaxed Assumptions): हाल के कार्य [LKDD24] की तुलना में, यह दृष्टिकोण:
- $\chi^2$ के बजाय $\chi^2$ सहित $f$ -डाइवर्जेंस के व्यापक वर्ग को लागू करता है।
- बड़े नियमितीकरण पैरामीटर $\nu$ की आवश्यकता को हटाता है, जिससे अनरेगुलराइज्ड $\nu=0$ शासन को भी संभाला जा सकता है।
- लॉस पर प्रतिबंधात्मक फोर्थ-मोमेंट धारणाओं को समाप्त करता है।
- प्रिमल-साइड एक्सट्रपलेशन के बजाय डुअल-साइड एक्सट्रपलेशन का उपयोग करता है, जो अधिक मेमोरी-एफिशिएंट है और मानक सॉल्वर के साथ संगत है।
सैंपल कॉम्प्लेक्सिटी: एल्गोरिदम $\tilde{O}(Kd/\epsilon^2)$ की सैंपल कॉम्प्लेक्सिटी प्राप्त करता है, जो लॉगरिदमिक फैक्टर्स तक ज्ञात इष्टतम दरों से मेल खाता है।

परिणाम

सैद्धांतिक गारंटी: थ्योरम 3.1 बताता है कि पर्याप्त नमूनों के साथ, एल्गोरिदम ऐसा $\hat{w}$ आउटपुट करता है कि $\|\hat{w} - w^*\|_2^2 \le C \cdot \text{OPT}_m + \epsilon$ , जहाँ $\text{OPT}_m$ अपने सबसे खराब प्रदर्शन करने वाले समूह पर इष्टतम पैरामीटर का लॉस है, और $C > 1$ एक यूनिवर्सल कॉन्स्टेंट है।
एम्पिरिकल मूल्यांकन: लेखकों ने अपने प्रिमल-डुअल मेथड को KL-डाइवर्जेंस रेगुलराइजेशन (PD-KL) के साथ Sheared-LLaMA-1.3B मॉडल के प्री-ट्रेनिंग में एकीकृत करते हुए प्रारंभिक प्रयोग किए।
- DoReMi बेसलाइन (डायनामिक बैच लोडिंग) की तुलना में, PD-KL एल्गोरिदम ने 11 डाउनस्ट्रीम टास्क पर अनवेटेड एवरेज एक्यूरेसी में निरंतर सुधार दिखाया।
- 33.6M टोकन पर, PD-KL मॉडल ने 47.87% एक्यूरेसी प्राप्त की, जो एक ऐसा स्तर है जिसे बेसलाइन को प्राप्त करने के लिए 1.5 गुना अधिक ट्रेनिंग टाइम की आवश्यकता थी।
- लेखक इन परिणामों को एक "प्रारंभिक अन्वेषण" के रूप में नोट करते हैं, जो सुझाव देते हैं कि नियमितीकृत डुअल-एक्सट्रपलेटेड रीवेटिंग का सैद्धांतिक अपडेट नियम बड़े पैमाने पर भाषा मॉडल प्री-ट्रेनिंग और अन्य जटिल नॉन-कॉन्वेक्स सेटिंग्स में व्यावहारिक लाभ प्रदान कर सकता है।

महत्व और दावे
यह शोध पत्र नॉन-कॉन्वेक्स ग्रुप DRO की सैद्धांतिक समझ में एक महत्वपूर्ण अंतर को पाटने का दावा करता है, जो डीप लर्निंग में प्रचलित एक सेटिंग है लेकिन पहले मनमाने शोर के तहत कठोर गारंटी की कमी थी। यह प्रदर्शित करके कि अत्यधिक कठिन परिस्थितियों में भी एकल न्यूरॉन के लिए एक कॉन्स्टेंट-फैक्टर एप्रोक्सिमेशन संभव है, यह कार्य विषम डेटा वातावरण में सुदृढ़ शिक्षण के लिए एक सैद्धांतिक आधार प्रदान करता है। लेखक अपने प्रयोगात्मक परिणामों को "प्रारंभिक अन्वेषण" के रूप में विनम्रतापूर्वक प्रस्तुत करते हैं, जो सुझाव देते हैं कि नियमितकृत डुअल-एक्सट्रपलेशन रीवेटिंग को बड़े पैमाने पर भाषा मॉडल प्री-ट्रेनिंग और अन्य जटिल नॉन-कॉन्वेक्स सेटिंग्स में आगे की जांच की आवश्यकता है। वे स्पष्ट रूप से कहते हैं कि भविष्य के कार्य इन अपडेट्स को व्यापक अनुप्रयोगों तक विस्तारित कर सकते हैं और ग्लोबल ऑप्टिमम $\text{OPT}$ के बजाय वर्स्ट-ग्रुप ऑप्टिमम $\text{OPT}_m$ के सापेक्ष एरर गारंटियों को मजबूत कर सकते हैं।

समस्या: एक "अनुचित" कक्षा

समाधान: एक "प्राइमल-डुअल" नृत्य (Primal-Dual Dance)

गारंटी: "काफी अच्छा" ही लक्ष्य है

वास्तविक दुनिया का परीक्षण: AI को प्रशिक्षित करना

सारांश

इसी तरह के और पेपर