🤖 machine learning

When Losses Align: Gradient-Based Composite Loss Weighting for Efficient Pretraining

यह शोध पत्र एक ग्रेडिएंट-आधारित बाइलेवल (bilevel) विधि प्रस्तावित करता है जो कंपोजिट ग्रेडिएंट्स को डाउनस्ट्रीम उद्देश्यों के साथ संरेखित करके प्रीट्रेनिंग लॉस वेट्स (pretraining loss weights) को कुशलतापूर्वक ऑनलाइन सीखता है, जो रैंडम या बायेसियन सर्च की तुलना में हाइपरपैरामीटर ट्यूनिंग की कम्प्यूटेशनल लागत को काफी कम करता है और प्रदर्शन में सुधार करता है या उसके बराबर रहता है।

मूल लेखक: Ivan Karpukhin, Andrey Savchenko

प्रकाशित 2026-05-11

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ivan Karpukhin, Andrey Savchenko

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को मास्टर शेफ बनने के लिए प्रशिक्षित कर रहे हैं। इसके लिए, आप उसे केवल एक रेसिपी नहीं देते; बल्कि आप उसे हजारों अलग-अलग खाना पकाने के कार्यों की एक विशाल लाइब्रेरी देते हैं: जैसे सब्जियां काटना, मांस को मसाला देना, ब्रेड बेक करना और डेसर्ट को सजाना।

AI की दुनिया में, इस "कार्यों की लाइब्रेरी" को प्रीट्रेनिंग (pretraining) कहा जाता है। रोबोट (AI मॉडल) इन सभी कार्यों से एक साथ सीखता है। हालाँकि, इसमें एक पेच है: प्रत्येक कार्य का अपना एक "स्कोर" (जिसे लॉस (loss) कहा जाता है) होता है। यदि रोबोट ब्रेड जला देता है, तो बेकिंग स्कोर बढ़ जाता है। यदि वह प्याज काटने में बहुत धीमा है, तो काटने का स्कोर बढ़ जाता है।

समस्या यह है: रोबोट को ब्रेड की कितनी परवाह करनी चाहिए और प्याज की कितनी?

पुराना तरीका: अनुमान लगाना और जांचना

पारंपरिक रूप से, इंजीनियरों को मैन्युअल रूप से प्रत्येक कार्य के महत्व का निर्णय लेना पड़ता था। वे कह सकते थे, "बेकिंग 50% महत्वपूर्ण है, काटना 30% है।" यदि रोबोट अंतिम काम (जैसे ग्राहक को परोसना) में विफल हो जाता, तो उन्हें फिर से शुरू करना पड़ता, नए नंबरों का अनुमान लगाना पड़ता (शायद 40% बेकिंग, 60% काटना), और रोबोट को फिर से शून्य से प्रशिक्षित करना पड़ता।

यदि आपके पास 10 अलग-अलग कार्य हैं, तो संभावित संयोजनों की संख्या बहुत बड़ी है। उन सभी को आज़माना दुनिया के हर संभव संयोजन को चखकर सही मसाला मिश्रण खोजने जैसा है—इसमें अनंत समय लगता है और बिजली और समय की भारी लागत आती है।

नया तरीका: "अलाइनमेंट" कोच

यह पेपर एक नई विधि पेश करता है जिसे GraP (Gradient-aligned Pretraining) कहा जाता है। वेट्स (weights) का अनुमान लगाने के बजाय, GraP एक स्मार्ट कोच की तरह काम करता है जो रोबट को वास्तविक समय (real-time) में सीखते हुए देखता है।

यह कैसे काम करता है, यहाँ एक सरल उपमा दी गई है:

साझा मस्तिष्क (The Shared Brain): कल्पना करें कि रोबोट के पास एक "साझा मस्तिष्क" (बैकबोन) है जो सभी जानकारी को प्रोसेस करता है, और फिर प्रत्येक कार्य (बेकिंग, काटना, आदि) के लिए अलग-अलग "विशेषज्ञ" (हेड्स) होते हैं।
डाउनस्ट्रीम लक्ष्य (The Downstream Goal): रोबोट का अंतिम लक्ष्य ग्राहक की सेवा करना है। कोच जानता है कि एक आदर्श ग्राहक सेवा कैसी दिखती है।
अलाइनमेंट ट्रिक (The Alignment Trick): हर बार जब रोबोट कोई गलती करता है, तो कोच दो चीजों को देखता है:
- कैसे "बेकिंग विशेषज्ञ" मस्तिष्क को बदलने का सुझाव दे रहा है।
- कैसे "काटने वाला विशेषज्ञ" मस्तिष्क को बदलने का सुझाव दे रहा है।
- महत्वपूर्ण बात: कैसे "ग्राहक सेवा लक्ष्य" मस्तिष्क को बदलने की इच्छा रखता है।

कोच फिर पूछता है: "इनमें से कौन सा विशेषज्ञ मस्तिष्क को उसी दिशा में धकेल रहा है जिस दिशा में ग्राहक सेवा का लक्ष्य है?"

यदि बेकिंग विशेषज्ञ मस्तिष्क को एक सहायक दिशा में धकेल रहा है (लक्ष्य के अनुरूप है), तो कोच बेकिंग को उच्च वेट (higher weight) देता है (अधिक महत्व)। यदि काटने वाला विशेषज्ञ मस्तिष्क को भ्रमित करने वाली या विपरीत दिशा में धकेल रहा है, तो वह उसका वेट कम कर देता है।

यह एक बड़ी बात क्यों है

यह पेपर तीन मुख्य लाभों का दावा करता है:

यह ऑनलाइन (रियल-टाइम) है: कोच यह तय करने के लिए दिन के अंत तक इंतजार नहीं करता। यह प्रशिक्षण के दौरान ही वेट्स को एडजस्ट करता है।
यह सस्ता है: आमतौर पर, यह पता लगाने के लिए कि कौन सा कार्य सबसे महत्वपूर्ण है, आपको रोबोट को अलग-अलग सेटिंग्स के साथ पूरी ट्रेनिंग प्रक्रिया से 50 या 100 बार गुजारना पड़ता। GraP इसे एक ही रन में कर देता है। यह एक ही टेस्टिंग सेशन में सही मसाला मिश्रण खोजने जैसा है, न कि साल भर खाना बनाने के बजाय। पेपर का दावा है कि यह पारंपरिक तरीकों की तुलना में लगभग 98% कंप्यूटेशनल लागत बचाता है।
यह "अनावश्यक" कार्यों को ढूंढ लेता है: अपने प्रयोगों में, इस पद्धति ने महसूस किया कि एक विशिष्ट प्रकार का विजुअल टास्क (Attn-NNCLR) वास्तव में रोबोट को बेहतर सीखने में मदद नहीं कर रहा था। इसने स्वचालित रूप से उस कार्य के वेट को शून्य के करीब कर दिया। यह कोच के यह समझने जैसा है कि, "हे, हमें करतब दिखाने (juggling) का अभ्यास करने की आवश्यकता नहीं है; यह ग्राहक की सेवा करने में मदद नहीं कर रहा है," और उस अभ्यास को पूरी तरह से रोकने जैसा है।

परिणाम

शोधकर्ताओं ने दो बहुत ही अलग प्रकार के "रोबोटों" पर इसका परीक्षण किया:

इवेंट सीक्वेंस (Event Sequences): रोबोट जो घटनाओं के इतिहास के आधार पर भविष्यवाणी करते हैं, जैसे "क्या यह ग्राहक अपनी सदस्यता रद्द करेगा?" या "अगली बार यह उपयोगकर्ता क्या खरीदेगा?"
कंप्यूटर विज़न (Computer Vision): रोबोट जो छवियों (जैसे बिल्ली, कुत्ता या कार) को बिना बताए पहचानना सीखते हैं।

दोनों मामलों में, GraP ने सबसे अच्छे मैन्युअल रूप से ट्यून किए गए रोबोट के समान या उससे बेहतर प्रदर्शन किया, लेकिन उसने यह सब महंगे "अनुमान और जांच" की प्रक्रिया के बिना किया।

सारांश

GraP को एक ऑर्केस्ट्रा के स्व-सुधार करने वाले कंडक्टर (self-correcting conductor) के रूप में समझें। इंजीनियर (कंडक्टर) को यह तय करने में महीनों बिताने की आवश्यकता नहीं है कि वायलिन की आवाज़ ड्रम की तुलना में कितनी तेज़ होनी चाहिए, बल्कि कंडक्टर संगीत बजते ही सुनता है और अंतिम गीत को परफेक्ट बनाने के लिए प्रत्येक वाद्य यंत्र की आवाज़ को तुरंत एडजस्ट करता है। यह समय बचाता है, पैसा बचाता है और काम को कुशलतापूर्वक पूरा करता है।

तकनीकी सारांश: जब नुकसान संरेखित होते हैं: कुशल प्रीट्रेनिंग के लिए ग्रेडिएंट-आधारित कंपोजिट लॉस वेटिंग

समस्या का निरूपण (Problem Formulation)

आधुनिक डीप लर्निंग सिस्टम अक्सर एक दो-चरणीय प्रतिमान (paradigm) का उपयोग करते हैं: बड़े पैमाने पर, अक्सर बिना लेबल वाले डेटा पर प्रीट्रेनिंग, और उसके बाद डाउनस्ट्रीम कार्यों के लिए अनुकूलन (adaptation)। कई प्रीट्रेनिंग पाइपलाइनों में, ऑब्जेक्टिव फंक्शन केवल एक सिंगल लॉस नहीं होता है, बल्कि कई लॉस टर्म्स का एक भारित संयोजन (weighted combination) होता है (जैसे, नेक्स्ट-टोकन प्रेडिक्शन, कॉन्ट्रास्टिव लॉसेस, या रिग्रेशन ऑब्जेक्टिव्स)। इन टर्म्स के सापेक्ष भार (relative weights) महत्वपूर्ण हाइपरपैरामीटर हैं जो सीखे गए रिप्रजेंटेशन की गुणवत्ता और डाउनस्ट्रीम प्रदर्शन को महत्वपूर्ण रूप से प्रभावित करते हैं।

वर्तमान में, इन भारों का चयन मैनुअल ट्यूनिंग, रैंडम सर्च, या बायेसियन ऑप्टिमाइज़ेशन पर निर्भर करता है। बड़े पैमाने की प्रीट्रेनिंग के लिए ये विधियाँ कम्प्यूटेशनल रूप से अत्यधिक महंगी हैं क्योंकि इनके लिए कई स्वतंत्र प्रशिक्षण रन की आवश्यकता होती है। इसके अलावा, साधारण डिफॉल्ट्स, जैसे कि यूनिफॉर्म वेटिंग, विभिन्न लॉस टर्म्स के बीच बदलते योगदान और संघर्षों को समझने में विफल रहते हैं। यह शोध पत्र कंपोजिट प्रीट्रेनिंग ऑब्जेक्टिव्स में लीनियर लॉस वेट्स को ट्यून करने के लिए एक कुशल विधि की आवश्यकता को संबोधित करता है, ताकि बार-बार फुल ट्रेनिंग रन की लागत उठाए बिना डाउनस्ट्रीम टास्क प्रदर्शन को अधिकतम किया जा सके।

कार्यप्रणाली: ग्रेडिएंट-अलाइन्ड प्रीट्रेनिंग (GraP)

लेखक ग्रेडिएंट-अलाइन्ड प्रीट्रेनिंग (GraP) का प्रस्ताव करते हैं, जो एक ग्रेडिएंट-आधारित बाइलेवल ऑप्टिमाइज़ेशन विधि है जो ऑनलाइन लॉस वेट्स को सीखती है। मुख्य विचार कंपोजिट प्रीट्रेनिंग ग्रेडिएंट को डाउनस्ट्रीम ऑब्जेक्टिव के ग्रेडिएंट के साथ संरेखित (align) करना है।

1. बाइलेवल ऑप्टिमाइज़ेशन फॉर्मूलेशन

इस समस्या को एक बाइलेवल ऑप्टिमाइज़ेशन कार्य के रूप में प्रस्तुत किया गया है जहाँ बाहरी लूप (outer loop) डाउनस्ट्रीम लॉस $L_{down}$ को कम करने के लिए लॉस वेट्स $w$ को ऑप्टिमाइज़ करता है, और आंतरिक लूप (inner loop) कंपोजिट प्रीट्रेनिंग लॉस $L_{pre}(w)$ को कम करने के लिए मॉडल पैरामीटर्स $\theta$ को ऑप्टिमाइज़ करता है।
$\min_{w} L_{down}(\theta^*(w)) \quad \text{subject to} \quad \theta^*(w) = \arg\min_{\theta} \sum_{k=1}^K w_k L_k(\theta)$

2. ग्रेडिएंट-आधारित अपडेट नियम

ट्रंकेटेड बैकप्रोपैगेशन अप्रोच (सिंगल-स्टेप SGD) का उपयोग करते हुए, लेखक वेट्स के लिए एक अपडेट नियम व्युत्पन्न करते हैं। डाउनस्ट्रीम लॉस का वेट्स के सापेक्ष ग्रेडिएंट, डाउनस्ट्रीम ग्रेडिएंट और व्यक्तिगत प्रीट्रेनिंग ग्रेडिएंट्स के बीच का इनर प्रोडक्ट (inner product) के समानुपाती होता है:
$\frac{\partial L_{down}}{\partial w_k} \propto -\eta \, g_{down}^\top g_k$
यहाँ $g_{down}$ डाउनस्ट्रीम ग्रेडिएंट है और $g_k$ $k$ -वें प्रीट्रेनिंग लॉस का ग्रेडिएंट है। लक्ष्य कंपोजिट ग्रेडिएंट $\sum w_k g_k$ और डाउनस्ट्रीम ग्रेडिएंट के बीच संरेखण (alignment) को अधिकतम करना है।

3. एम्बेडिंग-स्पेस एप्रोक्सिमेशन

एक साधारण कार्यान्वयन के लिए $g_k$ प्राप्त करने हेतु मॉडल के माध्यम से $K$ फुल बैकवर्ड पास की आवश्यकता होगी। कम्प्यूटेशनल लागत को कम करने के लिए, GraP पूर्ण पैरामीटर स्पेस के बजाय साझा बैकबोन एम्बेडिंग $z$ के सापेक्ष ग्रेडिएंट्स की गणना करता है।
$\tilde{g}_k = \nabla_z L_k(h_k(z))$
चूंकि लॉस एक ही एम्बेडिंग पर अलग-अलग हेड्स के माध्यम से लागू किए जाते हैं, इसलिए इन ग्रेडिएंट्स की गणना करना फुल बैकवर्ड पास की तुलना में काफी सस्ता है। ऑप्टिमाइज़ेशन ऑब्जेक्टिव इस साझा रिप्रजेंटेशन स्पेस में संरेखण को अधिकतम करना बन जाता है:
$\arg\max_{w} \frac{w^\top \tilde{G} \tilde{g}_{down}}{\|w^\top \tilde{G}\|}$

4. नॉर्मलाइजेशन रणनीति

पेपर वेट्स को स्वयं नॉर्मलाइज़ करने (जैसे, $\sum w_k = 1$ ) या उनके $L_2$ नॉर्म को नॉर्मलाइज़ करने के विरुद्ध तर्क देता है, क्योंकि ये कंपोजिट ग्रेडिएंट के इष्टतम दिशा को विकृत कर सकते हैं। इसके बजाय, GraP स्वयं कंपोजिट ग्रेडिएंट के $L_2$ -नॉर्म ( $\|\sum w_k g_k\| = 1$ ) पर एक प्रतिबंध लगाता है। यह सुनिश्चित करता है कि ऑप्टिमाइज़ेशन अपडेट वेक्टर के परिमाण (magnitude) के बजाय उसके दिशा (direction) पर ध्यान केंद्रित करे, जिससे स्थानीय ऑब्जेक्टिव के तहत इष्टतम संरेखण दिशा प्राप्त होती है।

5. एल्गोरिदम दक्षता

परिणामी एल्गोरिदम को प्रत्येक इटरेशन में बैकबोन के माध्यम से केवल एक फॉरवर्ड पास और एक बैकवर्ड पास की आवश्यकता होती है। हेड्स के लिए गणना किए गए ग्रेडिएंट्स का उपयोग वेट्स को अपडेट करने और बैकबोन पैरामीटर्स को अपडेट करने दोनों के लिए किया जाता है। यह हाइपरपैरामीटर ट्यूनिंग के ओवरहेड को एकल प्रशिक्षण रन से लगभग 30% ऊपर तक कम कर देता है, जबकि बायेसियन ऑप्टिमाइज़ेशन की तुलना में यह लागत कई गुना कम है।

मुख्य योगदान

समस्या का निरूपण: लेखक प्रीट्रेनिंग लॉस-वेट सिलेक्शन को स्पष्ट रूप से डाउनस्ट्रीम प्रदर्शन को लक्षित करने वाले बाइलेवल ऑप्टिमाइज़ेशन समस्या के रूप में तैयार करते हैं।
नॉर्मलाइजेशन इनसाइट: वे नॉर्मलाइजेशन रणनीतियों का विश्लेषण करते हैं और प्रदर्शित करते हैं कि अपडेट वेक्टर (कंपोजिट ग्रेडिएंट) के नॉर्म को प्रतिबंधित करना, स्वयं वेट्स को प्रतिबंधित करने की तुलना में बेहतर है, जो इष्टतम संरेखण दिशा को सुरक्षित रखता है।
कुशल एल्गोरिदम: वे GraP का प्रस्ताव करते हैं, जो हाइपरपैरामीटर्स की संख्या के संबंध में $O(1)$ जटिलता वाला एक एल्गोरिदम है। यह कई बैकवर्ड पास से बचने के लिए साझा रिप्रजेंटेशन स्पेस में ग्रेडिएंट अलाइनमेंट का लाभ उठाता है।
अनुभवजन्य दक्षता (Empirical Efficiency): यह विधि मानक हाइपरपैरामीटर ऑप्टिमाइज़ेशन (जैसे, बायेसियन सर्च) के समान या बेहतर प्रदर्शन प्राप्त करती है, जबकि यह लगभग 50 $\times$ अधिक कुशल है, जिससे उन सेटिंग्स में ट्यूनिंग संभव हो जाती है जहाँ पारंपरिक विधियाँ कम्प्यूटेशनल रूप से अव्यवहार्य हैं।
रिडंडेंसी की पहचान: यह दृष्टिकोण रेडंडेंट (redundant) लॉस टर्म्स की पहचान करने और उन्हें कम भार देने की क्षमता प्रदर्शित करता है (जैसे, विजन टास्क में विशिष्ट कॉन्ट्रास्टिव लॉसेस को शून्य के करीब भार देना), जो प्रभावी रूप से एक ऑटोमैटिक लॉस-सिलेक्शन मैकेनिज्म के रूप में कार्य करता है।

प्रयोगात्मक परिणाम

विधि का मूल्यांकन दो डोमेन पर किया गया: इवेंट-सीक्वेंस मॉडलिंग और सेल्फ-सुपरवाइज्ड कंप्यूटर विजन।

इवेंट-सीक्वेंस मॉडलिंग

डेटासेट्स: Churn, AgePred, AlfaBattle, MIMIC-III, और Taobao।
सेटअप: प्रीट्रेनिंग में कई फील्ड्स में नेक्स्ट-टोकन प्रेडिक्शन (NTP) और एक कॉन्ट्रास्टिव लॉस का कंपोजिट ऑब्जेक्टिव शामिल था।
प्रदर्शन: GraP ने सावधानीपूर्वक ट्यून किए गए बेसलाइन्स (जिसमें GradNorm, DWA, MGDA, और PCGrad शामिल हैं) और Optuna-ट्यून किए गए वेट्स की बराबरी की या उनसे बेहतर प्रदर्शन किया। इसने RNN, Transformer, और HT-Transformer बैकब्रोन्स पर Churn और MIMIC-III डेटासेट्स पर लगातार सर्वश्रेष्ठ परिणाम प्राप्त किए।
दक्षता: बायेसियन ऑप्टिमाइज़ेशन (Optuna) की तुलना में, जिसके लिए दर्जनों स्वतंत्र रन की आवश्यकता होती है, GraP ने एक ही प्रशिक्षण रन और मध्यम ओवरहेड (औसत 44% थ्रूपुट स्लोडाउन) के साथ समान प्रदर्शन प्राप्त किया।

सेल्फ-सुपरवाइज्ड कंप्यूटर विज़न

सेटअप: All4One फ्रेमवर्क (Barlow Twins, BYOL, और NNCLR ऑब्जेक्टिव्स को जोड़ते हुए) का उपयोग करके CIFAR-10, CIFAR-100, और ImageNet-100 पर मूल्यांकन किया गया।
प्रदर्शन: इस सेटिंग में, जहाँ ऑब्जेक्टिव्स अक्सर अच्छी तरह से संतुलित होते हैं, GraP ने डिफॉल्ट All4One पैरामीटर्स और अन्य मल्टी-टास्क लर्निंग विधियों के समान प्रदर्शन किया।
लॉस सिलेक्शन: विशेष रूप से, GraP ने Attn-NNCLR लॉस को लगभग शून्य भार दिया। इस लॉस को मैन्युअल रूप से हटाने से समान प्रदर्शन प्राप्त हुआ, जो कम प्रभाव वाले या रेडंडेंट ऑब्जेक्टिव्स की पहचान करने की इसकी क्षमता को प्रमाणित करता है।

एब्लेशन स्टडीज (Ablation Studies)

लेबल लीकेज: लेबल ट्यूनिंग के लिए उपयोग किए गए लेबल डेटा के अंश को बदलने वाले प्रयोगों ने मजबूती (robustness) दिखाई, जो सुझाव देते हैं कि लेबल बैकबोन के लिए प्रत्यक्ष सुपरविजन के बजाय एक कमजोर मार्गदर्शन संकेत प्रदान करते हैं।
नॉर्मलाइजेशन: प्रस्तावित कंपोजिट-ग्रेडिएंट नॉर्मलाइजेशन ने मानक वेट-सम नॉर्मलाइजेशन से बेहतर प्रदर्शन किया।
ऑक्सिलरी ट्रेनिंग: GraP के साथ प्रीट्रेनिंग के बाद सुपरवाइज्ड फाइन-ट्यूनिंग ने जॉइंट ऑक्सिलरी ट्रेनिंग की तुलना में बेहतर प्रदर्शन किया, जो संभवतः सीमित लेबल वाले डेटा पर ओवरफिटिंग को कम करने के कारण है।

महत्व और दावे

यह पेपर दावा करता है कि ग्रेडिएंट-आधारित लॉस-वेट ऑप्टिमाइज़ेशन, क्लासिकल मल्टी-टास्क लर्निंग और सर्च-आधारित हाइपरपैरामीटर ऑप्टिमाइज़ेशन का एक व्यावहारिक और कुशल विकल्प है। इसका प्राथमिक महत्व इसे कई लॉस टर्म्स के साथ बड़े पैमाने की प्रीट्रेनिंग परिदृश्यों के लिए व्यवहार्य बनाना है, जहाँ पारंपरिक विधियाँ कम्प्यूटेशनल रूप से अत्यधिक महंगी हैं।

लेखक इस बात पर जोर देते हैं कि GraP के लिए कई प्रशिक्षण रन की आवश्यकता नहीं होती है, जो इसे सीमित कम्प्यूटेशनल बजट वाली सेटिंग्स के लिए उपयुक्त बनाता है। हालांकि यह विधि प्रत्येक लॉस के लिए अलग हेड्स को मानती है, लेकिन यह डाउनस्ट्रीम लक्ष्य के साथ प्रीट्रेनिंग अपडेट दिशा को संरेखित करके परस्पर विरोधी ऑब्जेक्टिव्स के बीच ट्रेड-ऑफ को प्रभावी ढंग से संभालती है। यह कार्य सुझाव देता है कि जटिल प्रीट्रेनिंग पाइपलाइनों में, लॉस वेट्स का ऑटोमैटिक, ऑनलाइन अलाइनमेंट ऐसे रिप्रजेंटेशन दे सकता है जो महंगे मैनुअल ट्यूनिंग या ब्लैक-बॉक्स सर्च से प्राप्त रिप्रजेंटेशन के समान या उनसे बेहतर होते हैं।