🤖 machine learning

A Tale of Two Problems: Multi-Task Bilevel Learning Meets Equality Constrained Multi-Objective Optimization

यह शोध पत्र ढीली उत्तलता मान्यताओं (relaxed convexity assumptions) के तहत मल्टी-टास्क बाइलेवल लर्निंग को एक समानता-प्रतिबंधित मल्टी-ऑब्जेक्टिव ऑप्टिमाइज़ेशन में पुनर्गठित करके पूर्व और पश्चात के बीच सेतु बनाता है, जिसके लिए लेखक एक नवीन भारित चेबिशेव-पेनल्टी एल्गोरिदम प्रस्तावित करते हैं जो KKT-आधारित पारेटो स्टेशनैरिटी (Pareto stationarity) की ओर परिमित-समय अभिसरण प्राप्त करता है और व्यवस्थित रूप से पारेटो फ्रंट का अन्वेषण करता है।

मूल लेखक: Zhiyao Zhang, Myeung Suk Oh, Zhen Qin, Jiaxiang Li, Xin Zhang, Jia Liu

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhiyao Zhang, Myeung Suk Oh, Zhen Qin, Jiaxiang Li, Xin Zhang, Jia Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "A Tale of Two Problems" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ अनुवाद दिया गया है।

बड़ी तस्वीर: दो समस्याओं की एक उलझी हुई गांठ

कल्पना कीजिए कि आप एक परफेक्ट केक (Upper Level) बनाने की कोशिश कर रहे हैं। लेकिन उस केक को बनाने के लिए, आपको पहले एक परफेक्ट रेसिपी (Lower Level) ढूंढनी होगी।

मशीन लर्निंग की दुनिया में, इसे Bilevel Optimization कहा जाता है। आप केक को बेहतर बनाने के लिए लगातार रेसिपी में बदलाव करते रहते हैं, लेकिन रेसिपी खुद इस आधार पर बदलती है कि आपके पास कौन सी सामग्री उपलब्ध है।

अब, कल्पना कीजिए कि आप सिर्फ एक परफेक्ट केक नहीं चाहते। आप एक ऐसा केक चाहते हैं जो:

स्वादिष्ट हो (स्वाद - Taste)
स्वस्थ हो (पोषण - Nutrition)
सस्ता हो (लागत - Cost)
बनाने में तेज़ हो (गति - Speed)

ये लक्ष्य अक्सर आपस में टकराते हैं। इसे स्वास्थ्यवर्धक बनाने से स्वाद खराब हो सकता है या लागत बढ़ सकती है। इसे Multi-Task Learning कहते हैं।

समस्या:
वर्षों तक, वैज्ञानिक इस "केक बनाम रेसिपी" वाली पहेली को केवल तभी हल कर सके जब रेसिपी बहुत सरल और अनुमानित (गणितीय रूप से, "strongly convex") हो। लेकिन आधुनिक AI अव्यवस्थित और जटिल है। पुराने नियम तब टूट जाते हैं जब रेसिपी पूरी तरह से अनुमानित नहीं होती। इसके अलावा, जब आपके पास एक साथ कई परस्पर विरोधी लक्ष्य (स्वाद, स्वास्थ्य, लागत) हों, तो इसे कैसे हल किया जाए, इसका तरीका भी किसी को पता नहीं था।

पेपर का समाधान: एक जादुई रूपांतरण (Transformation)

लेखक, झियाओ झांग (Zhiyao Zhang) और उनके सहयोगियों ने कहा: "आइए इस गांठ को सीधे सुलझाने की कोशिश करना बंद करें। इसके बजाय, आइए इस पूरी चीज़ को एक अलग प्रकार की पहेली में बदल दें जिसे हम हल कर सकें।"

वे एक चतुर तकनीक प्रस्तावित करते हैं: द ट्रांसफॉर्मेशन (The Transformation)।

"रेसिपी की खोज" से "नियमों के पालन" तक:
कंप्यूटर को "सबसे अच्छी रेसिपी खोजने" के लिए कहने के बजाय, वे उसे कहते हैं: "बस यह सुनिश्चित करो कि रेसिपी भौतिकी के बुनियादी नियमों का पालन करती हो (गणितीय रूप से, प्रथम-क्रम की स्थिरता की स्थिति या first-order stationarity condition)।"

उपमा: भूलभुलैया में सबसे सही रास्ता खोजने के बजाय, आप रोबोट को बस इतना कहते हैं, "दीवारों से न टकराना।" यदि वह उस नियम का पालन करता है, तो वह सही रास्ते पर है।

नई पहेली (ECMO):
इस बदलाव को करके, वे इस अव्यवस्थित "Bilevel" समस्या को Equality Constrained Multi-Objective Optimization (ECMO) नामक एक नए प्रकार की समस्या में बदल देते हैं।

उपमा: कल्पना कीजिए कि आप एक पतली रस्सी (tightrope) पर खड़े होकर पाँच गेंदों (पाँच लक्ष्यों) को हवा में उछालने (juggling) की कोशिश कर रहे हैं। आप रस्सी से नीचे नहीं गिर सकते, और आप चाहते हैं कि पाँचों गेंदें यथासंभव ऊँची रहें।

नया टूल: "वेटेड चेबिशेव" पेनल्टी (The "Weighted Chebyshev" Penalty)

अब जब उनके पास यह नया "रस्सी पर जुगलबंदी" वाला काम है, तो उन्हें इसे हल करने के लिए एक नए तरीके की आवश्यकता थी। मौजूदा तरीके अंदाज़ा लगाने जैसे थे। लेखकों ने WC-Penalty Algorithm नामक एक नया टूल बनाया।

यह कैसे काम करता है: कल्पना कीजिए कि आपके पास एक "वर्स्ट-केस स्कोरकार्ड" (सबसे खराब स्थिति का स्कोरकार्ड) है। एल्गोरिदम आपकी पाँच गेंदों को देखता है और पूछता है, "कौन सी गेंद सबसे नीचे है?" फिर यह उस सबसे निचली गेंद को ऊपर धकेलने की कोशिश करता है।
"पेनल्टी" (जुर्माना): यदि आप रस्सी से नीचे उतर जाते हैं (नियम का उल्लंघन करते हैं), तो एल्गोरिदम आपको एक भारी दंड (गणितीय "आउच") देता है। यह आपको रस्सी पर बने रहने के लिए मजबूर करता है।
"वेट" (भार): आप एल्गोरिदम को बता सकते हैं, "मुझे लाल गेंद की 90% और नीली गेंद की 10% परवाह है।" इन भारों को बदलकर, एल्गोरिदम लक्ष्यों के बीच हर संभव संतुलन तलाश सकता है।

उन्होंने क्या हासिल किया

पेपर तीन बड़ी जीत का दावा करता है:

उन्होंने खेल के नियम निर्धारित किए:
इससे पहले, किसी को पता नहीं था कि इस विशिष्ट "रस्सी पर जुगलबंदी" वाले खेल के लिए "जीतना" वास्तव में क्या दिखता है। उन्होंने KKT-based Pareto Stationarity नामक एक नई परिभाषा बनाई।

सरल शब्द: उन्होंने नियम पुस्तिका लिखी कि जब आप परफेक्ट समाधान नहीं पा सकते, तो एक "काफी अच्छा" समाधान कैसा दिखता है।

उन्होंने एक गारंटीकृत सॉल्वर बनाया:
उन्होंने गणितीय रूप से सिद्ध किया कि उनका नया एल्गोरिदम (WC-Penalty) निश्चित चरणों के भीतर एक समाधान ढूंढ ही लेगा। यह केवल एक अंदाज़ा नहीं है; यह समाधान तक पहुँचने का एक गारंटीकृत रास्ता है, यहाँ तक कि उन जटिल परिदृश्यों में भी जहाँ पुराने तरीके विफल हो गए थे।
उन्होंने चक्र को पूरा किया:
उन्होंने दिखाया कि यदि आप "जुगलबंदी" (Juggling) की समस्या को हल करते हैं, तो आपने स्वचालित रूप से मूल "केक और रेसिपी" की समस्या को हल कर लिया है।

वास्तविक दुनिया के परीक्षण (केक के उदाहरण)

अपने तरीके को साबित करने के लिए, उन्होंने बड़े भाषा मॉडल (LLMs) से जुड़े दो वास्तविक परिदृश्यों पर परीक्षण किया:

AI के लिए "रिवॉर्ड मॉडल" को प्रशिक्षित करना:
उन्होंने एक AI को अन्य AI को पाँच अलग-अलग मानदंडों (सहायकता, शुद्धता, सुसंगतता, जटिलता, विस्तार) के आधार पर परखने के लिए प्रशिक्षित करने की कोशिश की। ये मानदंड अक्सर आपस में टकराते हैं (जैसे, एक बहुत ही सहायक उत्तर बहुत लंबा हो सकता है)। उनके तरीके ने पिछले तरीकों की तुलना में इन गुणों के बीच एक बेहतर संतुलन पाया।
मानवीय मूल्यों के साथ AI का तालमेल बिठाना:
उन्होंने Llama जैसे AI को एक साथ मददगार, सटीक और संक्षिप्त होने के लिए फाइन-ट्यून करने की कोशिश की। यहाँ भी, उनके तरीके ने मौजूदा उपकरणों की तुलना में बेहतर "पारेटो फ्रंट" (सर्वश्रेष्ठ संभावित ट्रेड-ऑफ) पाया।

निचोड़ (The Bottom Line)

यह पेपर एक पुल है। यह दो कठिन दुनियाओं को जोड़ता है: Bilevel Learning (नेस्टेड समस्याएँ) और Multi-Objective Optimization (परस्पर विरोधी लक्ष्य)।

पुराना तरीका: "हम इसे केवल तभी हल कर सकते हैं जब समस्या सरल हो और इसमें एक ही लक्ष्य हो।"
नया तरीका: "हम इसे तब भी हल कर सकते हैं जब समस्या अव्यवस्थित हो और इसमें पाँच परस्पर विरोधी लक्ष्य हों, इसे 'रस्सी पर जुगलबंदी' के खेल में बदलकर और अपनी नई पेनल्टी-आधारित जुगलबंदी तकनीक का उपयोग करके।"

उन्होंने केवल एक बेहतर जुगलबंदी ही नहीं बनाई; उन्होंने गणितीय रूप से सिद्ध किया कि यदि आप उनके निर्देशों का पालन करते हैं, तो उनकी जुगलबंदी में कभी भी गेंदें नहीं गिरेंगी।

तकनीकी सारांश: दो समस्याओं की एक कहानी: मल्टी-टास्क बाइलेवल लर्निंग का इक्वलिटी कंस्ट्रेंड मल्टी-ऑब्जेक्टिव ऑप्टिमाइज़ेशन से मिलन

समस्या विवरण (Problem Statement)
यह शोध पत्र लोअर-लेवल जनरल कॉन्वेक्सिटी (LLGC) के तहत मल्टी-टास्क बाइलेवल लर्निंग (MTBL) की चुनौती को संबोधित करता है। बाइलेवल ऑप्टिमाइज़ेशन (BLO) का व्यापक रूप से मशीन लर्निंग (जैसे, हाइपरपैरामीटर ट्यूनिंग, मेटा-लर्निंग, और LLM अलाइनमेंट) में उपयोग किया जाता है, लेकिन मौजूदा सैद्धांतिक ढांचे और एल्गोरिदम मुख्य रूप से लोअर-लेवल स्ट्रॉन्ग कॉन्वेक्सिटी (LLSC) धारणा पर निर्भर करते हैं। यह धारणा एक अद्वितीय लोअर-लेवल समाधान और एक सुपरिभाषित हाइपर-ग्रेडिएंट सुनिश्चित करती है, लेकिन आधुनिक, जटिल मशीन लर्निंग समस्याओं में इसका उल्लंघन होता रहता है जहाँ लोअर-लेवल ऑब्जेक्टिव केवल 'कॉन्वेक्स' होता है।

इसके अतिरिक्त, मौजूदा MTBL कार्य काफी हद तक सिंगल-टास्क सेटिंग्स तक सीमित हैं या LLSC पर निर्भर हैं। जब LLGC सेटिंग में MTBL का विस्तार किया जाता है, तो दो महत्वपूर्ण मुद्दे उत्पन्न होते हैं:

स्ट्रॉन्ग कॉन्वेक्सिटी की कमी के कारण हाइपर-ग्रेडिएंट अपरिभाषित हो जाता है।
कई, संभावित रूप से परस्पर विरोधी ऊपरी-स्तरीय (upper-level) उद्देश्यों की उपस्थिति के लिए एक पारेटो इक्विलिब्रियम (Pareto equilibrium) व्याख्या की आवश्यकता होती है, जो अनुकूलन मानदंडों (optimality criteria) को जटिल बनाती है।

कार्यप्रणाली (Methodology)
लेखक एक नया ढांचा प्रस्तावित करते हैं जो LLGC-MTBL समस्या को एक इक्वलिटी कंस्ट्रेड मल्टी-ऑब्जेक्टिव ऑप्टिमाइज़ेशन (ECMO) समस्या के रूप में पुनर्गठित करता है। मुख्य पद्धतिगत चरण हैं:

ECMO में पुनर्गठन:
नेस्टेड बाइलेवल समस्या को सीधे हल करने के बजाय, लेखक देखते हैं कि एक कॉन्वेक्स लोअर-लेवल फंक्शन $g(x, y)$ के लिए, अनुकूलन स्थिति $\nabla_y g(x, y) = 0$ आवश्यक और पर्याप्त दोनों है। वे MTBL समस्या को इस प्रकार पुनर्गठित करते हैं:
$\min_{z} F(z) = [f_1(z), \dots, f_S(z)]^\top \quad \text{s.t.} \quad h_i(z) = 0, \forall i \in [q]$
जहाँ $z = [x^\top, y^\top]^\top$ है और $h_i(z)$ लोअर-लेवल ग्रेडिएंट $\nabla_y g(x, y)$ का $i$ -वाँ घटक है।
ECMO के लिए पारेटो स्टेशनैरिटी का लक्षण वर्णन:
शोध पत्र पहचानता है कि अनकन्स्ट्रेंड मल्टी-ऑब्जेक्टिव ऑप्टिमाइज़ेशन (MOO) के लिए मानक पारेटो स्टेशनैरिटी परिभाषाएं ECMO के लिए अपर्याप्त हैं क्योंकि इसमें फेज़िबिलिटी बाधाएं (feasibility constraints) मौजूद हैं। लेखक एक नया KKT-आधारित पारेटो स्टेशनैरिटी मानदंड स्थापित करते हैं। वे एक स्केलेराइज्ड समस्या के समाधान और ECMO समस्या के पारेटो फ्रंट के बीच एक वन-टू-वन मैपिंग बनाने के लिए वेटेड-चेबिशेव (WC) स्केलेराइजेशन का लाभ उठाते हैं। WC-स्केलेराइज्ड समस्या की करुश-कुह्न-टकर (KKT) स्थितियों का विश्लेषण करके, वे KKT रेसिड्यूल सिस्टम के नॉर्म (norm) के आधार पर एक कठोर अभिसरण मीट्रिक (convergence metric) परिभाषित करते हैं।
एल्गोरिदम डिज़ाइन (WC-Penalty):
ECMO समस्या को हल करने के लिए, लेखक WC-Penalty एल्गोरिदम प्रस्तावित करते हैं। यह विधि:

$\ell_\infty$ -नॉर्म मिनिमाइजेशन को संभालने के लिए स्लैक वेरिएबल्स (slack variables) पेश करके WC-स्केलेराइज्ड समस्या को पुनर्गठित करती है।
समानता बाधाओं (equality constraints) (मूल बाधाओं और स्लैक वेरिएबल बाधाओं दोनों) को ऑब्जेक्टिव फंक्शन के भीतर पेनल्टी टर्म्स में बदल देती है।
परिणामी सिंगल-लेवल, कंस्ट्रेंड सिंगल-ऑब्जेक्टिव समस्या को प्रोजेक्टेड ग्रेडिएंट डिसेंट (GD) का उपयोग करके हल करती है।
यह डिटर्मिनिस्टिक और स्टोकेस्टिक दोनों सेटिंग्स में कार्य करती है।

प्रमुख योगदान (Key Contributions)

सैद्धांतिक विस्तार: यह कार्य बाइलेवल ऑप्टिमाइज़ेशन को शिथिल (relaxed) LLGC धारणा के तहत मल्टी-टास्क सेटिंग तक विस्तारित करने वाला पहला कार्य है।
नई समस्या संरचना: यह ECMO समस्या के रूप में एक अलग संरचना पेश करता है जिसे इससे पहले सैद्धांतिक रूप से अध्ययन नहीं किया गया था, विशेष रूप से मौजूदा साहित्य में सीमित-समय अभिसरण गारंटी (finite-time convergence guarantees) की कमी को संबोधित करता है।
नया अभिसरण मीट्रिक: लेखक ECMO के लिए एक नया KKT-आधारित पारेलोड स्टेशनैरिटी मीट्रिक परिभाषित करते हैं, जो कंस्ट्रेंड मल्टी-ऑब्जेक्टिव सेटिंग्स में अनुकूलन स्थितियों की अस्पष्टता को दूर करता है।
एल्गोरिदम और अभिसरण दर: वे WC-Penalty एल्गोरिदम का प्रस्ताव करते हैं और KKT-आधारित पारेटो स्टेशनैरिटी तक $O(S T^{-1/2})$ की फाइनाइट-टाइम कन्वर्जेंस रेट सिद्ध करते हैं, जहाँ $S$ उद्देश्यों की संख्या है और $T$ कुल इटरेशन की संख्या है। यह ECMO समस्याओं के लिए पहली ऐसी गारंटी है।
पारेटो फ्रंट एक्सप्लोरेशन: सिमप्लेक्स (simplex) पर प्रेफरेंस वेक्टर को बदलकर, यह विधि व्यवस्थित रूप से पूरे पारेटो फ्रंट का अन्वेषण करती है।

प्रायोगिक परिणाम (Experimental Results)
लेखक दो मल्टी-ऑब्जेक्टिव डेटा वेटिंग कार्यों पर अपने दृष्टिकोण को मान्य करते हैं:

RLHF रिवॉर्ड मॉडल ट्रेनिंग: HelpSteer डेटासेट का उपयोग करके, एल्गोरिदम कई मानव-संरेखित मेट्रिक्स (हेल्पफुलनेस, करेक्टनेस, आदि) को संतुलित करने के लिए डेटा वेट्स को अनुकूलित करता है। परिणाम दिखाते हैं कि WC-Penalty एल्गोरिदम MOML, MoCo और FORUM जैसे बेसलाइन्स की तुलना में पारेटो फ्रंट के काफी बड़े हिस्से को कवर करता है।
मल्टी-ऑब्जेक्टिव LLM अलाइनमेंट: विधि को Llama-3.2-1B-Instruct को फाइन-ट्यून करने के लिए लागू किया जाता है (और इसे 3B और 8B मॉडल तक बढ़ाया जाता है) ताकि कई वैलिडेशन लॉस को कम किया जा सके। एल्गोरिदम मौजूदा MTBL और बाइलेवल बेसलाइन्स के मुकाबले हाइपरवॉल्यूम और $\epsilon$ -मेट्रिक तुलनाओं में बेहतर प्रदर्शन प्रदर्शित करता है।
सिंथेटिक उदाहरण: अतिरिक्त सिंथेटिक प्रयोग ECMO और LLGC-MTBL दोनों सेटिंग्स में पूर्ण पारेटो फ्रंट को रिकवर करने की एल्गोरिदम की क्षमता की पुष्टि करते हैं।

महत्व और दावे (Significance and Claims)
शोध पत्र यह दावा करता है कि वह ECMO समस्या के समाधानों को सीधे मूल MTBL समस्या में वापस अनुवादित करके मौलिक ऑप्टिमाइज़ेशन फ्रेमवर्क के बीच के लूप को बंद करता है। लेखक इस बात पर जोर देते हैं कि उनका कार्य ECMO समस्याओं के लिए पहली फाइनाइट-टाइम कन्वर्जेंस गारंटी प्रदान करता है, जो साहित्य में पहले अनसुलझा था। LLSC धारणा को शिथिल करके, प्रस्तावित ढांचा बाइलेवल लर्निंग की प्रयोज्यता को अधिक जटिल, वास्तविक दुनिया की मशीन लर्निंग परिदृश्यों तक बढ़ाता है जहाँ स्ट्रॉन्ग कॉन्वेक्सिटी को माना नहीं जा सकता है। परिणाम बताते हैं कि प्रस्तावित WC-Penalty विधि मल्टी-टास्क बाइलेवल लर्निंग के लिए पारेटो ऑप्टिमल समाधानों का पता लगाने के लिए सैद्धांतिक कठोरता और व्यावहारिक दक्षता दोनों प्रदान करती है।