🤖 machine learning

Hypergradient-based Bilevel Reinforcement Learning with Improved Sample Complexity

यह शोध पत्र एक हेसियन-फ्री (Hessian-free), हाइपरग्रेडिएंट-आधारित बाइलेवल सुदृढीकरण शिक्षण (reinforcement learning) एल्गोरिदम प्रस्तावित करता है जो बोल्ट्ज़मैन पॉलिसियों (Boltzmann policies) की इष्टतमता का लाभ उठाकर बिना बाहरी-स्तर के उद्देश्य पर पोल्याक-लोजसविक (Polyak-Lojasiewicz) स्थिति की आवश्यकता के $\tilde{O}(\epsilon^{-2})$ की अत्याधुनिक नमूना जटिलता (sample complexity) और $O(\epsilon^{-1})$ की पुनरावृत्ति जटिलता (iteration complexity) प्राप्त करता है।

मूल लेखक: Naman Saxena, Mudit Gaur, Vaneet Aggarwal

प्रकाशित 2026-08-03

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Naman Saxena, Mudit Gaur, Vaneet Aggarwal

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को चलना सिखाने की कोशिश कर रहे हैं, लेकिन आप ठीक से नहीं जानते कि "अच्छी तरह से चलना" कैसा दिखता है। आपके पास एक कोच (रोबोट का मस्तिष्क) है जो तय करता है कि उसके पैर कैसे हिलें, और एक जज (रिवॉर्ड सिस्टम) है जो तय करता है कि उसकी चालें कैसी रहीं। पेचीदा बात यह है कि जज की राय रोबोट के कार्यों के आधार पर बदलती है, और रोबoid की चालें जज के कहने के आधार पर बदलती हैं। यह एक नृत्य की तरह है जहाँ दोनों साथी यह अनुमान लगाने की कोशिश कर रहे हैं कि दूसरा अगला कदम क्या उठाएगा। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे रीइन्फोर्समेंट लर्निंग (Reinforcement Learning) कहा जाता है। आमतौर पर, हम बस रोबोट को अच्छे कदमों के लिए अंक देकर खुश करने की कोशिश करते हैं। लेकिन कभी-कभी, हम चाहते हैं कि रोबोट मानवीय फीडबैक से सीखे, जैसे जब कोई इंसान कहता है, "मुझे यह रास्ता उस दूसरे रास्ते से बेहतर लगा।" यह समस्या को एक बाइलेवल (Bilevel) चुनौती में बदल देता है: एक "इनर" लूप जहाँ रोबोट चलना सीखता है, और एक "आउटर" लूप जहाँ हम जज के नियमों को मानवीय प्राथमिकताओं से मेल खाने के लिए बदलते हैं।

इस नृत्य को हल करने की बड़ी समस्या यह है कि अभ्यास करना बेहद महंगा है। हर बार जब रोबोट एक नया कदम उठाता है, तो उसे यह समझने के लिए हजारों उदाहरण देखने की आवश्यकता होती है कि क्या वह वास्तव में बेहतर हो रहा है। पिछले तरीके ऐसे थे जैसे मोटे दस्ताने पहनकर एक विशाल जिग्सॉ पहेली को सुलझाने की कोशिश करना; या तो उन्हें हर एक टुकड़े का आकार गणना करना पड़ता था (जो धीमा और कम्प्यूटेशनल रूप से भारी था) या उन्होंने एक मोटा अनुमान लगाया जिसके लिए सही होने के लिए बहुत अधिक अभ्यास प्रयासों की आवश्यकता थी। वैज्ञानिक इन रोबोटों को बिना सुपरकंप्यूटर या लाखों प्रयासों के कुशलतापूर्वक सिखाने का एक तरीका खोज रहे थे। यहीं से नया शोध आता है, जो इस जटिल नृत्य को नेविगेट करने का एक स्मार्ट और हल्का तरीका प्रदान करता है।

शोध पत्र: बिना भारी काम के रोबोटों को सिखाने का एक नया तरीका

यह शोध पत्र एप्रोक्सिमेट हाइपरग्रेडिएंट ऑप्टिमाइज़ेशन (Approximate Hypergradient Optimization - AHO) नामक एक नया एल्गोरिदम पेश करता है। इसे मानवीय प्राथमिकताओं से सीखने के लिए रोबोट को सिखाने का एक चतुर शॉर्टकट समझें। लेखक, पर्ड्यू यूनिवर्सिटी के नमन सेक्सना, मुदित गौर और वनीत अग्गरवाल, एक ऐसी विधि प्रस्तावित करते हैं जो वर्तमान सर्वोत्तम विधियों की तुलना में तेज़ है और इसमें बहुत कम अभ्यास प्रयासों की आवश्यकता होती है।

उनके नुस्खे को समझने के लिए, रोबोट की सीखने की प्रक्रिया को एक शेफ (chef) के रूप में कल्पना करें जो एक रेसिपी को बेहतर बनाने की कोशिश कर रहा है।

इनर लेवल (Inner Level): शेफ (रोबोट की पॉलिसी) व्यंजन का स्वाद ले रहा है और उसे स्वादिष्ट बनाने के लिए मसालों को समायोजित कर रहा है।
आउटर लेवल (Outer Level): फूड क्रिटिक (रिवॉर्ड पैरामीटर) यह तय कर रहा है कि "स्वादिष्ट" का क्या अर्थ है। यदि क्रिटिक अपना मन बदलता है, तो शेफ को फिर से शुरुआत करनी पड़ती है।

अतीत में, यह जानने के लिए कि क्रिटिक का मन कैसे बदला जाए ताकि बेहतर व्यंजन मिल सके, पिछली विधियों ने पूरे किचन की "कर्वेचर" (curvature) यानी वक्रता की गणना करने की कोशिश की—यानी शेफ द्वारा की जा सकने वाली हर संभावित गलती का सटीक आकार। यह शेल्फ पर रखे हर मसाले के जार के सटीक वक्र को मापने जैसा है। यह सटीक है, लेकिन इतना भारी और धीमा है कि कंप्यूटर को तोड़ देता है (एक समस्या जिसे हेसियन (Hessian) कहा जाता है)। अन्य विधियों ने गलत अनुमानों को दंडित करके उत्तर का अनुमान लगाने की कोशिश की, लेकिन यह रेसिपी का अनुमान लगाने के लिए ट्रायल एंड एरर (परीक्षण और त्रुटि) के माध्यम से प्रयास करने जैसा था, जिसमें शेफ को सही होने के लिए हजारों बार व्यंजन बनाना पड़ता था।

लेखकों का नया दृष्टिकोण, AHO, एक अलग गुप्त सामग्री का उपयोग करता है: बोल्ट्ज़मैन पॉलिसी (Boltzmann policy)। कल्पना कीजिए कि शेफ रैंडमली अंदाज़ा लगाने के बजाय, एक बहुत ही विशिष्ट, गणितीय रूप से पूर्ण "आदर्श" रेसिपी का पालन करता है जो स्वाभाविक रूप से नई चीजों को आज़माने (एक्सप्लोरेशन) और जो काम करता है उस पर टिके रहने (एक्सप्लोइटेशन) के बीच संतुलन बनाता है। शोध पत्र दिखाता है कि भले ही रोबोट का मस्तिष्क (पॉलिसी क्लास) उस आदर्श रेसिपी को रखने के लिए पर्याप्त पूर्ण न हो, फिर भी वह इस पूर्ण रेसिपी के विचार का उपयोग करके भारी काम से बच सकता है।

उन्होंने क्या पाया:

कोई भारी काम नहीं: इस "आदर्श" रेसिपी के गुणों का उपयोग करके, वे भारी कर्वेचर (Hessian) की गणना करने की आवश्यकता को हटाने में सफल रहे। यह इस एल्गोरिदम को स्केलेबल बनाता है, जिसका अर्थ है कि यह मानक कंप्यूटरों पर भी चल सकता है भले ही रोबोट के पास करोड़ों पैरामीटर वाला एक विशाल मस्तिष्क हो।
कम प्रयासों की आवश्यकता: सबसे रोमांचक परिणाम दक्षता के बारे में है। पिछली विधियों को सीखने के लिए भारी संख्या में अभ्यास प्रयासों (सैंपल कॉम्प्लेक्सिटी) की आवश्यकता थी, जो लगभग $1/\epsilon^3$ (जहाँ $\epsilon$ वह निकटता है जो आप पूर्ण समाधान के करीब चाहते हैं) के समानुपाती थी। नया AHO एल्गोरिदम इसे घटाकर लगभग $1/\epsilon^2$ कर देता है। सरल शब्दों में, यदि आप दोगुना सटीक होना चाहते हैं, तो पुराने तरीके को आठ गुना अधिक अभ्यास की आवश्यकता हो सकती है, जबकि नए तरीके को केवल चार गुना अधिक। यह रोबोट कितनी तेज़ी से सीख सकता है, इसमें एक महत्वपूर्ण सुधार है।
पुराने अनुमानों को छोड़ना: शोध पत्र यह भी सिद्ध करता है कि गणित को काम करने के लिए आपको "जज" (आउटर ऑब्जेक्टिव) के बहुत विशिष्ट, कठोर आकार (जिसे पॉलीक-लोजासिएविक या PL कंडीशन कहा जाता है) की धारणा रखने की आवश्यकता नहीं है। यह विधि को अधिक लचीला और वास्तविक दुनिया की समस्याओं के लिए अधिक लागू करने योग्य बनाता है जहाँ चीजें हमेशा पूरी तरह से आकार में नहीं होती हैं।

वे कितने आश्वस्त हैं?
लेखक एक कठोर गणितीय प्रमाण प्रदान करते हैं जो दिखाता है कि उनका एल्गोरिदम कुछ मानक स्थितियों के तहत एक अच्छे समाधान की ओर अभिसरित (converge) होता है। उन्होंने केवल अनुमान नहीं लगाया; उन्होंने गणित को यह दिखाने के लिए निकाला है कि त्रुटि एक अनुमानित दर से घटती है। उन्होंने अपने विचार का परीक्षण दो विशिष्ट रोबोट कार्यों पर किया: एक द्विपद (bipedal) रोबोट को चलाना और एक चीता जैसे रोबोट को दौड़ना। इन सिमुलेशन में, उनकी विधि (AHO) ने पिछले सर्वोत्तम तरीके (गौर एट अल., 2025) की तुलना में अधिक रिवॉर्ड के साथ तेज़ी से चलना और दौड़ना सीखा।

उन्होंने क्या खारिज किया:
शोध पत्र स्पष्ट रूप से इस विचार के विरुद्ध तर्क देता है कि अच्छे परिणाम प्राप्त करने के लिए आपको भारी, धीमी हेसियन (Hessian) गणनाओं का उपयोग करना ही होगा। वे यह भी दिखाते हैं कि आपको "यूनिक मिनिमाइज़र" (जहाँ केवल एक ही सबसे अच्छा उत्तर होता है) की सख्त धारणा या अन्य शीर्ष-स्तरीय विधियों की तरह बाहरी स्तर पर कठोर PL कंडीशन की आवश्यकता नहीं है।

निष्कर्ष:
यह शोध पत्र सुझाव देता है कि "आदर्श" बोल्ट्ज़मैन पॉलिसी पर आधारित एक चतुर गणितीय शॉर्टकट का उपयोग करके, हम रोबोट को मानवीय फीडबैक से बहुत तेज़ी से और कम कंप्यूटिंग पावर के साथ सिखा सकते हैं। यह कोई जादू की छड़ी नहीं है जो सब कुछ तुरंत हल कर देती है, लेकिन यह उन भारी वजन को हटा देता है जो नृत्य को धीमा कर रहे थे, जिससे रोबोट बहुत कम प्रयासों के साथ अपने कदम सीख सकता है। लेखक इसे ठोस गणित और कंप्यूटर सिमुलेशन दोनों के माध्यम से प्रदर्शित करते हैं, जो अधिक कुशल और स्केलेबल AI लर्निंग की ओर एक स्पष्ट मार्ग दिखाते हैं।

तकनीकी सारांश: बेहतर नमूना जटिलता (Sample Complexity) के साथ हाइपरग्रेडिएंट-आधारित बाइलेवल सुदृढीकरण शिक्षण (Bilevel Reinforcement Learning)

समस्या का निरूपण (Problem Formulation)

यह शोध पत्र बाइलेवल सुदृढीकरण शिक्षण (Bilevel Reinforcement Learning - RL) को संबोधित करता है, जो एक ऐसा ढांचा है जिसका उपयोग मेटा-लर्निंग, पदानुक्रमित कार्य अपघटन (hierarchical task decomposition), और मानव फीडबैक से सुदृढीकरण शिक्षण (RL-HF) जैसी समस्याओं को औपचारिक रूप देने के लिए किया जाता है। इस सेटिंग में, एक बाहरी-स्तर (outer-level) के उद्देश्य $\phi(x, \theta^*(x))$ को पैरामीटर $x$ (जैसे, रिवॉर्ड फंक्शन पैरामीटर्स) के संबंध में अनुकूलित किया जाता है, जबकि एक आंतरिक-स्तर (inner-level) के उद्देश्य $J(\theta, x)$ को पॉलिसी पैरामीटर्स $\theta$ के संबंध में अनुकूलित किया जाता है। आंतरिक-स्तर की समस्या आमतौर पर गैर-उत्तल (non-convex) होती है, और बाहरी-स्तर का उद्देश्य आंतरिक समस्या के इष्टतम समाधान $\theta^*(x)$ पर निर्भर करता है।

मौजूदा दृष्टिकोणों के समक्ष महत्वपूर्ण सीमाएं हैं:

पेनल्टी-आधारित विधियाँ (जैसे, Gaur et al., 2025) अक्सर अनुमानित ग्रेडिएंट्स पर निर्भर करती हैं और उन्हें बाहरी-स्तर के उद्देश्य पर पॉलीक-लोजसविक (Polyak-Łojasiewicz - PL) स्थिति की आवश्यकता होती है, जिसके परिणामस्वरूप उप-इष्टतम नमूना जटिलता (sample complexity) $\tilde{O}(\epsilon^{-3})$ प्राप्त होती है।
हेसियन-आधारित हाइपरग्रेडिएंट विधियाँ (जैसे, Chakraborty et al., 2024) PL धारणा से बचती हैं लेकिन हेसियन मैट्रिक्स (Hessian matrix) की गणना और व्युत्क्रमण (inversion) की आवश्यकता के कारण स्केलेबिलिटी संबंधी समस्याओं से ग्रस्त होती हैं, जो बड़े पैरामीटर स्पेस के लिए अत्यधिक गणनात्मक रूप से कठिन है।
परिमित-स्थान विधियाँ (जैसे, Yang et al., 2025) बोल्ट्ज़मैन पॉलिसी (Boltzmann policy) की इष्टतमता का उपयोग करके हेसियन-मुक्त ग्रेडिएंट प्राप्त करती हैं, लेकिन वे निरंतर स्थानों (continuous spaces) में पैरामीटराइज्ड, गैर-वास्तविक योग्य (non-realizable) पॉलिसी क्लासेस तक सीधे विस्तारित नहीं होती हैं।

मुख्य चुनौती एक स्केलेबल, हेसियन-मुक्त बाइलेवल RL एल्गोरिदम विकसित करना है जो बिना बाहरी-स्तर के उद्देश्य पर PL स्थिति की धारणा किए या वास्तविक योग्य पॉलिसी क्लास (जहाँ पॉलिसी क्लास सभी बोल्ट्ज़मैन पॉलिसियों का प्रतिनिधित्व कर सके) की आवश्यकता के, अत्याधुनिक नमूना जटिलता प्राप्त कर सके।

कार्यप्रणाली (Methodology)

लेखक अनुमानित हाइपरग्रेडिएंट अनुकूलन (Approximate Hypergradient Optimization - AHO) एल्गोरिदम का प्रस्ताव करते हैं। कार्यप्रणाली तीन प्रमुख सैद्धांतिक और एल्गोरिदम घटकों पर आधारित है:

1. बोल्ट्ज़मान पॉलिसी इष्टतमता का लाभ उठाना

आंतरिक-स्तर के उद्देश्य को एक एंट्रॉपी-रेगुलराइज्ड डिस्काउंटेड रिवॉर्ड फंक्शन के रूप में परिभाषित किया गया है। शोध पत्र इस विशिष्ट उद्देश्य के लिए बोल्ट्ज़मान पॉलिसी ( $\pi_B$ ) की ज्ञात इष्टतमता का लाभ उठाता है। हालांकि पॉलिसी क्लास $\Theta$ आम तौर पर गैर-वास्तविक योग्य (non-realizable) है (अर्थात, यह पूर्ण बोल्ट्ज़मान पॉलिसी का सटीक प्रतिनिधित्व नहीं कर सकती है), लेखक ऐसी स्थितियाँ स्थापित करते हैं जिनमें $\pi_B$ की इष्टतमता का उपयोग ग्रेडिएंट प्राप्त करने के लिए अभी भी किया जा सकता है।

2. ग्रेडिएंट-शिफ्टेड वैल्यू फंक्शन्स (Gradient-Shifted Value Functions)

हाइपरग्रेडिएंट अभिव्यक्तियों में आमतौर पर पाए जाने वाले हेसियन टर्म (जो इम्पलिसिट फंक्शन थ्योरम के माध्यम से प्राप्त होता है) से बचने के लिए, लेखक ग्रेडिएंट-शिफ्टेड वैल्यू फंक्शन्स ( $U^\pi$ और $W^\pi$ ) पेश करते हैं।

$U^\pi(s, \theta, x)$ और $W^\pi(s, a, \theta, x)$ को बोल्ट्ज़मान पॉलिसी के तहत रिवॉर्ड ग्रेडिएंट $\nabla r(s, a, x)$ के दीर्घकालिक डिस्काउंटेड योग के रूप में परिभाषित किया गया है।
ये फलन बोल्ट्ज़मान वैल्यू फंक्शन ( $\nabla V^{\pi,B}$ ) और Q-वैल्यू फंक्शन ( $\nabla Q^\pi$ ) के ग्रेडिएंट के सरोगेट (surrogates) के रूप में कार्य करते हैं।
अनुमान त्रुटि (Approximation Error): पॉलिसी क्लास के गैर-वास्तविक योग्य होने के कारण, इन सरोगेट फंक्शन्स और वास्तविक ग्रेडिएंट्स के बीच एक अनुमान त्रुटि होती है। इस त्रुटि को $\epsilon_{kl}$ (KL डाइवर्जेंस से संबंधित) और $\epsilon_{fd}$ (ग्रेडिएंट अंतर से संबंधित) द्वारा सीमित किया गया है, जो शून्य हो जाते हैं यदि पॉलिसी क्लास वास्तविक योग्य (realizable) हो।

3. अनुमानित हाइपरग्रेडिएंट प्रमेय (Approximate Hypergradient Theorem)

लेखक बाहरी-स्तर के उद्देश्य के लिए एक अनुमानित हाइपरग्रेडिएंट व्युत्पन्न करते हैं। वास्तविक ग्रेडिएंट्स को सरोगेट फंक्शन्स से प्रतिस्थापित करके, वे एक क्लोज्ड-फॉर्म अभिव्यक्ति प्राप्त करते है जो हेसियन इनवर्स टर्म को समाप्त कर देती है। परिणामी हाइपरग्रेडिएंट में शामिल हैं:

प्रेफरेंस लॉस (preference loss) के सापेक्ष $x$ के प्रत्यक्ष ग्रेडिएंट का एक पद।
एक पद जिसमें ग्रेडिएंट-शिफ्टेड Q-वैल्यू और वैल्यू फंक्शन्स के बीच का अंतर शामिल है, जिसे तापमान गुणांक $\tau$ द्वारा स्केल किया गया है।

4. एल्गोरिदम (AHO)

AHO एल्गोरिदम (एल्गोरिदम 1) एक नेस्टेड लूप में संचालित होता है:

आंतरिक लूप (Inner Loop): अनुमानित Q-वैल्यू फंक्शन का उपयोग करके पॉलिसी पैरामीटर्स $\theta$ को अपडेट करता है।
बाहरी लूप (Outer Loop): अनुमानित हाइपरग्रेडिएंट का उपयोग करके रिवॉर्ड पैरामीटर $x$ को अपडेट करता है। इसमें एकत्रित ट्रेजेक्टरीज (trajectories) के आधार पर de-coupled Q-learning प्रकार के अपडेट्स (एल्गोरिदम 3 और 4) का उपयोग करके ग्रेडिएंट-शिफ्टेड फंक्शन्स ( $U^\pi_{off}$ और $W^\pi_{off}$ ) का अनुमान लगाना शामिल है।

मुख्य योगदान (Key Contributions)

गैर-वास्तविक योग्य क्लासेज के साथ बोल्ट्ज़मान इष्टतमता: शोध पत्र उन स्थितियों (Assumption 3.1) को प्रदान करता है जिनके तहत पैरामीटराइज्ड, गैर-वास्तविक योग्य पॉलिसी क्लासेज के लिए बोल्ट्ज़मान पॉलिसी की इष्टतमता लागू की जा सकती है, और इसके परिणामस्वरूप होने वाली अनुमान त्रुटियों के प्रभाव पर चर्चा की गई है।
हेसियन-मुक्त स्केलेबल एल्गोरिदम: प्रस्तावित AHO एल्गोरिदम पूरी तरह से हेसियन-मुक्त है, जिससे यह उन उच्च-आयामी पैरामीटर स्पेस के लिए स्केलेबल हो जाता है जहाँ हेसियन-आधारित विधियाँ विफल रहती हैं।
बेहतर नमूना जटिलता (Improved Sample Complexity): एल्गोरिदम $O(\epsilon^{-1})$ की इटरेशन जटिलता और $\tilde{O}(\epsilon^{-2})$ की नमूना जटिलता प्राप्त करता है। यह पेनल्टी-आधारित विधियों (Gaur et al., 2025) में पाई जाने वाली $\tilde{O}(\epsilon^{-3})$ की पूर्ववर्ती अत्याधुनिक नमूना जटिलता में सुधार करता है।
शिथिल धारणाएँ (Relaxed Assumptions): पूर्ववर्ती अत्याधुनिक कार्य (Gaur et al., 2025) के विपरीत, AHO बाहरी-स्तर के ऑब्जेक्टिव फंक्शन पर PL स्थिति की धारणा को हटा देता है। यह आंतरिक-स्तर की समस्या में अद्वितीय मिनिमाइज़र की आवश्यकता को भी शिथिल करता है, केवल एक स्थानीय रूप से अलग (locally isolated) और गैर-अपभ्रष्ट (non-degenerate) मिनिमाइज़र की आवश्यकता होती है।

परिणाम और विश्लेषण (Results and Analysis)

सैद्धांतिक गारंटी (Theoretical Guarantees)

हल्की नियमितता स्थितियों (Lipschitz निरंतरता, बाउंडेड रिवॉर्ड्स/लॉग-प्रोबेबिलिटीज, और केवल आंतरिक स्तर पर PL स्थिति) के तहत, लेखक सिद्ध करते हैं कि बाहरी-स्तर के ग्रेडिएंट का औसत वर्ग मान (average squared norm) अनुमान त्रुटियों और सैंपलिंग मापदंडों पर निर्भर एक सीमा की ओर अभिसरित (converge) होता है:
$\frac{1}{T} \sum_{t=0}^{T-1} \|\nabla \Phi(x_t)\|^2 \leq O(\epsilon) + O(\epsilon_{approx}) + O(\epsilon_{fd}) + O(\epsilon_{kl})$
$T = \Theta(\epsilon^{-1})$ , $B = \Theta(\epsilon^{-1})$ , $K = \Theta(\log(\epsilon^{-1}))$ , और $H = \Theta(\log(\epsilon^{-1}))$ सेट करके, नमूना जटिलता $\tilde{O}(\epsilon^{-2})$ के रूप में स्थापित की जाती है।

अनुभवजन्य मूल्यांकन (Empirical Evaluation)

लेखक AHO का मूल्यांकन DM Control सूट (walker-walk और cheetah-run) के निरंतर नियंत्रण कार्यों पर करते हैं, जिन्हें प्रेफरेंस-आधारित बाइलेवल RL समस्याओं के रूप में तैयार किया गया है।

बेसलाइन: वे AHO की तुलना Gaur et al. (2025) के पेनल्टी-आधारित बाइलेवल RL एल्गोरिदम से करते हैं।
तुलना प्रतिबंध: वे स्पष्ट रूप से उल्लेख करते हैं कि वे PARL (Chakraborty et al., 2024) के विरुद्ध तुलना नहीं करते हैं क्योंकि PARL का हेसियन-आधारित दृष्टिकोण उपयोग किए गए नेटवर्क आकारों के लिए कम्प्यूटेशनल रूप से अव्यवहार्य है (जिसमें $\sim 10^{12}$ प्रविष्टियों वाले हेसियन का व्युत्क्रमण आवश्यक है)।
परिणाम: AHO दोनों कार्यों पर Gaur et al. (2025) के बेसलाइन की तुलना में उच्च कुल मूल्यांकन रिवॉर्ड प्राप्त करता है, जो सैद्धांतिक नमूना जटिलता सुधार का अनुभवजन्य समर्थन करता है।

महत्व (Significance)

शोध पत्र का दावा है कि AHO स्केलेबिलिटी और नमूना दक्षता (sample efficiency) के बीच के ट्रेड-ऑफ को हल करके बाइलेवल RL में एक महत्वपूर्ण कदम है।

स्केलेबिलिटी: हेसियन को हटाकर, यह विधि आधुनिक, बड़े पैमाने के न्यूरल नेटवर्क पॉलिसियों के लिए लागू होने योग्य हो जाती है जिनका उपयोग प्रेफरेंस-आधारित RL में किया जाता है।
दक्षता: एंट्रॉपी-रेगुलराइज्ड ऑब्जेक्ट और बोल्ट्ज़मान इष्टतमता की संरचना का लाभ उठाकर, यह विधि पेनल्टी विधियों में निहित ग्रेडिएंट एप्रोक्सिमेशन बनाम सैंपलिंग एरर के ट्रेड-ऑफ से बचती है, जिससे बेहतर नमूना जटिलता ( $\tilde{O}(\epsilon^{-2})$ बनाम $\tilde{O}(\epsilon^{-3})$ ) प्राप्त होती है।
सैद्धांतिक मजबूती: बाहरी स्तर पर PL स्थिति को हटाने से एल्गोरिदम की प्रयोज्यता व्यापक हो जाती है, जो RL-HF और मेटा-लर्निंग में सामान्य गैर-उत्तल (non-convex) बाहरी उद्देश्यों की एक विस्तृत श्रृंखला में काम आता है।