Bridging the Gap between Newton-Raphson Method and Regularized Policy Iteration

एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर एक कभी न खत्म होने वाले 'ट्रायल एंड एरर' (प्रयास और त्रुटि) के खेल को खेलकर निर्णय लेना सीखते हैं। यह रीइन्फोर्समेंट लर्निंग (RL) का केंद्र है, जो आर्टिफिशियल इंटेलिजेंस की एक ऐसी शाखा है जो वीडियो गेम बॉट्स से लेकर सेल्फ-ड्राइविंग कारों तक सब कुछ संचालित करती है। इसके मूल में, RL एक ऐसे एजेंट के बारे में है जो समय के साथ अधिकतम पुरस्कार प्राप्त करने के लिए किसी भी दी गई स्थिति में सबसे अच्छा कदम उठाने की कोशिश करता है। इसे हल करने के लिए, गणितज्ञ एक प्रसिद्ध नियम का उपयोग करते हैं जिसे बेलमैन समीकरण (Bellman equation) कहा जाता है, जो एक मानचित्र की तरह कार्य करता है जो हर संभावित चाल के मूल्य को दर्शाता है। हालाँकि, इस मानचित्र का एक पेचीदा, ऊबड़-खाबड़ किनारा है: इसमें एक "मैक्स" (max) फंक्शन शामिल है जो एकल सबसे अच्छे विकल्प को चुनता है, जिससे गणित तीखा हो जाता है और कंप्यूटर के लिए इसे तेजी से हल करने के लिए सुचारू (smooth) बनाना कठिन हो जाता है।

इस ऊबड़-खाबड़ किनारे को ठीक करने के लिए, शोधकर्ता अक्सर एक "रेगुलराइज़र" (regularizer) जोड़ते हैं। इसे एक कोमल धक्के या एक नरम बाधा के रूप में सोचें जो कंप्यूटर को केवल उसी पर टिके रहने के बजाय—जिसे वह अभी सबसे अच्छा समझ रहा है—विभिन्न विकल्पों को खोजने के लिए प्रोत्साहित करता है। यह एक छात्र को बताने जैसा है, "केवल उत्तर को रटो मत; कुछ अलग समाधानों के पीछे के तर्क को समझने की कोशिश करो।" रेगुलराइज्ड पॉलिसी इटरेशन (Regularized Policy Iteration) नामक यह तकनीक व्यवहार में अविश्वसनीय रूप से सफल रही है, जिससे आज के शक्तिशाली एल्गोरिदम बने हैं। लेकिन जबकि ये एल्गोरिदम वास्तविक दुनिया में बहुत अच्छा काम करते हैं, वैज्ञानिक इस बात को समझने के लिए सिर खुजला रहे थे कि वे वास्तव में इतने अच्छे क्यों काम करते हैं और उन्हें आदर्श समाधान तक कितनी तेजी से पहुँचना चाहिए।

यह शोध पत्र इस रहस्य को दूर करने के लिए आया है। लेखकों ने इन आधुनिक, "सॉफ्ट" लर्निंग एल्गोरिदम को एक क्लासिक, पुराने गणितीय उपकरण न्यूटन-रैप्सन विधि (Newton–Raphus method) से जोड़ने वाला एक छिपा हुआ पुल खोजा है। आप न्यूटन-रैप्सन विधि को एक घाटी के निचले हिस्से को खोजने के सुपर-फास्ट तरीके के रूप में देख सकते हैं जो जमीन के ढलान का उपयोग करके बड़े, सटीक कदम उठाता है। यह शोध पत्र सिद्ध करता है कि जब आप उन "सॉफ्ट" रेगुलराइज़र को बेलमैन समीकरण में जोड़ते हैं, तो परिणामी एल्गोरिदम इस शक्तिशाली न्यूटन विधि के गणितीय रूप से समान होता है। यह केवल एक अस्पष्ट समानता नहीं है; यह एक सख्त, औपचारिक समानता है। इस खोज के कारण, लेखक यह सिद्ध कर सकते हैं कि ये एल्गोरिदम समाधान की ओर क्वाड्रेटिक कन्वर्जेंस (quadratic convergence) के साथ तेजी से बढ़ते हैं, जिसका अर्थ है कि एक बार पर्याप्त करीब पहुँचने पर त्रुटि अविश्वसनीय रूप से तेजी से घटती है (जैसे एक बहुत छोटी संख्या को और भी छोटी बनाने के लिए उसका वर्ग करना)। उन्होंने यह भी दिखाया कि यदि आप हर चरण को पूरी तरह से हल नहीं करते हैं (जो वास्तविक जीवन में सामान्य है), तो भी एल्गोरिदम काम करता है, बस इसकी गति थोड़ी धीमी और अनुमानित होती है। अंत में, इस संबंध से प्रेरित होकर, उन्होंने एक नया, और भी तेज़ एल्गोरिदम बनाया जो एक "थर्ड-ऑर्डर" (तीसरे क्रम का) उछाल लेता है, और मानक तरीकों की तुलना में और भी तेजी से अभिसरण (converge) करता है, और कंप्यूटर सिमुलेशन के माध्यम से सिद्ध किया कि यह वास्तव में अभ्यास में समय बचाता है।

सुचारू पथ की कहानी

आइए इस रोमांच में गहराई से उतरें। कल्पना करें कि आप एक विशाल, धुंधले परिदृश्य (इष्टतम समाधान) में सबसे निचले बिंदु को खोजने की कोशिश कर रहे हैं। परिदृश्य कठिन है क्योंकि इसमें अचानक खाइयाँ और तीखे शिखर हैं (बेलमैन समीकरण में "मैक्स" ऑपरेटर)। पारंपरिक तरीके, जैसे कि पॉलिसी इटरेशन (Policy Iteration), एक ऐसे हाइकर की तरह हैं जो हर स्थान पर रुकता है, चारों ओर देखता है, और सबसे दृश्यमान दिशा की ओर सीधे चलने का निर्णय लेता है। यह काम करता है, लेकिन यह धीमा और झटकेदार हो सकता है।

यह शोध पत्र एक मोड़ पेश करता है: रेगुलराइजेशन (Regularization)। यह पूरे परिदृश्य पर एक नरम, चिकनी जेल की परत डालने जैसा है। तीखी खाइयाँ अब कोमल ढलानों में बदल जाती हैं। अचानक, "मैक्स" ऑपरेटर, जो पहले एक ऊबड़-खाबड़ खड़ी ढलान था, एक चिकनी वक्र (curve) बन जाता है। यह स्मूथड बेलमैन इक्वेशन (Smoothed Bellman Equation) है।

लेखकों का बड़ा "अहा!" क्षण यह महसूस करना था कि इस चिकने, जेल-कवर परिदृश्य में नेविगेट करना बिल्कुल वही है जो न्यूटन-रैप्सन विधि करती है। गणित की दुनिया में, न्यूटन की विधि अपनी गति के लिए प्रसिद्ध है। यदि आप समाधान के करीब हैं, तो यह केवल एक कदम नहीं उठाती; यह एक ऐसा कदम उठाती है जो पूरी तरह से गणना किया गया है ताकि आपको बहुत करीब पहुँचा सके, और हर चाल के साथ सही अंकों की संख्या को दोगुना कर देता है। शोध पत्र सिद्ध करता है कि जब आप रेगुलराइज्ड पॉलिसी इटरेशन (RPI) का उपयोग करते हैं, तो आप गुप्त रूप से यही कर रहे होते हैं। आप केवल अनुमान नहीं लगा रहे हैं; आप समस्या के एक स्मूथ संस्करण पर एक सटीक न्यूटन स्टेप (Newton step) निष्पादित कर रहे हैं।

समाधान की गति

यह क्यों मायने रखता है? क्योंकि कंप्यूटिंग में गति ही सब कुछ है। लेखकों ने सिद्ध किया कि RPI लोकल क्वाड्रेटिक कन्वर्जेंस (local quadratic convergence) का आनंद लेता है। सरल अंग्रेजी में, इसका अर्थ यह है कि एक बार जब एल्गोरिदम "पर्याप्त करीब" पहुँच जाता है, तो यह केवल धीरे-धीरे बेहतर नहीं होता; यह विस्फोटक रूप से बेहतर होता है। यदि आप थोड़े से भी गलत हैं, तो अगला कदम आपको और भी अधिक सटीक बना देता है।

शोध पत्र ने एक बहुत ही वास्तविक समस्या को भी संबोधित किया: क्या होगा यदि आप हर बार सटीक कदम की गणना नहीं कर सकते? वास्तविक दुनिया में, कंप्यूटर व्यस्त होते हैं, और कभी-कभी आपको गणना को जल्दी रोकना पड़ता है। इसे इनएक्सैक्ट पॉलिसी इवैल्यूएशन (inexact policy evaluation) कहा जाता है। लेखकों ने दिखाया कि भले ही आप एक शॉर्टकट लें और केवल कुछ गणना चरणों (मान लीजिए कि यह संख्या $M$ है) के साथ काम करें, फिर भी एल्गोरिदम काम करता है। यह एक इनएक्सैक्ट न्यूटन मेथड की तरह व्यवहार करता है। उन्होंने सिद्ध किया कि इस शॉर्टकट की गति इस बात पर निर्भर करती है कि आप कितने कदम उठाते हैं ($M$)। आप जितने अधिक कदम उठाएंगे, आप उतने ही तेज़ होंगे, और त्रुटि $\gamma^M$ की दर से घटती है (जहाँ $\gamma$ 0 और 1 के बीच का एक डिस्काउंट फैक्टर है)। यह स्पष्ट करता है कि प्रत्येक चरण में थोड़ा अधिक काम करना क्यों फायदेमंद होता है।

नया सुपर-एल्गोरिदम

लेकिन लेखक केवल पुराने तरीकों को समझाने तक ही नहीं रुके। उन्होंने पूछा, "यदि न्यूटन की विधि इतनी महान है, तो क्या हम इसे और भी बेहतर बना सकते हैं?" गणित की दुनिया में, "उच्च-क्रम" (higher-order) न्यूटन विधियाँ हैं जो और भी बड़े, स्मार्ट कदम उठाने के लिए और भी अधिक जानकारी का उपयोग करती हैं।

इससे प्रेरित होकर, उन्होंने थर्ड-ऑर्डर रेगुलराइज्ड पॉलिसी इटरेशन (T-RPI) नामक एक नया एल्गोरिदम डिजाइन किया। कल्पना करें कि जबकि मानक विधि एक बड़ा कदम उठाती है, T-RPI एक कदम उठाती है, अपने पैरों की स्थिति की जांच करती है, और फिर आगे बढ़ने से पहले उसी जानकारी का उपयोग करके दूसरा, परिष्कृत कदम उठाती है। यह इसे थर्ड-ऑर्डर कन्वर्जेंस प्राप्त करने की अनुमति देता है। यह एक फैंसी तरीका है यह कहने का कि यह क्वाड्रेटिक विधि की तुलना में भी अधिक तेज़ी से समाधान तक पहुँच जाता है। त्रुटि केवल वर्ग (square) नहीं होती; यह क्यूब (cube) हो जाती है, और एक बार जब आप सही परिवेश में पहुँच जाते हैं, तो लगभग तुरंत गायब हो जाती है।

प्रमाण का फल

यह शोध पत्र केवल व्हाइटबोर्ड पर गणित पर निर्भर नहीं है; उन्होंने इसका परीक्षण किया। उन्होंने 100 स्टेट्स और 20 एक्शन्स वाले एक सिम्युलेटेड वातावरण के साथ संख्यात्मक प्रयोग चलाए।

• उन्होंने पुष्टि की कि मानक RPI एल्गोरिदम वास्तव में क्वाड्रेटिक रूप से तेज होता है, जो उनके सैद्धांतिक भविष्यवाणियों से मेल खाता है।
• उन्होंने पुष्टि की कि RMPI (शॉर्टकट वाला संस्करण) लीनियर रूप से तेज होता है, लेकिन इसकी गति बिल्कुल इस पर निर्भर करती है कि उन्होंने कितने कदम ($M$) लिए, जो $\gamma^M$ नियम को मान्य करता है।
• सबसे रोमांचक बात यह है कि उन्होंने अपने नए T-RPI एल्गोरिदम का परीक्षण किया। उन्होंने पाया कि यह मानक विधि की तुलना में कम चरणों में सटीकता के समान स्तर तक पहुँच गया। इससे भी बेहतर, क्योंकि वे गणनाओं को पुन: उपयोग करने के तरीके के बारे में चतुर थे (एक ही "कंकाल" के साथ दो समीकरणों को एक साथ हल करना), नया एल्गोरिदम वास्तव में वास्तविक दुनिया के क्लॉक टाइम में काम को तेजी से पूरा करता है, जो मानक विधि से लगभग 1.3 गुना अधिक तेज़ है।

इसका क्या अर्थ है

यह शोध पत्र दो दुनियाओं के बीच एक सेतु है: आधुनिक AI को संचालित करने वाले व्यावहारिक, "सॉफ्ट" एल्गोरिदम और संख्यात्मक विश्लेषण (numerical analysis) का कठोर, "हार्ड" गणित। यह सिद्ध करके कि ये आधुनिक एल्गोरिदम केवल छद्म रूप में न्यूटन की विधि हैं, लेखकों ने हमें उन्हें समझने के लिए एक शक्तिशाली नया लेंस दिया है। उन्होंने हमें दिखाया है कि वे क्यों तेज़ हैं, उन्हें और भी तेज़ कैसे बनाया जाए, और निर्णय लेने वाले अगले पीढ़ी के AI के निर्माण के लिए एक ब्लूप्रिंट प्रदान किया है। यह एक याद दिलाता है कि कभी-कभी, सबसे उन्नत तकनीक केवल एक क्लासिक विचार है जिसने एक नया, अधिक सुचारू कोट पहना हुआ है।