तकनीकी सारांश: अनुक्रमिक सुदृढीकरण शिक्षण (Sequential Reinforcement Learning) में लक्ष्य सामान्यीकरण (Goal Generalisation) को समझना

समस्या विवरण

आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) वातावरणों में तैनात किए जाने पर सुदृढीकरण शिक्षण (RL) एजेंट अक्सर अनपेक्षित लक्ष्य-निर्देशित व्यवहार प्रदर्शित करते हैं। जबकि अप्रत्याशित OOD व्यवहार मशीन लर्निंग में एक ज्ञात समस्या है, RL एजेंट एक विशिष्ट विफलता मोड प्रदर्शित करते हैं जिसे लक्ष्य गलत सामान्यीकरण (goal misgeneralisation) कहा जाता है: एजेंट सक्षम रूप से कार्य करते हैं लेकिन ऐसे उद्देश्यों का पीछा करते हैं जो प्रशिक्षण वातावरणों में उच्च पुरस्कार (rewards) तो देते हैं, लेकिन नवीन सेटिंग्स में इच्छित लक्ष्यों के साथ संरेखित होने में विफल रहते हैं।

यह समस्या आधुनिक फ्रंटियर AI प्रणालियों के लिए विशेष रूप से महत्वपूर्ण है, जिन्हें आमतौर पर जटिल, बहु-चरणीय पाइपलाइनों (जैसे, प्री-ट्रेनिंग, सुपरवाइज्ड फाइन-ट्यूनिंग, और मानव फीडबैक से RL) के माध्यम से प्रशिक्षित किया जाता है। वर्तमान साहित्य में इस बात की कमी है कि कैसे उनके अनुक्रमिक प्रशिक्षण इतिहास (sequential training histories) एजेंट के मूल्यों और उसके बाद के OOD व्यवहार को आकार देते हैं। संबोधित किया गया मुख्य प्रश्न यह है: एजेंट के प्रशिक्षण पाइपलाइन और उसके इन-डिस्ट्रीब्यूशन व्यवहार को देखते हुए, क्या हम उसके OOD नमूनों पर व्यवहार की भविष्यवाणी कर सकते हैं?

कार्यप्रणाली (Methodology)

प्रयोगात्मक सेटअप

लेखक इस समस्या की जांच एक नियंत्रित, प्रक्रियात्मक रूप से उत्पन्न भूलभुलैया (maze) वातावरण में करते हैं।

• कार्य: एजेंट (CNN-आधारित PPO) रंग और आकार द्वारा परिभाषित लक्ष्य वस्तुओं तक पहुँचने के लिए 8x8 भूलभुलैया में नेविगेट करते हैं।
• प्रशिक्षण पाइपलाइन: अध्ययन में 100 से अधिक विशिष्ट प्रशिक्षण पाइपलाइनों का उपयोग किया गया है, जो सिंगल-स्टेज ट्रेनिंग से लेकर टू-स्टेज सीक्वेंशियल ट्रेनिंग तक विस्तृत हैं। टू-स्टेज पाइपलाइनों में, एजेंट को पहले एक लक्ष्य वस्तु पर प्रशिक्षित किया जाता है और फिर उसे दूसरी वस्तु पर फाइन-ट्यून किया जाता है।
• मूल्यांकन: एजेंटों का मूल्यांकन OOD वातावरणों में किया जाता है जिनमें वस्तुओं के जोड़े (नवीन रंगों और आकारों सहित जो प्रशिक्षण के दौरान नहीं देखे गए थे) होते हैं। प्राथमिक मीट्रिक अनुभवजन्य प्राथमिकता फलन (empirical preference function) ($\hat{\Pi}_\Omega$) है, जिसे इस रूप में परिभाषित किया गया है कि एक एजेंट किसी एक वस्तु को दूसरी (या किसी को भी नहीं) के ऊपर कितनी बार चुनता है (276 मूल्यांकन वातावरणों में)।
• पैमाना: विश्लेषण 298 से अधिक एजेंटों और 250+ OOD वातावरणों को कवर करता है।

लेटेंट पॉलिसी ग्रेडिएंट्स (LPG) विधि

अवलोकित व्यवहारों की व्याख्या और भविष्यवाणी करने के लिए, लेखक लेटेंट पॉलिसी ग्रेडिएंट्स (Latent Policy Gradients) नामक एक विधि पेश करते हैं, जो प्रशिक्षण के दौरान निम्न-आयामी लेटेंट वेरिएबल्स ($w$) के विकास को मॉडल करती है।

1. लेटेंट प्रतिनिधित्व (Latent Representation): एजेंट की प्राथमिकताओं को एक निम्न-आयामी वेक्टर $w$ (आयाम 10, जो ऑब्जेक्ट फीचर्स की संख्या के बराबर है) द्वारा संक्षिप्त किया जाता है, न कि पूरे नेटवर्क पैरामीटर्स (4.8 मिलियन) द्वारा।
2. वरीयता पैरामीट्राइजेशन (Preference Parametrisation): प्राथमिकताओं को बोल्ट्ज़मैन-रेशनल (Boltzmann-rational) धारणा का उपयोग करके मॉडल किया जाता है, जहाँ किसी लक्ष्य को चुनने की संभावना उसके मूल्य का एक लॉजिस्टिक फंक्शन है। मूल्य, लक्ष्य के फीचर्स ($\phi(g)$) और लेटेंट वेरिएबल्स दोनों में रैखिक है: $V(g) = \phi(g) \cdot Sw$।
3. प्रशिक्षण का अनुकरण (Simulation of Training): विधि प्राथमिकता फलन पर एक संशोधित पॉलिसी ऑब्जेक्टिव पर ग्रेडिएंट एसेंट (gradient ascent) करके प्रशिक्षण पाइपलाइन का अनुकरण करती है। ऑब्जेक्टिव में एक एंट्रॉपी रेगुलराइजेशन टर्म शामिल है जो एक हाइपरपैरामीटर $\tau$ द्वारा नियंत्रित होता है।
   • एक सिंगल स्टेज के लिए जिसका लक्ष्य $\phi(g)$ है, ऑब्जेक्टिव है $J(\Pi) = \Pi(\phi(g)|\phi(g), 0) + \tau h(\Pi(\phi(g)|\phi(g), 0))$।
   • मल्टी-स्टेज पाइपलाइनों के लिए, लेटेंट वेरिएबल्स को क्रमिक रूप से अपडेट किया जाता है, जहाँ एक चरण के अंतिम वेट अगले चरण के लिए प्रारंभिक मान (initialization) के रूप में कार्य करते हैं।
4. व्याख्यात्मकता (Interpretability): विधि एक सैलियंसी मैट्रिक्स ($S$) सीखती है जो फीचर लर्निंग रेट्स और क्रॉस-फीचर कन्फ्यूजन (जहाँ एक फीचर पर प्रशिक्षण दूसरे फीचर के मूल्यांकन को प्रभावित करता है) को कैप्चर करती है।

मुख्य परिणाम

अनुभवजन्य घटनाएँ (Empirical Phenomena)

डेटा का विश्लेषण लक्ष्य सामान्यीकरण में तीन अलग-अलग पैटर्न प्रकट करता है:

1. फीचर सैलियन्स (Feature Salience): सभी फीचर्स समान रूप से सामान्यीकरण को संचालित नहीं करते हैं। शेप फीचर्स (विशेष रूप से क्रॉस शेप) कलर फीचर्स (ब्लैक सबसे कम सैलियंट है) की तुलना में अधिक सैलियंट हैं।
2. वैल्यू पर्सिस्टेंस (Value Persistence): मल्टी-स्टेज पाइपलाइन के पहले चरण में सीखे गए मूल्य तब भी बने रहते हैं जब दूसरा चरण एक नया लक्ष्य पेश करता है। प्रारंभिक प्रशिक्षण इतिहास अंतिम OOD प्राथमिकताओं को महत्वपूर्ण रूप से प्रभावित करता है।
3. सुदृढ़ीकरण और निषेध (Strengthening and Inhibition):
   • सुदृढ़ीकरण (Strengthening): यदि कोई फीचर प्रशिक्षण चरणों के बीच साझा किया जाता है, तो उसका मूल्य उस स्थिति की तुलना में मजबूत होता है जब वह केवल दूसरे चरण में दिखाई देता है।
   • निषेध (Inhibition): साझा फीचर की उपस्थिति दूसरे चरण में गैर-साझा फीचर्स के निर्माण को बाधित करती है (एक घटना जो ग्रेडिएंट स्टार्वेशन के अनुरूप है)।
   • क्रम प्रभाव (Ordering Effects): जब लक्ष्य एक फीचर साझा करते हैं, तो प्रशिक्षण चरणों का क्रम एजेंट के अंतिम मूल्यों को महत्वपूर्ण रूप से बदल देता है।

मॉडल प्रदर्शन

लेटेंट पॉलिसी ग्रेडिएंट्स मॉडल उच्च भविष्य कहनेवाला सटीकता प्राप्त करता है:

• भविष्यवाणी फिट (Predictive Fit): मॉडल अनुभवजन्य प्राथमिकता फलनों के बीच KL-डाइवर्जेंस को कम करता है, जो "मेमोरीलेस" (इतिहास को अनदेखा करना), "सिमल्टेनियस" (क्रम को अनदेखा करना), और "डायगोनल S" (फीचर कन्फ्यूजन को अनदेखा करना) जैसे बेसलाइन्स से बेहतर प्रदर्शन करता है।
• सामान्यीकरण (Generalisation): केवल सिंगल-स्टेज पाइपलाइनों पर फिट किया गया मॉडल, दो-स्टेज पाइपलाइनों पर प्रशिक्षित एजेंटों के व्यवहार की सफलतापूर्वक भविष्यवाणी करता है। इसी तरह, बिना डिस्ट्रैक्टर्स के प्रशिक्षित मॉडल, डिस्ट्रैक्टर्स वाले पाइपलाइनों में सामान्यीकरण करता है।
• सुसंगतता (Coherence): एजेंट की अनुभवजन्य प्राथमिकताएं लगभग सुसंगत (बोल्ट्ज़मैन-रेशनल) पाई जाती हैं, जहाँ होल्ड-आउट पेयर्स पर एलो स्कोर (Elo scores) 89.73% दिशात्मक सटीकता प्राप्त करते हैं।

महत्व और योगदान

पेपर तीन योगदान देता है:

1. अनुभवजन्य विश्लेषण: यह 100 से अधिक प्रशिक्षण पाइपलाइनों में लक्ष्य सामान्यीकरण का एक बड़े पैमाने पर अनुभवजन्य विश्लेषण प्रदान करता है, जो यह दर्शाता है कि OOD व्यवहार सुसंगत और प्रशिक्षण इतिहास द्वारा संरचित है, विशेष रूप से वैल्यू पर्सिस्टेंस और फीचर सैलियन्स जैसी घटनाओं को उजागर करता है।
2. समस्या का निरूपण: यह लक्ष्य सामान्यीकरण की समस्या को एक भविष्यवाणी कार्य के रूप में पुनर्गठित करता है: प्रशिक्षण पाइपलाइनों को सीधे OOD प्राथमिकता फलनों में मैप करना।
3. लेटेंट पॉलिसी ग्रेडिएंट्स: यह इस भविष्यवाणी समस्या को हल करने के लिए एक नवीन, व्याख्यात्मक विधि पेश करता है। यह विधि:
   • कम संख्या में पैरामीटर्स के साथ उच्च भविष्य कहनेवाला सटीकता प्राप्त करती है।
   • एक यांत्रिक व्याख्या (mechanistic interpretation) प्रदान करती है जहाँ मल्टी-स्टेज ट्रेनिंग, प्रशिक्षण लक्ष्यों द्वारा परिभाषित हाइपरप्लेन पर लेटेंट वेट्स के इटरेटेड प्रोजेक्शन (iterated projection) के रूप में होती है।
   • एक फीचर समानता मीट्रिक ($SS^T$ के माध्यम से) को परिभाषित करती है जो बताती है कि एक लक्ष्य पर प्रशिक्षण अन्य लक्ष्यों के मूल्यांकन को कैसे प्रभावित करता है।

निष्कर्ष

लेखक निष्कर्ष निकालते हैं कि हालांकि OOD RL एजेंट का व्यवहार पूरे प्रशिक्षण पाइपलाइन पर पथ-आश्रित (path-dependent) होता है, इस निर्भरता में एक अंतर्निहित संरचना होती जिसे कैप्चर किया जा सकता है। लेटेंट पॉलिसी ग्रेडिएंट्स फ्रेमवर्क एक सिद्धांत आधारित, व्याख्यात्मक उपकरण प्रदान करता है कि कैसे मल्टी-स्टेज ट्रेनिंग एजेंट के मूल्यों को आकार देती है। यह कार्य लक्ष्य सामान्यीकरण के विकासात्मक दृष्टिकोण के लिए आधार तैयार करता है, यह सुझाव देते हुए कि प्रशिक्षण के दौरान लेटेंट वेरिएबल्स के विकास को समझना, नवीन वातावरणों में तैनात AI सिस्टम की सुरक्षा सुनिश्चित करने और भविष्यवाणी करने की कुंजी है। लेखक नोट करते हैं कि जबकि वर्तमान फ्रेमवर्क फीचर्स पर मूल्यों के रैखिक अपघटन (linear decomposition) को मानता है, इसका गणितीय ढांचा सामान्य है और अधिक जटिल प्रणालियों में इन अंतर्दृष्टि को विस्तारित करने के लिए एक आधार के रूप में कार्य करता है।