तकनीकी सारांश: फीडबैक मैनिपुलेशन रेगुलराइजेशन (FMR)

समस्या विवरण

रीइन्फोर्समेंट लर्निंग (RL) एक दोहरी चुनौती का सामना करता है: क्षमता (aptitude) (कार्य को हल करना सीखना) और संरेखण (alignment) (इसे मानवीय मूल्यों के अनुरूप हल करना सीखना)। जबकि मानव प्रदर्शन (demonstrations) और फीडबैक संरेखण के लिए महत्वपूर्ण हैं, मौजूदा दृष्टिकोण मुख्य रूप से भाषा निर्माण के कॉन्टेक्स्टुअल बैंडिट फ्रेमिंग (जैसे RLHF) के लिए डिज़ाइन किए गए मल्टी-स्टेज पाइपलाइनों पर निर्भर करते हैं। ये विधियाँ पूर्णतः अनुक्रमिक निर्णय लेने वाले (fully sequential decision-making) वातावरणों में अनुवाद करने के लिए संघर्ष करती हैं।

इसके अलावा, वर्तमान प्राथमिकता-आधारित शिक्षण विधियाँ अनुक्रमिक सेटिंग्स में मौलिक सीमाओं से ग्रस्त हैं:

1. संबंधात्मक अस्पष्टता (Relational Ambiguity): प्राथमिकताएँ सापेक्ष होती हैं ("कौन सा बेहतर है?") न कि पूर्ण ("क्या यह अच्छा है?")। एक पसंदीदा व्यवहार आवश्यक रूप से एक संरेखित व्यवहार नहीं होता है, विशेष रूप से यदि तुलनात्मक जोड़े में दोनों विकल्प गलत संरेखित (misaligned) हों।
2. सैंपलिंग सीमाएँ: यादृच्छिक रूप से चुनी गई तुलनात्मक जोड़ियाँ स्पष्ट क्यूरेशन के बिना विशिष्ट व्यवहारों को लक्षित करने में कठिन होती हैं।
3. डेटा की कमी: सीमित डेटा वाले ऑफलाइन सेटिंग्स में, विशेष रूप से जहाँ विशेषज्ञ प्रदर्शन दुर्लभ हैं और अपूर्ण प्रदर्शनों में शोरयुक्त या गलत संरेखित व्यवहार शामिल हैं, मौजूदा एल्गोरिदम अक्सर संरेखण बनाए रखने में विफल रहते हैं।

यह शोध पत्र एक सिंगल-स्टेज, ऑफलाइन विधि की आवश्यकता को संबोधित करता है जो पूर्णतः अनुक्रमिक वातावरणों में नीतियों को संरेखित करने के लिए प्रदर्शन (demonstrations) और मूल्यात्मक फीडबैक को प्रभावी ढंग से संयोजित कर सके, यहाँ तक कि सीमित डेटा व्यवस्था के तहत भी।

कार्यप्रणाली: फीडबैक मैनिपुलेशन रेगुलराइजेशन (FMR)

लेखक फीडबैक मैनिपुलेशन रेगुलराइजेशन (FMR) का प्रस्ताव करते हैं, जो एक एल्गोरिदम-अज्ञेयवादी (algorithm-agnostic) ढांचा है जो इमिटेशन लर्निंग में मूल्यात्मक फीडबैक को एकीकृत करता है। उन विधियों के विपरीत जो फीडबैक को रिवॉर्ड सिग्नल या प्राथमिकता स्कोर के रूप में मानती हैं, FMR फीडबैक का उपयोग नीति के संभाव्यता वितरण (probability distribution) को सीधे बदलने के लिए करता है।

मुख्य तंत्र

FMR फीडबैक $h(s, a) \in \{-1, 0, 1\}$ को एक सुधारात्मक संकेत के रूप में संचालित करता है जो सीखी गई नीति $\pi_\theta$ को एक लेटेंट (latent) मानव-संरेखित नीति $\pi_h$ की ओर आकार देता है।

1. फीडबैक-अनुकूल तापमान (Feedback-Adaptive Temperature):
   यह विधि फीडबैक से प्राप्त एक तापमान पैरामीटर $\tau(s, a)$ पेश करती है।

   • नकारात्मक फीडबैक ($h < 0$) का अर्थ है $\tau > 1$, जो चयनित क्रिया को हतोत्साहित करता है।
   • सकारात्मक फीडबैक ($h > 0$) का अर्थ है गैर-चयनित क्रियाओं के लिए $\tau < 1$ (प्रभावी रूप से अन्य क्रियाओं के सापेक्ष चयनित क्रिया को प्रोत्साहित करना)।
   • कोई फीडबैक नहीं ($h = 0$) का परिणाम $\tau = 1$ होता है, जिसका कोई प्रभाव नहीं पड़ता।
     तापमान एक एक्सपोनेंशियल मैप के माध्यम से गणना किया जाता है: $\tau_j = \beta^{-h}$ (चयनित क्रिया पर नकारात्मक फीडबैक के लिए) या $\beta^h$ (गैर-चयनित क्रियाओं पर सकारात्मक फीडबैक के लिए), जहाँ $\beta > 1$ है।

2. नीति पुनर्गठन (Policy Reshaping):
   मानव-संरेखित नीति को संभाव्यता स्थान (probability space) में तापमान स्केलिंग लागू करके अनुमानित किया जाता है:
   $$\pi_\tau(a_j | s) := \frac{\pi_\theta(a_j | s) \tau_j^{-1}}{Z_\theta(s)}$$
   जहाँ $Z_\theta(s)$ नॉर्मलाइजेशन कांस्टेंट है। यह ऑपरेशन संभाव्यता द्रव्यमान (probability mass) को पुनर्वितरित करता है, जिससे स्पष्ट रिवॉर्ड मॉडलिंग की आवश्यकता के बिना गलत संरेखित व्यवहारों को दबाया जाता है और संरेखित व्यवहारों को प्रोत्साहित किया जाता है।

3. रेगुलराइजेशन ऑब्जेक्टिव (Regularization Objective):
   FMR संरेखण को एक डिस्ट्रीब्यूशन मैचिंग समस्या के रूप में तैयार करता है, जो सीखी गई नीति $\pi_\theta$ और फीडबैक-टेम्पर्ड सरोगेट $\pi_\tau$ के बीच रिवर्स कुलबैक-लीब्लर (KL) डाइवर्जेंस का उपयोग करता है। इससे एक रेगुलराइज़र प्राप्त होता है:
   $$R_{FMR}(\theta) := \mathbb{E}_{s \sim D_U} \mathbb{E}_{a \sim \pi_\theta(\cdot|s)} [\log \tau(s, a)]$$
   अंतिम ऑब्जेक्टिव मानक इमिटेशन लर्निंग लॉस ($L_{IL}$) को इस रेगुलराइज़र के साथ जोड़ता है:
   $$L(\theta) = L_{IL}(\theta) + \alpha R_{FMR}(\theta)$$
   जहाँ $\alpha$ संरेखण की शक्ति को नियंत्रित करता है।

डेटा हैंडलिंग

यह विधि नॉइजी डेमोंस्ट्रेशन से लर्निंग (LfND) के लिए डिज़ाइन की गई है, जो डेटासेट $D_U = D_E \cup D_I$ को संभालती है जहाँ $D_E$ में संरेखित विशेषज्ञ डेटा है और $D_I$ में अपूर्ण (शोरयुक्त) डेटा है। FMR गलत संरेखित उप-ट्रैजेक्टरीज को पहचानने और दबाने के लिए $D_I$ से मूल्यात्मक फीडबैक का लाभ उठाता है।

प्रमुख योगदान

1. एल्गोरिदम-अज्ञेयवादी ढांचा: FMR किसी भी इमिटेशन लर्निंग एल्गोरिदम (जैसे Behavioral Cloning, IQL, DemoDICE, ReCOIL) पर एक रेगुलराइजेशन टर्म के रूप में लागू किया जा सकता है।
2. सिंगल-स्टेज ऑफलाइन ट्रेनिंग: मल्टी-स्टेज RLHF पाइपलाइनों के विपरीत, FMR एक सिंगल स्टेज में संचालित होता है, जो इसे उन वातावरणों के लिए उपयुक्त बनाता है जहाँ पर्यावरण तक पहुँच प्रतिबंधित है।
3. सीमित डेटा में मजबूती: यह विधि तब भी मजबूती प्रदर्शित करती है जब विशेषज्ञ और अपूर्ण डेटा का अनुपात कम हो (जैसे 1:50) और जब अपूर्ण डेटा में बहुत कम या कोई उपयोगी व्यवहार न हो।
4. सिद्धांत आधारित मूल्यांकन: लेखकों ने सेफ्टी जिमनेजियम (Safety Gymnasium) वातावरण को एक टेस्टबेड के रूप में उपयोग किया है, जो कुल रिटर्न से अलग एक सिद्धांत आधारित मिसअलाइनमेंट (misalignment) मापने के लिए कॉस्ट सिग्नल्स का उपयोग करता है।

प्रयोगात्मक परिणाम

लेखकों ने विभिन्न इमिटेशन लर्निंग बेसलाइन्स का उपयोग करके 3D नेविगेशन और वेलोसिटी-प्रतिबंधित लोकोमोशन कार्यों (Hopper, Swimmer, Walker2D) में FMR का मूल्यांकन किया।

• संरेखण सुधार: FMR ने सभी परीक्षण किए गए एल्गोरिदम में मिसअलाइनमेंट को लगातार कम किया। PathM नेविगेशन कार्य में, FMR ने ReCOIL के लिए मिसअलाइनमेंट में 92% तक की कमी हासिल की। वेलोसिटी कार्यों में, 98% तक की कमी देखी गई।
• क्षमता संरक्षण (Aptitude Preservation): महत्वपूर्ण रूप से, मिसअलाइनमेंट में कमी कार्य प्रदर्शन (क्षमता) की कीमत पर नहीं आई। FMR ने बेसलाइन्स की तुलना में सफलता दर और नॉर्मलाइज्ड रिटर्न को बनाए रखा या उसमें सुधार किया।
• विकल्पों के साथ तुलना:
  • DVL (Dual Value Learning) बनाम: DVL, जो फीडबैक को रिवॉर्ड के रूप में प्रतिस्थापित करता है, खराब प्रदर्शन करता है, जो पुष्टि करता है कि फीडबैक को केवल रिवॉर्ड सिग्नल के रूप में मानना अप्रभावी है।
  • CPL (Contrastive Preference Learning) बनाम: CPL, जो पेयरवाइज स्कोरिंग के लिए फीडबैक का उपयोग करता है, डेटा अनुपात घटने पर काफी गिर गया, जबकि FMR स्थिर रहा।
• डेटा ओवरलैप: FMR तब सबसे अच्छा प्रदर्शन करता है जब अपूर्ण प्रदर्शनों में कुछ प्रासंगिक उप-ट्रैजेक्टरीज शामिल हों (उच्च ओवरलैप)। हालांकि, इसने कम-ओवरलैप वाले परिदृश्यों में भी महत्वपूर्ण सुधार प्रदान किया जहाँ बेसलाइन्स पूरी तरह विफल रहे।
• फीडबैक दक्षता: प्रयोगों ने दिखाया कि FML केवल नकारात्मक फीडबैक से प्रभावी ढंग से सीखता है, जो विचलन को ठीक करने के लिए प्राथमिक चालक के रूप में कार्य करता है।

महत्व और दावे

यह शोध पत्र दावा करता है कि FMR ऑफलाइन एजेंट संरेखण में एक महत्वपूर्ण कदम है क्योंकि:

1. मोडालिटीज़ को जोड़ना: अनुक्रमिक निर्णय लेने के लिए मूल्यात्मक फीडबैक और प्रदर्शन को एक परस्पर जुड़े सिग्नल के रूप में सफलतापूर्वक एकीकृत किया गया है, जो प्राथमिकता-आधारित सापेक्ष निर्णयों की सीमाओं से आगे बढ़ता है।
2. "संरेखण-क्षमता" ट्रेड-ऑफ को संबोधित करना: यह प्रदर्शित करना कि यह संभव है कि कार्य को पूरा करने की एजेंट की क्षमता से समझौता किए बिना मिसअलाइनमेंट को भारी मात्रा में (98% तक) कम किया जा सके।
3. डेटा की कमी को संभालना: उन परिदृश्यों के लिए एक व्यवहार्य समाधान प्रदान करना जहाँ उच्च-गुणवत्ता वाला संरेखित डेटा दुर्लभ है और शोरयुक्त डेटा प्रचुर मात्रा में है, जो एक वास्तविक दुनिया की बाधा है।
4. मॉड्यूलरिटी: एक प्लग-एंड-प्ले रेगुलराइजेशन टर्म प्रदान करना जो आर्किटेक्चरल परिवर्तनों या मल्टी-स्टेज ट्रेनिंग पाइपलाइनों की आवश्यकता के बिना मौजूदा इमिटेशन लर्निंग एल्गोरिदम को बेहतर बनाता है।

लेखक निष्कर्ष निकालते हैं कि FML फीडबैक से समृद्ध जानकारी का प्रभावी ढंग से उपयोग करता है ताकि नीति एंट्रॉपी (policy entropy) को नियंत्रित किया जा सके, अवांछित क्रियाओं को हतोत्साहित किया जा सके और पसंदीदा व्यवहारों को सुदृढ़ किया जा सके, जिससे अधिक मजबूत और संरेखित ऑफलाइन लर्निंग संभव हो सके।