तकनीकी सारांश: BiTrajDiff

समस्या विवरण

ऑफलाइन सुदृढीकरण शिक्षण (Reinforcement Learning - RL) का लक्ष्य बिना किसी अतिरिक्त वातावरण संपर्क के, स्थिर, पूर्व-संग्रहित डेटासेट से प्रभावी नीतियों को सीखना है। इस क्षेत्र में एक प्राथमिक चुनौती आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) समस्या है, जहाँ सीखी गई नीति उन अवस्था-क्रिया (state-action) युग्मों का सामना करती है जो लॉग किए गए डेटा में मौजूद नहीं होते हैं, जिससे एक्सट्रपलेशन त्रुटियां और मान अतिरंजना (value overestimation) होती हैं। इसे कम करने के लिए, मौजूदा विधियाँ अक्सर रूढ़िवादी बाधाओं को लागू करती हैं, जो अनजाने में सीखने को डेटासेट के संरचनात्मक पूर्वाग्रहों तक सीमित कर देती हैं, जिससे व्यवहार संबंधी विविधता और सामान्यीकरण बाधित होता है।

हालिया डेटा ऑग्मेंटेशन (DA) दृष्टिकोण जनरेटिव मॉडल (विशेष रूप से डिफ्यूजन मॉडल) का उपयोग करके नए ट्रांज़िशन को संश्लेषित करने के माध्यम से इसे संबोधित करने का प्रयास करते हैं। हालाँकि, वर्तमान DA विधियाँ मुख्य रूप से इन-डेटासेट अवस्थाओं पर आधारित एक सिंगल रोलआउट प्रतिमान (या तो फॉरवर्ड-फ्यूचर या बैकवर्ड-हिस्ट्री) के भीतर कार्य करती हैं। परिणामस्वरूप, ये विधियाँ डेटासेट की मूल प्रक्षेपवक्र-स्तरीय कनेक्टिविटी (trajectory-level connectivity) को बनाए रखने की प्रवृत्ति रखती हैं। वे मौजूदा व्यवहार पैटर्न के भीतर स्थानीय भिन्नताएँ उत्पन्न करते हैं लेकिन अलग-अलग, विच्छेदित व्यवहार पैटर्न के बीच संबंधों को पुनः प्राप्त करने में विफल रहते हैं (जैसे कि नेविगेशन कार्य में दो अलग-अलग कमरों को जोड़ना जहाँ मूल डेटा में कोई क्रॉस-डोर प्रक्षेपवक्र मौजूद नहीं है)।

कार्यप्रणाली

लेखक BiTrajDiff (बाइडायरेक्शनल ट्राजेक्टरी डिफ्यूजन) का प्रस्ताव करते हैं, जो एक नवीन DA फ्रेमवर्क है जिसे विशेष रूप से उन प्रक्षेपपथों को संश्लेषित करने के लिए डिज़ाइन किया गया है जो पहले से विच्छेदित व्यवहार पैटर्न को जोड़ते हैं, जिससे वैश्विक प्रक्षेपवक्र-स्तरीय कनेक्टिविटी को पुनः प्राप्त किया जा सके।

मुख्य ढांचा (Core Framework)

BiTrajDiff प्रक्षेपवक्र संश्लेषण को दो स्वतंत्र लेकिन पूरक डिफ्यूजन प्रक्रियाओं में विभाजित करता है:

1. फॉरवर्ड-फ्यूचर डिफ्यूजन: एक मध्यवर्ती अवस्था से शुरू होकर भविष्य के अवस्था अनुक्रमों के निर्माण को मॉडल करता है।
2. बैकवर्ड-हिस्ट्री डिफ्यूजन: उसी मध्यवर्ती अवस्था पर समाप्त होने वाले पिछले अवस्था अनुक्रमों के पुनर्निर्माण को मॉडल करता है।

दोनों प्रक्रियाएं एक ही मध्यवर्ती एंकर अवस्थाओं ($s_t$) पर आधारित हैं जो ऑफलाइन डेटासेट से ली गई हैं, साथ ही एक लक्षित संचयी रिटर्न (cumulative return) सिग्नल भी शामिल है।

प्रमुख घटक

1. बाइडायरेक्शनल डिफ्यूजन ट्रेनिंग:

   • दो अलग-अलग डिफ्यूजन मॉडल ($\epsilon_{\theta_f}$ फॉरवर्ड के लिए, $\epsilon_{\theta_b}$ बैकवर्ड के लिए) को ऑफलाइन डेटासेट पर प्रशिक्षित किया जाता है।
   • फॉरवर्ड मॉडल प्रारंभिक अवस्था $s_t$ और लक्षित रिटर्न $R_f$ की स्थिति में भविष्य के पथों $\{s_t, \dots, s_{t+H-1}\}$ को उत्पन्न करता है।
   • बैकवर्ड मॉडल अंतिम अवस्था $s_t$ और लक्षित रिटर्न $R_b$ की स्थिति में पिछले पथों $\{s_{t-H+1}, \dots, s_t\}$ को उत्पन्न करता है।
   • प्रशिक्षण में कंडीशनल और अनकंडीशनल जनरेशन को संभालने के लिए क्लासिफायर-फ्री गाइडेंस (CFG) का उपयोग किया जाता है, जिसमें संचयी रिटर्न प्राथमिक शर्त के रूप में कार्य करता है।

2. बाइडायरेक्शनल ट्राजेक्टरी जनरेशन और स्टिचिंग:

   • अनुमान (inference) के दौरान, डेटासेट से एक एंकर अवस्था $s_t$ चुनी जाती है।
   • फॉरवर्ड मॉडल एक भविष्य का खंड (segment) उत्पन्न करता है, और बैकवर्ड मॉडल एक पिछला खंड उत्पन्न करता है।
   • इन खंडों को साझा एंकर अवस्था $s_t$ पर स्टिच (stitch) किया जाता है ताकि एक पूर्ण बाइडायरेक्शनल प्रक्षेपवक्र बनाया जा सके: $\hat{\tau}_s(s_t) = \{ \hat{s}_{t-H+1}, \dots, \hat{s}_{t-1}, s_t, \hat{s}_{t+1}, \dots, \hat{s}_{t+H-1} \}$।
   • यह स्टिचिंग तंत्र ऐसे प्रक्षेपपथों के संश्लेषण की अनुमति देता है जो उन अवस्थाओं को जोड़ते हैं जो मूल डेटासेट में पहले अप्राप्य या विच्छेदित थे।

3. ट्राजेक्टरी कंप्लीशन (Trajectory Completion):

   • चूंकि डिफ्यूजन मॉडल अवस्था अनुक्रमों को उत्पन्न करते हैं, इसलिए अवस्था संक्रमणों ($s_t, s_{t+1}$) के आधार पर क्रियाओं ($a_t$) की भविष्यवाणी करने के लिए एक इनवर्स डायनेमिक्स मॉडल (IDM) का उपयोग किया जाता है।
   • एक रिवॉर्ड मॉडल (RM) अवस्था-क्रिया युग्मों के लिए रिवॉर्ड ($r_t$) की भविष्यवाणी करता है।
   • यह प्रक्षेपवक्र को क्रिया और रिवॉर्ड सिग्नल के साथ पूर्ण करता है, जिससे एक पूर्ण ट्रांज़िशन टुपल बनता है।

4. बाइडायरेक्शनल ट्राजेक्टरी फ़िल्टरिंग:
   यह सुनिश्चित करने के लिए कि संवर्धित डेटा की गुणवत्ता बनी रहे, दो-चरणीय फ़िल्टरिंग तंत्र लागू किया जाता है:

   • OOD फ़िल्टर: एक आइसोलेशन फॉरेस्ट (Isolation Forest) का उपयोग उन प्रक्षेपपथों का पता लगाने और उन्हें हटाने के लिए किया जाता है जो मूल डेटा वितरण से काफी भिन्न हैं (नोवेल्टी डिटेक्शन)।
   • ग्रीडी फ़िल्टर: उच्चतम संचयी रिवॉर्ड के आधार पर शीर्ष प्रक्षेपपथों का चयन करता है, यह सुनिश्चित करता है कि संवर्धित डेटा नीति को उच्च-प्रदर्शन वाले व्यवहारों की ओर निर्देशित करे।

प्रमुख योगदान

1. सीमाओं की पहचान: लेखक पहचानते हैं कि सिंगल-रोलआउट DA विधियाँ मूल प्रक्षेपवक्र-स्तरीय कनेक्टिविटी को बनाए रखती हैं, जिससे वे अलग-अलग व्यवहार पैटर्न के बीच संबंधों को खोजने में विफल रहती हैं।
2. बाइडायरेक्शनल सिंथेसिस: BiTrajDiff का प्रस्ताव, जो स्पष्ट रूप से साझा एंकरों पर आधारित फॉरवर्ड और बैकवर्ड प्रक्रियाओं में जनरेशन को विभाजित करता है, जिससे विच्छेदित व्यवहार मोड को जोड़ने वाले प्रक्षेपपथों का संश्लेषण संभव होता है।
3. अनुभवजन्य सत्यापन (Empirical Validation): D4RL बेंचमार्क पर व्यापक प्रयोग दर्शाते हैं कि BiTrajDiff विभिन्न ऑफलाइन RL बैकबोन्स (IQL, TD3BC, CQL, DT) पर उन्नत DA बेसलाइन्स (Synther, DiffStitch, और RTDiff सहित) को लगातार पछाड़ता है।

प्रयोगात्मक परिणाम

पेपर में लोकोमोशन, नेविगेशन (Maze2D, AntMaze), और मैनिपुलेशन (Kitchen) कार्यों को कवर करने वाले D4RL बेंचमार्क पर BiTrajDiff का मूल्यांकन किया गया है।

• प्रदर्शन लाभ: BiTrajDiff अधिकांश कार्यों और एल्गोरिदम में उच्चतम औसत रिटर्न प्राप्त करता है। उदाहरण के लिए, लोकोमोशन कार्यों में, यह लगातार सिंगल-डायरेक्शनल बेसलाइन्स से बेहतर प्रदर्शन करता है। Maze और Kitchen जैसे स्पार्स-रिवॉर्ड वातावरण में, जहाँ डेटा की गुणवत्ता महत्वपूर्ण है, BiTrajDiff स्थिरता और प्रदर्शन में महत्वपूर्ण सुधार दिखाता है।
• एब्लेशन अध्ययन (Ablation Studies):
  • दिशात्मकता (Directionality): BiTrajDiff (बाइडायरेक्शनल) लगातार फॉरवर्ड-ओनली और बैकवर्ड-ओनली वेरिएंट दोनों से बेहतर प्रदर्शन करता है, जो वैश्विक कनेक्टिविटी को पुनः प्राप्त करने के लिए अतीत और भविष्य दोनों खंडों को स्टिच करने की आवश्यकता को प्रमाणित करता है।
  • फ़िल्टरिंग: यह दिखाया गया है कि OOD और ग्रीडी फ़िल्टर का संयोजन अकेले किसी एक के उपयोग या बिना किसी फ़िल्टर के उपयोग करने की तुलना में श्रेष्ठ है, जो विविधता और विश्वसनीयता के बीच संतुलन बनाता है।
  • ऑग्मेंटेशन रेश्यो: मूल डेटा के साथ 30% संवर्धित डेटा का अनुपात ($\sigma=30\%$) इष्टतम स्थिरता और प्रदर्शन प्रदान करता है; अत्यधिक ऑग्मेंटेशन (100%) शोर (noise) पैदा करता है जो प्रदर्शन को खराब कर देता है।
• n-स्टेप TD एस्टीमेटर: BiTrajDiff n-स्टेप होराइजन बढ़ने के साथ भी अपना प्रदर्शन लाभ बनाए रखता है, जो यह सुझाव देता है कि उत्पन्न प्रक्षेपपथ अन्य DA विधियों की तुलना में उच्च गुणवत्ता के और अंतर्निहित डायनेमिक्स के अधिक सुसंगत हैं।
• विविधता बनाम सटीकता: विज़ुअलाइज़ेशन मेट्रिक्स (डायनेमिक एरर और L2 डिस्टेंस) दिखाते हैं कि BiTrajDiff मूल डेटा से काफी अधिक विविधता (बड़ा L2 डिस्टेंस) के साथ प्रक्षेपपथ उत्पन्न करता है, जबकि प्रतिस्पर्धी डायनेमिक सटीकता बनाए रखता है, जबकि सिंगल-डायरेक्शनल विधियाँ मूल वितरण पर ओवरफिट होने की प्रवृत्ति रखती हैं।

महत्व और दावे

पेपर का दावा है कि BiTrajDiff ऑफलाइन RL डेटा ऑग्मेंटेशन की एक मौलिक सीमा को संबोधित करता है: सिंगल-प्रोसेस रोलआउट की विच्छेदित व्यवहार पैटर्न को जोड़ने में असमर्थता। साझा एंकर अवस्थाओं के आसपास फॉरवर्ड-फ्यूचर और बैकवर्ड-हिस्ट्री प्रक्षेपपथों को स्पष्ट रूप से मॉडल और स्टिच करके, BiTrajDiff उस वैश्विक प्रक्षेपवक्र-स्तरीय कनेक्टिविटी को पुनः प्राप्त करता है जो मूल डेटासेट में अनुपस्थित थी।

लेखक का तर्क है कि यह दृष्टिकोण ऑफलाइन RL एल्गोरिदम को भौतिक निरंतरता से समझौता किए बिना व्यवहार के अधिक विविध पैटर्न से सीखने की अनुमति देता है, जिससे विभिन्न कार्यों और एल्गोरिदम की एक विस्तृत श्रृंखला में पर्याप्त प्रदर्शन सुधार होता है। भविष्य के कार्य में व्यापक व्यवहार पैटर्न के साथ मल्टी-टास्क सेटिंग्स में बाइडायरेक्शनल जनरेशन का पता लगाने की बात कही गई है।