CRED: Counterfactual Reasoning and Environment Design for Active Preference Learning

तकनीकी सारांश: CRED – सक्रिय प्राथमिकता शिक्षण (Active Preference Learning) के लिए प्रतितथ्यात्मक तर्क (Counterfactual Reasoning) और पर्यावरण डिजाइन

समस्या विवरण
जैसे-जैसे रोबोटिक सिस्टम अधिक जटिल और अप्रत्याशित वातावरण में कार्य करते जा रहे हैं, वांछित व्यवहार प्राप्त करने के लिए अनुकूलन उद्देश्यों (optimization objectives) को स्पष्ट रूप से निर्दिष्ट करना और संतुलित करना अव्यवहारिक होता जा रहा है। जबकि एक्टिव प्रिफरेंस लर्निंग (APL) प्रक्षेपवक्र रैंकिंग (trajectory rankings) से मानव रिवॉर्ड फंक्शन को अनुमानित करके एक समाधान प्रदान करता है, मौजूदा विधियों को महत्वपूर्ण सीमाओं का सामना करना पड़ता है। वर्तमान दृष्टिकोण आमतौर पर निश्चित डेटासेट या रीप्ले बफ़र्स से प्रक्षेपवक्र प्रश्नों (trajectory queries) को सैंपल करते हैं। यह प्रतिबंध क्वेरी की विविधता को सीमित करता है, जिससे अक्सर प्रतिस्पर्धी रिवॉर्ड फंक्शनों के बीच अंतर करने के लिए आवश्यक सूचनात्मक तुलनाओं की पहचान करने में विफलता होती है। इसके अलावा, एक एकल, निश्चित वातावरण के भीतर प्रश्न उत्पन्न करना डेटा के सूचनात्मक मूल्य को सीमित कर देता है, जिससे सीखे गए रिवॉर्ड फंक्शन के अनदेखे परिदृश्यों में सामान्यीकरण (generalize) करने की क्षमता कम हो सकती है। मुख्य चुनौती यह है कि सूचना प्राप्ति (information gain) को अधिकतम करने वाले और विविध संदर्भों में सीखे गए रिवॉर्ड फंक्शन के सामान्यीकरण को सुनिश्चित करने वाले प्रिफरेंस क्वेरीज़ को कुशलतापूर्वक कैसे उत्पन्न किया जाए।

कार्यप्रणाली
यह शोध पत्र CRED (Counterfactual Reasoning and Environment Design) का प्रस्ताव करता है, जो पर्यावरण डिजाइन और प्रक्षेपवक्र चयन को संयुक्त रूप से अनुकूलित करने वाला APL के लिए एक नवीन ढांचा है। यह प्रणाली एक बाईलिवल ऑप्टिमाइज़ेशन (bilevel optimization) समस्या के रूप में कार्य करती है (चित्र 2):

1. प्रतितथ्यात्मक तर्क (Counterfactual Reasoning - आंतरिक अनुकूलन):
   रैंडम रोलआउट या निश्चित बफ़र्स पर निर्भर रहने के बजाय, CRED अज्ञात रिवॉर्ड वेट्स ($w$) पर एक बेयसियन विश्वास वितरण (Bayesian belief distribution) बनाए रखता है। यह इस विश्वास से विविध वेट वेक्टर्स को सैंपल करता है और प्रतितथ्यात्मक प्रश्न पूछता है: "यदि यह विशिष्ट वेट वेक्टर वास्तविक प्राथमिकता होती तो क्या होता?" प्रत्येक सैंपल किए गए वेट $w_i$ के लिए, सिस्टम एक इष्टतम प्रक्षेपवक्र $\xi_i$ उत्पन्न करता है (RL या CHOMP जैसे प्रक्षेपवक्र अनुकूलन विधियों का उपयोग करके) जो उस विशिष्ट परिकल्पना के तहत रिवॉर्ड को अधिकतम करता है। इन प्रतितथ्यात्मक प्रक्षेपपथों के जोड़ों के बीच सूचना प्राप्ति (रिवॉर्ड वेट्स और क्वेरी के बीच म्यूचुअल इंफॉर्मेशन) का मूल्यांकन करके, CRED उपयोगकर्ता को प्रस्तुत करने के लिए सबसे अधिक सूचनात्मक तुलना की पहचान करता है।

2. पर्यावरण डिजाइन (Environment Design - बाहरी अनुकूलन):
   CRED यह पहचानता है कि वातावरण स्वयं यह निर्धारित करता है कि कौन से प्रक्षेपवक्र व्यवहार्य हैं और कौन सी विशेषताएं अवलोकन योग्य (observable) हैं। क्वेरी की सूचनात्मकता को अधिकतम करने के लिए, सिस्टम पर्यावरण मापदंडों $\theta$ (जैसे, भूभाग के प्रकार, बाधाओं का प्लेसमेंट, हवा की स्थिति) को अनुकूलन योग्य चरों के रूप में मानता है। बेयियन ऑप्टिमाइज़ेशन का उपयोग करते हुए, CRED उन पर्यावरण कॉन्फ़िगरेशनों की खोज करता है जो प्रतितथ्यात्मक प्रक्षेपपथों के साथ मिलकर उच्चतम अपेक्षित सूचना प्राप्ति प्रदान करते हैं। यह सिस्टम को नए परिदृश्य "कल्पना" करने की अनुमति देता है (उदाहरण के लिए, घास से बजरी में भूभाग को बदलना) जो प्रतिस्पर्धी रिवॉर्ड परिकल्पनाओं के बीच के अंतर को बेहतर ढंग से उजागर कर सकें।

प्रमुख योगदान

• नवीन क्वेरी जनरेशन फ्रेमवर्क: CRED निश्चित प्रक्षेपवक्र सेटों से आगे बढ़ने के लिए प्रतितथ्यात्मक तर्क और पर्यावरण डिजाइन को एकीकृत करता है, जिससे विविध और अत्यधिक सूचनात्मक प्रिफरेंस क्वेरीज़ का संश्लेषण संभव होता है।
• बायलिवल ऑप्टिमाइज़ेशन फॉर्मूलेशन: यह पेपर समस्या को एक बाईलिवल ऑप्टिमाइज़ेशन के रूप में औपचारिक रूप देता है जहाँ बाहरी लूप पर्यावरण $\theta$ का चयन करता है और आंतरिक लूप प्रक्षेपवक्र जोड़ी $(\xi_A, \xi_B)$ का चयन करता है, जिससे पर्यावरण डिजाइन और क्वेरी संश्लेषण प्रभावी रूप से जुड़ जाते हैं।
• बेयियन इन्फरेंस इंटीग्रेशन: विधि रिवॉर्ड वेट्स पर विश्वास बनाए रखने के लिए एक एडेप्टिव मेट्रोपोलिस एल्गोरिदम का उपयोग करती है, जो प्रतितथ्यात्मक पीढ़ी प्रक्रिया को संचालित करने के लिए विविध परिकल्पनाओं को सैंपल करती है।

प्रायोगिक परिणाम
लेखकों ने तीन सिमुलेशन डोमेन (लूनर लैंडर, टेबलटॉप मैनिपुलेशन, और नेविगेशन) और 25 प्रतिभागियों वाले एक यूजर स्टडी के माध्यम से CRED का मूल्यांकन किया।

• रिवॉर्ड सटीकता और दक्षता: सिमुलेशन में, CRED ने लगातार स्टेट-ऑफ-द-आर्ट बेसलाइन (रैंडम रोलआउट्स और मीन बिलीफ पॉलिसी) को पछाड़ दिया। इसने उच्च अंतिम रिवॉर्ड सटीकता (जैसे, लूनर लैंडर में 0.998, टेबलटॉप में 0.979) प्राप्त की और काफी तेजी से अभिसरण (converge) किया, जो अक्सर 10 इटरेशन के भीतर 95% सटीकता को पार कर गया।
• एब्लेशन अध्ययन (Ablation Studies): प्रयोगों ने पुष्टि की कि प्रतितथ्यात्मक तर्क और पर्यावरण डिजाइन दोनों पूरक हैं; इनमें से किसी एक को हटाने से सटीकता कम हो गई या अभिसरण धीमा हो गया।
• डोमेन रेंडमाइजेशन के साथ तुलना: CRED ने डोमेन रेंडमाइजेशन (जो वातावरण को यादृच्छिक रूप से सैंपल करता है) को काफी पीछे छोड़ दिया, जिससे यह सिद्ध हुआ कि बेयियन ऑप्टिमाइज़ेशन के माध्यम से सूचनात्मक वातावरण की सक्रिय खोज करना रैंडम सैंपलिंग की तुलना में बेहतर है।
• यूजर स्टडी: मानव-रोबोट इंटरेक्शन कार्यों में, CRED के साथ बातचीत करने वाले प्रतिभागियों ने कम मानसिक कार्यभार (NASA-TLX द्वारा मापा गया) की सूचना दी और बेसलाइन विधियों की तुलना में प्रक्षेपवक्र तुलनाओं को मूल्यांकन करने में आसान पाया। CRED ने मैनिपुलेशन और नेविगेशन दोनों कार्यों में ग्राउंड-ट्रुथ प्राथमिकताओं के साथ उच्च रिवॉर्ड सहसंबंध भी प्राप्त किया।

महत्व और दावे
यह पेपर दावा करता है कि CRED मौजूदा विधियों की स्केलेबिलिटी और सामान्यीकरण सीमाओं को संबोधित करके एक्टिव प्रिफरेंस लर्निंग में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है। पर्यावरण और क्वेरी दोनों को संयुक्त रूप से अनुकूलित करके, CRED ऐसे रिवॉर्ड फंक्शन सीखने में सक्षम बनाता है जो न केवल अधिक सटीक हैं, बल्कि विभिन्न परिदृश्यों में मजबूत (robust) भी हैं। लेखक तर्क देते हैं कि उनका दृष्टिकोण कम उपयोगकर्ता प्रश्नों के साथ अधिक कुशल शिक्षण की अनुमति देता है और मानव उपयोगकर्ताओं पर संज्ञानात्मक बोझ को कम करता है। इस फ्रेमवर्क को विभिन्न पॉलिसी क्लासेस (जैसे, PPO, वैल्यू इटरेशन) और डोमेन में सामान्यीकृत करने योग्य के रूप में प्रस्तुत किया गया है, हालांकि लेखक बाईलिवल फॉर्मूलेशन की कम्प्यूटेशनल जटिलता को एक वर्तमान सीमा के रूप में स्वीकार करते हैं।