🤖 machine learning

Formulating Reinforcement Learning for Human-Robot Collaboration through Off-Policy Evaluation

यह शोध पत्र एक नवीन ऑफलाइन सुदृढीकरण शिक्षण (ऑफलाइन रिइन्फोर्समेंट लर्निंग) ढांचे का प्रस्ताव करता है जो मानव-रोबोट सहयोग के लिए इष्टतम अवस्था निरूपण (स्टेट रिप्रेजेंटेशन) और पुरस्कार फलनों (रिवॉर्ड फंक्शन्स) को स्वचालित रूप से चुनने के लिए लॉग किए गए इंटरेक्शन डेटा पर ऑफ-पॉलिसी मूल्यांकन का उपयोग करता है, जिससे वास्तविक समय के परिवेशी इंटरैक्शन की महंगी आवश्यकता समाप्त हो जाती है और सुरक्षा-महत्वपूर्ण अनुप्रयोगों में आरएल (RL) की स्केलेबिलिटी बढ़ती है।

मूल लेखक: Saurav Singh, Rodney Sanchez, Alexander Ororbia, Jamison Heard

प्रकाशित 2026-02-04

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Saurav Singh, Rodney Sanchez, Alexander Ororbia, Jamison Heard

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को इंसान के साथ मिलकर काम करना सिखाने की कोशिश कर रहे हैं, जैसे कि कॉकपिट में एक को-पायलट या अस्पताल में एक नर्स। ऐसा करने के लिए, आपको रोबोट को एक "दिमाग" (रिनफोर्समेंट लर्निंग) देना होगा जो परीक्षण और त्रुटि (trial and error) से सीखता है। लेकिन समस्या यह है कि वास्तविक दुनिया में, आप यह देखने के लिए कि क्या होता है, रोबोट को विमान क्रैश करने या मरीज को चोट पहुँचाने की अनुमति नहीं दे सकते। यह बहुत खतरनाक और महंगा है।

आमतौर पर, रोबोट को सिखाने के लिए, इंसानों को मैन्युअल रूप से रोबोट के "सेंस" (वह डेटा जिसे वह देखता है) और उसके "मोटिवेशन" (जिसके लिए उसे इनाम मिलता है) को डिजाइन करने में वर्षों बिताने पड़ते हैं। यदि रोबोट विफल हो जाता है, तो आपको अनुमान लगाना पड़ता है कि क्यों हुआ और फिर से शुरुआत करनी पड़ती है। यह एक रेडियो को बिना कमरे से बाहर निकले, अंधेरे में डायल घुमाकर ट्यून करने की कोशिश करने जैसा है।

यह शोध पत्र उस रेडियो को ट्यून करने का एक स्मार्ट तरीका प्रस्तावित करता है, बिना कभी कमरे से बाहर निकले।

मुख्य विचार: "टाइम-ट्रैवल" कोच

लेखक एक विधि पेश करते हैं जिसे ऑफ-पॉलिसी इवैल्यूएशन (OPE) कहा जाता है। इसे एक "टाइम-ट्रैवल कोच" के रूप में सोचें।

रोबोट को वास्तविक दुनिया में अभ्यास करने देने के बजाय, शोधकर्ता पुराने लॉग्स (पुराने रिकॉर्ड्स) का एक बड़ा ढेर लेते हैं—उन रिकॉर्डिंग्स का कि कैसे इंसानों और रोबोटों ने अतीत में आपस में बातचीत की है। वे इन लॉग्स का उपयोग करके हजारों अलग-अलग "क्या होगा अगर" वाले परिदृश्यों (scenarios) का अनुकरण (simulate) करते हैं।

समस्या: उन्हें यह पता लगाने की आवश्यकता है कि कौन सा "सेंस" (स्टेट स्पेस) और कौन से "इनाम के नियम" (रिवॉर्ड फंक्शन) का सेट रोबोट को सबसे अच्छा साथी बनाएगा।
समाधान: वे OPE कोच का उपयोग करके पुराने लॉग्स को देखते हैं और कहते हैं, "यदि हमने रोबोट को 'इस' विशिष्ट सेंस और 'इस' विशिष्ट रिवॉर्ड नियम के साथ सिखाया होता, तो वह ठीक इसी तरह प्रदर्शन करता।"

यह उन्हें बिना किसी वास्तविक दुनिया के संपर्क में आए, सबसे अच्छा प्रशिक्षण नुस्खा (training recipe) चुनने की अनुमति देता है।

प्रयोग: दो अलग-अलग खेल के मैदान

इसे सिद्ध करने के लिए, उन्होंने अपने "टाइम-ट्रैवल कोच" का परीक्षण दो बहुत अलग वातावरणों में किया।

1. लूनर लैंडर (वीडियो गेम टेस्ट)

सबसे पहले, उन्होंने लूनर लैंडर नामक एक वीडियो गेम का उपयोग किया, जहाँ एक रोबोट को चंद्रमा पर एक अंतरिक्ष यान उतारना होता है।

परीक्षण: उन्होंने रोबोट को अलग-अलग "सेंस" के साथ सिखाने की कोशिश की। एक संस्करण सब कुछ देखता था (स्थिति, गति, कोण)। दूसरा संस्करण अतिरिक्त "शोर" (नकली डेटा) देखता था। तीसरा संस्करण कम देखता था (पोजीशन डेटा के बिना)।
परिणाम: कोच ने लॉग्स को देखा और सही ढंग से पहचाना कि "पूर्ण दृश्य" (full view) सबसे अच्छा था। उसे पता चला कि नकली शोर जोड़ने से रोबोट भ्रमित हो गया, और पोजीशन डेटा हटाने से वह क्रैश हो गया।
रिवॉर्ड: उन्होंने रोबोट को अंक देने के विभिन्न तरीकों का भी परीक्षण किया। उन्होंने पाया कि सबसे अच्छा रिवॉर्ड सिस्टम केवल सुरक्षित रूप से उतरने के बारे में नहीं था; यह स्थिर रहने, ईंधन का समझदारी से उपयोग करने और धीरे से उतरने का एक मिश्रण था। कोच ने बिना नया रोबोट बनाए तुरंत विजेता को चुन लिया।

2. नासा MATB-II (मानव तनाव परीक्षण)

इसके बाद, वे एक वास्तविक मानव परिदृश्य में चले गए जिसे MATB-II नामक सिमुलेशन का उपयोग करके बनाया गया है। कल्पना कीजिए कि एक व्यस्त एयर ट्रैफिक कंट्रोलर या एक पायलट एक साथ चार कार्यों को संभाल रहा है:

ट्रैकिंग: एक चलते हुए लक्ष्य पर बिंदु को बनाए रखना।
मॉनिटरिंग: अलार्म के लिए गेज (gauges) पर नज़र रखना।
रिसोर्स मैनेजमेंट: ईंधन टैंकों को संतुलित रखना।
कम्युनिकेशन: रेडियो कमांड सुनना।

इस अध्ययन में, इंसानों ने एक ऑटोमेशन सिस्टम के साथ मिलकर काम किया। शोधकर्ता यह जानना चाहते थे कि: रोबोट को यह तय करने के लिए किस डेटा का उपयोग करना चाहिए कि उसे कब मदद करनी है?

डेटा: उन्होंने रोबोट को केवल टास्क डेटा, केवल हार्ट रेट डेटा, या टास्क डेटा, हार्ट रेट और अनुमानित तनाव स्तरों का मिश्रण दिया।
निष्कर्ष: "टाइम-ट्रवेल कोच" ने निर्धारित किया कि रोबोट तब सबसे अच्छा प्रदर्शन करता था जब वह सब कुछ देख सकता था: इंसान क्या कर रहा था, उसकी हृदय गति, और उसका तनाव स्तर। हालांकि, उसने पाया कि केवल तनाव स्तरों को देखना पर्याप्त नहीं था; रोबोट को वास्तविक कार्यों को भी देखने की आवश्यकता थी।
रिवॉर्ड: उन्होंने रोबोट को पुरस्कृत करने के विभिन्न तरीकों का भी परीक्षण किया। उन्होंने पाया कि एक "संतुलित" रिवॉर्ड सिस्टम (जो गलत कार्यों के लिए दंडित करता था और अच्छे कार्यों के लिए पुरस्कृत करता था) ने रोबोट को एक सहायक साथी बनने के लिए सिखाने में सबसे अच्छा काम किया।

वास्तविक दुनिया का परीक्षण: रोबोट को काम पर लगाना

कोच द्वारा सबसे अच्छा नुस्खा चुनने के बाद, उन्होंने वास्तव में रोबोट बनाया और उसे 19 स्वयंसेवकों के साथ एक कमरे में रखा। उन्होंने तीन प्रकार के सहायकों की तुलना की:

रूल-बेस्ड रोबोट: एक सख्त मैनुअल का पालन करता है (जैसे, "यदि इंसान तनाव में है, तो कार्य A संभाल लें")।
स्टैंडर्ड RL रोबोट: लॉग्स का उपयोग करके सबसे अच्छे नुस्खे से सीखा।
फाइन-ट्यून्ड RL रोबोट: लॉग्स से सीखा, फिर वास्तविक समय में उस विशिष्ट इंसान के आधार पर अपने व्यवहार को समायोजित करने की कोशिश की जिसके साथ वह काम कर रहा था।

परिणाम:

स्टैंडर्ड RL रोबोट सबसे सुसंगत (consistent) था। यह चलते हुए लक्ष्यों को ट्रैक करने और अलार्म की निगरानी करने में सबसे अच्छा था। इसने इंसानों के तनाव को सबसे कम किया और सबसे अधिक विश्वास बनाया। यह एक भरोसेमंद, शांत को-पायलट की तरह था जिसे पता था कि उसे कब हस्तक्षेप करना है।
रूल-बेस्ड रोबोट सरल कार्यों में ठीक था लेकिन अराजकता होने पर संघर्ष करता था।
फाइन-ट्यून्ड रोबोट दिलचस्प था। यह "कम्युनिकेशन" कार्य (रेडियो कमांड सुनना) के लिए सबसे अच्छा था क्योंकि इसने उस विशिष्ट व्यक्ति के अनुसार खुद को पूरी तरह से ढाल लिया। हालांकि, जब काम का बोझ बढ़ गया, तो यह थोड़ा अप्रत्याशित हो गया। यह एक ऐसे को-पायलट की तरह था जो बातचीत में तो बहुत अच्छा था लेकिन चीजें बिगड़ने पर कभी-कभी ईंधन गेज देखना भूल जाता था।

निष्कर्ष

शोध पत्र यह निष्कर्ष निकालता है कि एक अच्छा रोबोट टीम बनाने के लिए आपको यह जानने के लिए कुछ रॉकेट क्रैश करने या कुछ पायलटों को तनाव देने की आवश्यकता नहीं है। ऑफ-पॉलिसी इवैल्यूएशन का उपयोग करके, आप पुराने डेटा को देख सकते हैं, लाखों प्रशिक्षण परिदृश्यों का अनुकरण कर सकते हैं, और रोबोट को चालू करने से पहले ही उसके लिए सही "सेंस" और "मोटिवेशन" चुन सकते हैं।

यह सुरक्षित, प्रभावी मानव-रोबोट टीमों को बनाना बहुत तेज़, सस्ता और सुरक्षित बनाता है। यह "अनुमान लगाने और जांचने" की प्रक्रिया को एक सटीक, डेटा-संचालित विज्ञान में बदल देता है।

तकनीकी सारांश: ऑफ-पॉलिसी इवैल्यूएशन के माध्यम से मानव-रोबोट सहयोग के लिए सुदृढीकरण शिक्षण (Reinforcement Learning) का निर्धारण

1. समस्या विवरण

सुदृढीकरण शिक्षण (RL) गतिशील वातावरण में, विशेष रूप से मानव-रोबोट इंटरेक्शन (HRI) में, अनुक्रमिक निर्णय लेने की प्रक्रिया को अनुकूलित करने के लिए महत्वपूर्ण क्षमता रखता है। हालाँकि, वास्तविक दुनिया के सुरक्षा-महत्वपूर्ण सेटिंग्स (जैसे, स्वास्थ्य सेवा, एयरोस्पेस, स्वायत्त ड्राइविंग) में RL को तैनात करना बड़ी बाधाओं का सामना करता है। पारंपरिक RL दृष्टिकोण अत्यधिक ऑनलाइन इंटरैक्शन, प्रयास-और-त्रुटि (trial-and-error), और प्रभावी स्टेट रिप्रेजेंटेशन (state representations) तथा रिवॉर्ड फंक्शन (reward functions) को परिभाषित करने के लिए डोमेन विशेषज्ञता पर बहुत अधिक निर्भर करते हैं। यह प्रक्रिया अक्सर महंगी, समय लेने वाली और असुरक्षित होती है।

जबकि ऑफलाइन सुदृढीकरण शिक्षण (ORL) पूर्व-संग्रहित डेटा पर प्रशिक्षण लेकर वास्तविक समय के इंटरैक्शन की आवश्यकता को कम करता है, एक महत्वपूर्ण चुनौती बनी हुई है: ऑनलाइन प्रयोग के बिना इष्टतम स्टेट स्पेस और रिवॉर्ड फंक्शन का चयन करना। इसके अलावा, यह सुनिश्चित करना कि ऑफलाइन-प्रशिक्षित नीतियां गतिशील मानव-रोबोट टीमिंग परिदृश्यों में सुरक्षित और प्रभावी हैं, इसके लिए मजबूत मूल्यांकन विधियों की आवश्यकता होती है जो वास्तविक दुनिया में और अधिक तैनाती की आवश्यकता को समाप्त करती हों।

2. कार्यप्रणाली

लेखक एक नवीन ढांचे का प्रस्ताव करते हैं जो केवल लॉग किए गए इंटरैक्शन डेटा का उपयोग करके इष्टतम स्टेट स्पेस रिप्रेजेंटेशन और रिवॉर्ड फंक्शन को व्यवस्थित रूप से चुनने के लिए ऑफ-पॉलिसी इवैल्यूएशन (OPE) का लाभ उठाता है। यह दृष्टिकोण डिजाइन चरण के दौरान वास्तविक समय के वातावरण तक पहुंच या मानव-इन-द-लूप फीडबैक की आवश्यकता को समाप्त करता है।

2.1 OPE के माध्यम से स्टेट स्पेस चयन

यह ढांचा डोमेन ज्ञान या फीचर चयन से प्राप्त कई उम्मीदवार स्टेट रिप्रेजेंटेशन ( $S_1, S_2, ..., S_K$ ) का मूल्यांकन करता है।

ऑफलाइन प्रशिक्षण: प्रत्येक उम्मीदवार स्टेट स्पेस के लिए एक ऑफलाइन RL एजेंट (विशेष रूप से, कंस्ट्रेंड Q-लर्निंग, CQL) को लॉग किए गए डेटासेट का उपयोग करके प्रशिक्षित किया जाता है।
OPE अनुमान: एक OPE एस्टिमेटर (इंपॉर्टेंस सैंपलिंग, डायरेक्ट मेथड, या फिटेड Q-इवैल्यूएशन जैसी विधियों का उपयोग करते हुए) बिना ऑनलाइन इंटरैक्शन के प्रत्येक प्रशिक्षित नीति के अपेक्षित रिटर्न का अनुमान लगाता है।
चयन: उच्चतम OPE-अनुमानित रिटर्न के आधार पर इष्टतम स्टेट स्पेस ( $S^*$ ) का चयन किया जाता है, जो प्रभावी रूप से उच्च-प्रदर्शन करने वाली नीतियों को प्रेरित करने की उनकी क्षमता के आधार पर रिप्रेजेंटेशन को रैंक करता है।

2.2 OPE के माध्यम से रिवॉर्ड फंक्शन चयन

यह ढांचा समान रूप से उम्मीदवार रिवॉर्ड फंक्शन ( $r_1, r_2, ..., r_M$ ) का मूल्यांकन उनके उच्च-प्रदर्शन करने वाली और निम्न-प्रदर्शन करने वाली नीतियों के बीच अंतर करने की क्षमता का आकलन करके करता है।

नीति मूल्यांकन: पूर्व-निर्धारित उच्च-प्रदर्शन करने वाली ( $\pi^+$ ) और निम्न-प्रदर्शन करने वाली ( $\pi^-$ ) नीतियों का प्रत्येक उम्मीदवार रिवॉर्ड फंक्शन के तहत OPE का उपयोग करके मूल्यांकन किया जाता है।
सेपरेशन मेट्रिक्स (Separation Metrics): एक रिवॉर्ड फंक्शन की प्रभावशीलता को $\pi^+$ $π^{+}$ और $\pi^-$ $π^{-}$ के अनुमानित रिटर्न के बीच विचलन द्वारा मात्रात्मक रूप से मापा जाता है। लेखक निम्नलिखित का उपयोग करते हैं:
- माध्य रिटर्न अंतर ( $\Delta V$ )।
- कुलबैक-लीब्लर (KL) डाइवर्जेंस।
- जेन्सन-शैनन (JS) डाइवर्जेंस।
चयन: इष्टतम रिवॉर्ड फंक्शन ( $r^*$ ) वह है जो अच्छी और बुरी नीतियों के बीच के अंतर को अधिकतम करता है, जिससे एक मजबूत लर्निंग सिग्नल सुनिश्चित होता है।

3. प्रयोगात्मक सत्यापन

प्रस्तावित कार्यप्रणाली को दो अलग-अलग वातावरणों में सत्यापित किया गया:

3.1 नियंत्रित सेटिंग: OpenAI Gym Lunar Lander

उद्देश्य: नियंत्रित वातावरण में स्टेट स्पेस और रिवॉर्ड फंक्शन को चुनने की ढांचे की क्षमता का आकलन करना।
स्टेट स्पेस परिणाम: तीन उम्मीदवारों का परीक्षण किया गया: मूल ( $S_{orig}$ ), शोर के साथ विस्तारित ( $S_{more}$ ), और कम किया गया ( $S_{less}$ )। OPE ने $S_{orig}$ को इष्टतम रिप्रेजेंटेशन के रूप में सही ढंग से पहचाना, यह प्रदर्शित करते हुए कि अनावश्यक फीचर विस्तार प्रदर्शन को खराब करता है जबकि अत्यधिक संपीड़न महत्वपूर्ण जानकारी को छोड़ देता है।
रिवॉर्ड फंक्शन परिणाम: ढांचे ने सफलतापूर्वक एक बेसलाइन रिवॉर्ड फंक्शन की पहचान की जिसमें स्टेट-आधारित, एक्शन-आधारित और टर्मिनल रिवॉर्ड शामिल थे, जो अन्य विकल्पों (जैसे, केवल टर्मिनल या केवल एक्शन) की तुलना में श्रेष्ठ था। चयनित फंक्शन ने उच्चतम JS डाइवर्जेंस प्रदर्शित किया, जो प्रभावी लर्निंग सिग्नल प्रदान करने की इसकी क्षमता की पुष्टि करता है।

3.2 वास्तविक दुनिया की सेटिंग: NASA-MATB-II मानव विषय अध्ययन

उद्देश्य: मल्टी-एट्रीब्यूट टास्क बैटरी-II (MATB-II) सिमुलेशन से प्राप्त डेटा का उपयोग करके मानव-रोबोट टीमिंग के लिए इसकी प्रयोज्यता का मूल्यांकन करना, जिसमें नौ प्रतिभागियों को विभिन्न वर्कलोड स्थितियों के तहत शामिल किया गया।
स्टेट स्पेस चयन: उम्मीदवारों में टास्क डेटा, शारीरिक डेटा (हृदय गति, श्वसन), और अनुमानित वर्कलोड के संयोजन शामिल थे।
- परिणाम: मल्टीमॉडल स्टेट स्पेस ( $S_{task+physio+wl}$ ) ने उच्चतम OPE रिटर्न दिया। हालांकि, आगे के विश्लेषण ने संकेत दिया कि जब टास्क और शारीरिक डेटा मौजूद हो, तो वर्कलोड डेटा से मामूली लाभ मिलता है। फलस्वरूप, $S_{task+physio}$ को प्रदर्शन और कम्प्यूटेशनल दक्षता के बीच संतुलन बनाते हुए पसंदीदा रिप्रेजेंटेशन के रूप में चुना गया।
रिवॉर्ड फंक्शन चयन: तीन रिवॉर्ड फंक्शन का परीक्षण किया गया: बुरे व्यवहार को दंडित करना ( $r_1$ $r_{1}$ ), अच्छे व्यवहार को पुरस्कृत करना ( $r_2$ $r_{2}$ ), और एक वेटेड सम (weighted sum) ( $r_3$ $r_{3}$ )।
- परिणाम: वेटेड सम ( $r_3$ ) को इष्टतम के रूप में चुना गया, जिसने उच्चतम KL और JS डाइवर्जेंस दिखाया, जो नीति प्रदर्शनों के बीच सर्वोत्तम पृथक्करण का संकेत देता है।

3.3 ऑनलाइन मानव विषय सत्यापन

19 प्रतिभागियों के साथ एक बाद के IRB-अनुमोदित अध्ययन में तीन एजेंटों की तुलना की गई:

रूल-बेस्ड (RB): पूर्व-निर्धारित नियम जो ओवरलोड के दौरान ऑटोमेशन को सक्रिय करते हैं।
RL एजेंट: OPE-चयनित स्टेट स्पेस और रिवॉर्ड फंक्शन का उपयोग करके ऑफलाइन प्रशिक्षित।
RL फाइन-ट्यूनिंग (RLFT): RL एजेंट जिसे वास्तविक समय के इंटरैक्शन के माध्यम से और अधिक फाइन-ट्यून किया गया।

प्रमुख निष्कर्ष:

टास्क प्रदर्शन: RL एजेंट ने ट्रैकिंग और सिस्टम मॉनिटरिंग कार्यों में सबसे सुसंगत प्रदर्शन प्रदर्शित किया, जो विभिन्न लोड के तहत रिस्पॉन्स टाइम और विफलता दर में RB और RLFT से काफी बेहतर रहा। RLFT एजेंट संचार कार्य में उत्कृष्ट रहा लेकिन संसाधन प्रबंधन में अस्थिरता और उच्च विफलता दर दिखाई।
ट्रस्ट और वर्कलोड: RL एजेंट को उच्चतम ट्रस्ट रेटिंग मिली और इसके परिणामस्वरूप सबसे कम कथित वर्कलोड और उच्चतम फ्लुएंसी (fluency) देखी गई। इसके विपरीत, RLFT ने, उच्च पोस्ट-ट्रायल ट्रस्ट स्कोर प्राप्त करने के बावजूद, उच्चतम व्यक्तिपरक वर्कलोड और हताशा उत्पन्न की, जो सुझाव देता है कि वास्तविक समय की फाइन-ट्यूनिंग अनिश्चितता और संज्ञानात्मक तनाव पैदा कर सकती है।
ऑटोमेशन फ्रीक्वेंसी: RL एजेंट ने चयनात्मक, सही समय पर ऑटोमेशन का उपयोग किया, जबकि RLFT ने कार्य के आधार पर अक्सर ओवर-ऑटोमेशन या अंडर-ऑटोमेशन किया, जिससे असंगत प्रदर्शन हुआ।

4. मुख्य योगदान

OPE-संचालित डिजाइन ढांचा: एक ऐसे ढांचे की शुरुआत जो लॉग किए गए डेटा से इष्टतम स्टेट स्पेस और रिवॉर्ड फंक्शन चुनने के लिए ऑफ-पॉलिसी इवैल्यूएशन का उपयोग करता है, जिससे महंगे वास्तविक समय के इंटरैक्शन की आवश्यकता समाप्त हो जाती है।
डेटा-संचालित अनुकूलन: नियंत्रित (Lunar Lander) और जटिल मानव-रोबोट इंटरेक्शन (NASA-MATB-II) दोनों के लिए RL फॉर्मुलेशन को व्यवस्थित रूप से उम्मीदवार कॉन्फ़िगरेशन का मूल्यांकन करके अनुकूलित करने की एक विधि।
प्रायोगिक सत्यापन: यह प्रदर्शन करना कि OPE-आधारित चयन से ऐसे RL एजेंट प्राप्त होते हैं जो अनुकूलन क्षमता, विश्वसनीयता और उपयोगकर्ता विश्वास के मामले में नियम-आधारित बेसलाइन और फाइन-ट्यून किए गए वेरिएंट से बेहतर प्रदर्शन करते हैं।

5. महत्व और दावे

यह पेपर दावा करता है कि यह कार्य ऑटोमेटेड डिजाइन निर्णयों के माध्यम से वास्तविक दुनिया के वातावरण के लिए ऑफलाइन RL की व्यवहार्यता और स्केलेबिलिटी को बढ़ाता है। प्रयास-और-त्रुटि और ऑनलाइन इंटरैक्शन पर निर्भरता को कम करके, यह ढांचा जटिल HRI सेटिंग्स के लिए RL को तैयार करने हेतु एक अधिक विश्वसनीय, प्रभावी और टिकाऊ दृष्टिकोण प्रदान करता है।

लेखक उनके परिणामों में देखे गए एक महत्वपूर्ण ट्रेड-ऑफ पर जोर देते हैं: जबकि फाइन-ट्यूनिंग (RLFT) के माध्यम से वैयक्तिकरण विशिष्ट कार्य संरेखण में सुधार कर सकता है, यह सिस्टम स्थिरता और संज्ञानात्मक भार से समझौता कर सकता है। इसलिए, प्रस्तावित OPE-आधारित ऑफलाइन दृष्टिकोण अनुकूलन क्षमता और पूर्वानुमान क्षमता के बीच संतुलन बनाता है। यह कार्य सुझाव देता है कि सुरक्षा-महत्वपूर्ण डोमेन के लिए, व्यापक ऑनलाइन प्रयोग के जोखिमों के बिना, तैनाती से पहले OPE के माध्यम से मजबूत नीति मूल्यांकन सुनिश्चित करना आवश्यक है।