💻 computer science

Learning Safe Behaviour via Justified Human Preferences and Hypothetical Queries

यह शोध पत्र JPAL-HA प्रस्तुत करता है, जो एक सुरक्षित लर्निंग मॉडल है जो सुरक्षा-महत्वपूर्ण वातावरणों के लिए है और काल्पनिक प्रश्न (hypothetical queries) उत्पन्न करने के लिए मानवीय क्रिया औचित्य (human action justifications) का लाभ उठाता है, जिससे सुरक्षा और नमूना दक्षता (sample efficiency) में उल्लेखनीय सुधार होता है और मानवीय प्रशिक्षण भार कम होता है।

मूल लेखक: Ilias Kazantzidis, Timothy J. Norman, Yali Du, Christopher T. Freeman

प्रकाशित 2026-07-13

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ilias Kazantzidis, Timothy J. Norman, Yali Du, Christopher T. Freeman

मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बिल्कुल नए रोबोट को एक कठिन द्वीप पर नेविगेट करना सिखा रहे हैं। इस द्वीप पर सूखी जमीन, दीवारें, एक लक्ष्य और पानी का एक घातक घेरा (moat) है। यदि रोबोट पानी में कदम रखता है, तो वह "मर" जाता है, और सबक बर्बाद हो जाता है।

पुराने दिनों में, रोबोट प्रशिक्षण के लिए हम एक विधि का उपयोग करते थे जिसे रीइन्फोर्समेंट लर्निंग (Reinforcement Learning) कहा जाता था। इसे ऐसे समझें जैसे आप एक बच्चे को कांच के गुलदस्तों से भरे कमरे में दौड़ने देते हैं। आप बच्चे को तब कहते हैं, "अच्छा काम किया!" जब वह कुछ नहीं तोड़ता, और "बुरा काम किया!" जब वह कुछ तोड़ देता है। समस्या यह है कि खतरे का पता लगाने के लिए बच्चे को एक गुलदस्ता (या दो, या दस) तोड़ना पड़ता है। वास्तविक दुनिया में, जहाँ रोबट कारें क्रैश कर सकते हैं या लोगों को चोट पहुँचा सकते हैं, हम उस "ट्रायल एंड एरर" (प्रयास और त्रुटि) वाले दृष्टिकोण का खर्च नहीं उठा सकते।

यह पेपर रोबोटों को सिखाने का एक नया तरीका पेश करता है जिसे JPAL-HA कहा जाता है। यह एक बहुत ही धैर्यवान, बहुत बुद्धिमान माता-पिता को काम पर रखने जैसा है जो केवल "अच्छा" या "बुरा" नहीं कहता, बल्कि यह भी समझाता है कि क्यों और रोबोट को खतरा होने से पहले ही उसे कल्पना करने में मदद करता है।

नई विधि की दो महाशक्तियाँ

लेखक, इलियास कज़ेंटज़िडिस और उनकी टीम ने इस सिस्टम को दो मुख्य विचारों पर बनाया है जो रोबोट को सुरक्षित और प्रशिक्षित करने में तेज़ बनाते हैं।

1. "क्यों" (जस्टिफाइड प्रेफरेंस - Justified Preferences)
आमतौर पर, जब कोई इंसान रोबोट को सिखाता है, तो वे दो चालों के बीच चयन करते हैं: "मैं दाएं जाने के बजाय बाएं जाने को पसंद करता हूँ।"
नया तरीका एक दूसरा स्तर जोड़ता है: "मैं बाएं जाना पसंद करता हूँ क्योंकि दाएं जाने से तुम मर जाओगे।"
इंसान अपनी पसंद के साथ एक साधारण "चेतावनी" (हाँ/नहीं) भी देता है।

उपमा: कल्पना कीजिए कि एक बच्चा पूछता है, "क्या मैं छत से कूद सकता हूँ?" माता-पिता कहते हैं, "नहीं, मैं चाहता हूँ कि तुम जमीन पर रहो।" पुराने तरीके में, बच्चा बस जानता है कि "जमीन पर रहना = अच्छा।" इस नए तरीके में, माता-पिता जोड़ते हैं, "जमीन पर रहो क्योंकि कूदना असुरक्षित है।" यह छोटा सा अतिरिक्त जानकारी रोबोट को केवल पसंद को समझने के बजाय, खतरे को बहुत तेज़ी से समझने में मदद करती है।

2. "क्या होगा अगर" (हाइपोथेटिकल एक्शन्स - Hypothetical Actions)
यह असली जादू है। जब रोबोट एक सवाल पूछता है और माता-पिता कहते हैं, "चेतावनी! वह चाल खतरनाक है," तो रोबोट केवल रुक नहीं जाता। वह तुरंत पूछता है, "ठीक है, लेकिन इस दूसरी चाल के बारे में क्या ख्याल है जो मैंने अभी तक नहीं आजमाई है? क्या वह सुरक्षित है?"

उपमा: यह अपराध स्थल पर एक जासूस की तरह है। यदि उन्हें एक सुराग मिलता है जो कहता है "कातिल बाईं ओर गया," तो वे केवल रुकते नहीं हैं। वे तुरंत पूछते हैं, "ठीक है, लेकिन पिछले दरवाजे के बारे में क्या? क्या वह बंद था? क्या खिड़की खुली थी?" वे एक बार में ही पूरे "खतरे के क्षेत्र" का मानचित्र बना लेते हैं, बजाय इसके कि हर पांच मिनट में एक नया सवाल पूछने के लिए जासूस को वापस बुलाया जाए।

इस पेपर ने वास्तव में क्या पाया

शोधकर्ताओं ने इसका परीक्षण 'आइलैंड नेविगेशन' गेम के कंप्यूटर सिमुलेशन पर और फिर एक वास्तविक कमरे में एक वास्तविक, छोटे मोबाइल रोबोट (एक Thymio) के साथ किया।

सिमुलेशन में परिणाम:

सुरक्षा: पुराने तरीके (जैसे Q-learning) विनाशकारी थे। अपने परीक्षणों में, रोबोट सही रास्ता सीखने से पहले औसतन 16.54 बार मर गया।
नई विधि: JPAL-HA के साथ, रोबोट औसतन केवल 0.02 बार मरा। यह लगभग शून्य है।
गति: रोबोट ने केवल 3 एपिसोड (प्रयासों) में सही रास्ता खोज लिया। पुराने तरीके को वहां तक पहुँचने में 22.9 एपिसोड लगे, और वह रास्ते में मर भी रहा था।
मानवीय प्रयास: आप सोच सकते हैं कि "क्यों?" और "क्या होगा अगर?" पूछने से इंसान परेशान हो जाएगा। आश्चर्यजनक रूप से, पेपर ने पाया कि नया तरीका वास्तव में उन बारों की संख्या को कम करता है जब इंसान को बाधित किया गया था। क्योंकि रोबटेज ने एक खतरनाक स्थिति में एक ही बार में कई "क्या होगा अगर" सवाल पूछे, इसलिए इंसान को बाद में बार-बार परेशान नहीं होना पड़ा।

वास्तविक मनुष्यों के साथ परिणाम:
टीम ने वास्तविक रोबोट को प्रशिक्षित करने के लिए 40 लोगों (छात्रों, कर्मचारियों और जनता) को नियुक्त किया।

समय: रोबोट को प्रशिक्षित करने में लगभग 5 मिनट लगे।
तुलना: जब इंसान सिस्टम के आदी हो गए, तो JPAL-HA के साथ प्रशिक्षण का समय पुराने, सरल तरीके (Parenting) के लगभग बराबर था, लेकिन रोबोट सीखने की प्रक्रिया के दौरान बहुत अधिक सुरक्षित था।
"क्या होगा अगर" की लागत: शोधकर्ताओं ने जवाब देने में लगने वाले समय को मापा। एक साधारण "क्या यह सुरक्षित है?" सवाल का जवाब देने में लगभग 1.15 सेकंड लगे। "अगर मैं यह दूसरी चीज़ करता तो क्या होता?" सवाल का जवाब देने में थोड़ा अधिक समय लगा, लगभग 2.45 सेकंड। इस अतिरिक्त समय के बावजूद, कुल प्रशिक्षण समय अधिकांश लोगों के लिए 4 मिनट से कम रहा।

यह पेपर किस बात को "ना" कहता है

लेखक बहुत स्पष्ट हैं कि उनका तरीका क्या नहीं है:

यह हर स्थिति के लिए जादू की छड़ी नहीं है। वे स्वीकार करते हैं कि बहुत जटिल वास्तविक दुनिया के परिदृश्यों (जैसे हेलीकॉप्टर उड़ाना) में, आपको अभी भी लगातार एक मानव विशेषज्ञ की निगरानी की आवश्यकता हो सकती है।
यह सभी सुरक्षा नियमों का विकल्प नहीं है। वे स्पष्ट रूप से कहते हैं कि वे हर संभावित वातावरण के लिए "सुरक्षित अन्वेषण" (safe exploration) की समस्या को हल नहीं कर रहे हैं। वे विशिष्ट, नियंत्रित सेटिंग्स में खतरे को कम करने का एक तरीका दे रहे हैं।
यह एक "रिवॉर्ड" (पुरस्कार) प्रणाली नहीं है। वे रोबोट को अच्छे व्यवहार के लिए अंक देने के पारंपरिक विचार के खिलाफ तर्क देते हैं। इसके बजाय, वे पूरी तरह से मानव के सीधे फीडबैक (पसंद और चेतावनी) पर भरोसा करते हैं।

वे कितने आश्वस्त हैं?

पेपर अपने आंकड़ों में बहुत आश्वस्त है, लेकिन यह लैब में सिद्ध किए गए और सिमुलेशन के बीच एक रेखा खींचता है।

सिमुलेशन: रोबोट 0.02 बार मरता है और पुराने तरीके में 16.54 बार मरता है, यह दावा 1,000 सिम्युलेटेड ट्रायल्स से आता है। यह कंप्यूटर मॉडल के भीतर एक बहुत मजबूत सांख्यिकीय परिणाम है।
वास्तविक दुनिया: यह दावा कि प्रशिक्षण में वास्तविक मनुष्यों के साथ 4 से 5 मिनट लगते हैं, 40 वास्तविक लोगों और एक वास्तविक रोबोट के साथ प्रयोगों से आता है।
"क्या होगा अगर" का लाभ: "क्या होगा अगर" वाले सवाल समय बचाते हैं, यह विचार वास्तविक रोबोट प्रयोगों में मापा गया है, जो दिखाता है कि जवाब देने में लगने वाला अतिरिक्त समय इतना कम है कि कुल प्रशिक्षण समय कम रहता है।

निचोड़ (The Bottom Line)

यह पेपर सुझाव देता है कि यदि आप चाहते हैं कि एक रोबोट बिना चीजें तोड़े सुरक्षित रूप से नेविगेट करना सीखे, तो आपको केवल यह नहीं पूछना चाहिए कि "कौन सी चाल बेहतर है?" बल्कि आपको पूछना चाहिए, "कौन सी चाल बेहतर है, और दूसरी चाल क्यों खतरनाक है?" और जब इंसान "खतरा!" कहे, तो रोबोट को तुरंत पूछना चाहिए, "ठीक है, लेकिन इस दूसरी चाल के बारे में क्या?"

ऐसा करने से, रोबोट खतरे के मानचित्र को बहुत तेज़ी से सीखता है, इंसान को कम बार परेशान किया जाता है, और रोबोट सूखा रहता है। यह सिखाने का एक स्मार्ट तरीका है, जो "अनुमान और जांच" के खतरनाक खेल को सुरक्षा के गाइडेड टूर में बदल देता है।

तकनीकी सारांश: न्यायसंगत मानवीय प्राथमिकताओं और काल्पनिक प्रश्नों के माध्यम से सुरक्षित व्यवहार सीखना

समस्या विवरण
पारंपरिक सुदृढीकरण शिक्षण (Reinforcement Learning - RL) परीक्षण-और-त्रुटि (trial-and-error) अन्वेषण पर निर्भर करता है, जो अक्सर सुरक्षा-महत्वपूर्ण वास्तविक दुनिया के डोमेन (जैसे, रोबोटिक्स, स्वायत्त ड्राइविंग) में अव्यवहार्य होता है जहाँ एक भी असुरक्षित क्रिया विनाशकारी विफलता का कारण बन सकती है। जबकि 'सेफ आरएल' (Safe RL) बाधाओं को शामिल करके इसे संबोधित करने का प्रयास करता है, यह "सुरक्षित अन्वेषण" (safe exploration) की समस्या का सामना करता है: एजेंट बिना नुकसान पहुँचाए सीखने के लिए सहजता से अन्वेषण नहीं कर सकते। इसके अलावा, पारंपरिक आरएल अक्सर नमूना अक्षमता (sample inefficiency) और "पुरस्कार विशिष्टता समस्या" (reward specification problem) से ग्रस्त होता है, जहाँ डिज़ाइन किए गए रिवॉर्ड फंक्शन मानवीय इरादों के साथ संरेखित होने में विफल रहते हैं।

ह्यूमन-इन-द-लूप दृष्टिकोण मानवीय फीडबैक का लाभ उठाकर सीखने को निर्देशित करने के लिए एक समाधान प्रदान करते हैं। हालाँकि, केवल मानवीय प्राथमिकताओं (जैसे, दो क्रियाओं के बीच चयन करना) पर निर्भर मौजूदा तरीके अक्सर उच्च मानवीय बोझ डालते हैं और असुरक्षित अवस्था स्थानों (state spaces) को कुशलतापूर्वक मैप करने में विफल हो सकते हैं। इस कार्य में संबोधित मुख्य चुनौती यह है कि कैसे न्यूनतम असुरक्षित घटनाओं (प्रशिक्षण मृत्यु) के साथ और मानव प्रशिक्षक पर संज्ञानात्मक भार एवं समय को कम करते हुए एक सुरक्षित नीति (policy) सीखी जाए।

कार्यप्रणाली: JPAL-HA
लेखक JPAL-HA (Justified Human Preferences for Active Learning with Hypothetical Actions) का प्रस्ताव करते हैं, जो "पैरेंटिंग" (Parenting) दृष्टिकोण [11] पर आधारित है। इस प्रतिमान में, एक अप्रशिक्षित एजेंट (बच्चा) क्रिया लेने से पहले मार्गदर्शन के लिए एक मानव प्रशिक्क (माता-पिता) से प्रश्न पूछता है। JPAL-HA सुरक्षा और दक्षता बढ़ाने के लिए दो नवीन तंत्र पेश करता है:

न्यायसंगत प्राथमिकताएँ (Justified Preferences):
केवल यह पूछने के बजाय कि क्या मानव एक क्रिया को दूसरी क्रिया की तुलना में पसंद करता है ( $P$ ), एजेंट एक न्यायसंगतता ( $J_P$ ) के लिए भी अनुरोध करता है। मानव यह संकेत देता है कि क्या प्राथमिकता के साथ एक "चेतावनी" (एक क्रिया असुरक्षित/विनाशकारी है) जुड़ी हुई है या "कोई चेतावनी नहीं" (दोनों क्रियाएँ सुरक्षित हैं)।

तंत्र: यह बाइनरी सिग्नल एजेंट को प्राथमिकता और न्यायसंगतता को एक परिष्कृत प्राथमिकता लेबल ( $\mu \in \{0, 0.25, 0.5, 0.75, 1\}$ ) में मैप करने की अनुमति देता है। एक "चेतावनी" सिग्नल नीति मॉडल पर विनाशकारी क्रिया से बचने के लिए सीखने के दबाव को काफी बढ़ा देता है, भले ही प्राथमिकता का परिमाण छोटा हो।
लाभ: यह स्पष्ट सुरक्षा संकेत प्रदान करता है जो एजेंट को "सुरक्षित लेकिन उप-इष्टतम" और "विनाशकारी" क्रियाओं के बीच अधिक प्रभावी ढंगता से अंतर करने में मदद करता है।

काल्पनिक क्रियाएँ (Hypothetical Actions - HAs):
जब न्यायसंगतता यह संकेत देती है कि एक "चेतावनी" (अर्थात, कम से कम एक नमूना की गई क्रिया विनाशकारी है) मौजूद है, तो एजेंट एक हाइपोथेटिकल एक्शन्स लूप को ट्रिगर करता है।

तंत्र: तुरंत रुकने या पुन: नमूना लेने के बजाय, एजेंट काल्पनिक क्रियाओं ( $a_{new}$ ) का एक सेट उत्पन्न करता है जो वर्तमान अवस्था से ली जा सकती थीं। यह इन काल्पनिक क्रियाओं के लिए मानव से एक एकल न्यायसंगतता ( $J_{anew}$ : सुरक्षित या चेतावनी) के लिए प्रश्न करता है।
अनुमान (Inference): नई काल्पनिक क्रिया की सुरक्षा स्थिति के आधार पर, एजेंट स्वचालित रूप से पिछली पहचानी गई सुरक्षित/विनाशकारी क्रियाओं और नई क्रिया के बीच संयोजनों की सापेक्ष सुरक्षा का अनुमान लगा सकता है, और बिना किसी अतिरिक्त मानवीय प्राथमिकता प्रश्न के इन्हें प्रशिक्षण डेटासेट में जोड़ सकता है।
घातक पैटर्न (Deadly Patterns): एजेंट "घातक पैटर्न" (विनाश की ओर ले जाने वाले चालों के संयोजन) की भी पहचान करता है और उन्हें भविष्य की अवस्थाओं में बचने के लिए संग्रहीत करता है ताकि दोबारा मानवीय प्रश्न न पूछना पड़े।
लाभ: यह एजेंट को एक ही बार के प्रश्नों के माध्यम से अवस्था स्थान के असुरक्षित क्षेत्रों को तेजी से मैप करने की अनुमति देता है, जिससे एक ही अवस्था पर बार-बार व्यवधान की आवश्यकता कम हो जाती है।

सीखने की प्रक्रिया ब्रैडली-टेरी मॉडल (Bradley-Terry model) के आधार पर मानवीय प्राथमिकताओं और न्यायसंगतता के डेटासेट पर सुपरवाइज्ड लर्निंग (क्रॉस-एन्ट्रॉपी लॉस को कम करना) का उपयोग करती है। एल्गोरिदम संभावित रूप से अच्छी क्रियाओं का पता लगाने के लिए "आफ्टर-द-फैक्ट क्वेरीज" (ATFQs) का भी उपयोग करता है, जो एक सुरक्षित अन्वेषण तंत्र के रूप में कार्य करता है।

मुख्य योगदान

नवीन शिक्षण प्रतिमान: सुरक्षित शिक्षण के लिए सामान्यीकरण योग्य अवधारणाओं के रूप में न्यायसंगतता (प्राथमिकताओं के साथ बाइनरी सुरक्षा चेतावनियाँ) और काल्पनिक क्रियाओं (खतरे का पता चलने पर अनभ्यास क्रियाओं के सक्रिय प्रश्न) का परिचय।
JPAL-HA एल्गोरिदम: एक एकीकृत एल्गोरिदम जो इन विशेषताओं को एकीकृत करता है, यह प्रदर्शित करता है कि यह मौजूदा प्राथमिकता-आधारित तरीकों (Parenting, JPAL) की तुलना में प्रशिक्षण के दौरान सुरक्षा में काफी सुधार करता है और अन्य सुरक्षित मानव-इन-द-लूप एल्गोरिदम की तुलना में बेहतर नमूना दक्षता प्राप्त करता है।
सुरक्षा-मानवीय बोझ व्यापार-बंद (Trade-off): पेपर एक ट्यूनेबल हाइपरपैरामीटर ( $p_{BTFQ}$ ) प्रदान करता है जो उपयोगकर्ताओं को सुरक्षा (प्रश्नों की संख्या) और मानवीय बोझ के बीच संतुलन बनाने की अनुमति देता है। यह दर्शाता है कि JPAL-HA प्रशिक्षण के दौरान शून्य के करीब मृत्यु दर प्राप्त कर सकता है और साथ ही उचित प्रशिक्षण समय बनाए रख सकता है।
वास्तविक दुनिया का सत्यापन: इस पद्धति का मूल्यांकन न केवल सिमुलेशन (Island Navigation वातावरण) में किया गया, बल्कि एक भौतिक Thymio मोबाइल रोबोट को प्रशिक्षित करने वाले विविध मानव प्रतिभागियों के समूह के साथ भी किया गया।

परिणाम

सिमुलेशन प्रयोग:
- सुरक्षा: JPAL-HA ने Q-learning (जिसमें औसतन ~16.5 मौतें हुईं) और बेसलाइन पैरेंटिंग दृष्टिकोण की तुलना में प्रशिक्षण मृत्यु को काफी कम कर दिया। रूढ़िवादी सेटिंग्स में, JPAL-HA ने प्रति ट्रायल औसतन 0.02 मृत्यु प्राप्त की, जिसमें 98% ट्रायल्स में शून्य मृत्यु थी।
- दक्षता: JPAL-HA ने Q-learning (22.9) की तुलना में बहुत कम एपिसोड (औसत 3) में इष्टतम नीति पाई।
- मानवीय बोझ: हालांकि न्यायसंगतता जोड़ने से शुरू में Parenting की तुलना में प्रश्नों की संख्या बढ़ गई, लेकिन JPAL-HA में काल्पनिक क्रियाओं के जुड़ने से कुल प्राथमिकता प्रश्नों और कुल चरणों में कमी आई, जिससे न्यायसंगतता के अतिरिक्त संज्ञानात्मक भार की भरपाई प्रभावी रूप से हो गई।
- सांख्यिकीय महत्व: गैर-पैरामीट्रिक परीक्षणों ने JPAL-HA और बेसलाइन विधियों के बीच सुरक्षा और दक्षता में महत्वपूर्ण अंतर की पुष्टि की।
वास्तविक दुनिया के रोबोट प्रयोग:
- प्रशिक्षण समय: 40 प्रतिभागियों के एक विविध समूह (जिसमें गैर-सीएस पृष्ठभूमि के लोग भी शामिल थे) ने सफलतापूर्वक रोबोट को प्रशिक्षित किया। प्रारंभिक अभ्यास के साथ, JPAL और JPAL-HA के लिए प्रशिक्षण समय Parenting (30% अधिक) की तुलना में थोड़ा लंबा था, लेकिन प्रतिभागियों के इंटरफ़ेस के अनुकूल होने के बाद यह समान स्तर (4 मिनट) पर आ गया।
- व्यवहार्यता: अध्ययन ने प्रदर्शित किया कि लोगों का एक विविध समूह कुछ मिनटों में प्रशिक्षण पूरा कर सकता है, और काल्पनिक क्रिया तंत्र ने कुल प्रशिक्षण समय को सरल विधियों की तुलना में महत्वपूर्ण रूप से नहीं बढ़ाया, जिससे यह स्वीकार्य स्तर के भीतर रहा।

महत्व और दावे
पेपर का दावा है कि JPAL-HA उन सुरक्षा-महत्वपूर्ण वातावरणों में सुरक्षित शिक्षण के लिए एक व्यावहारिक समाधान प्रदान करता है जहाँ पारंपरिक आरएल विनाशकारी अन्वेषण के जोखिम के कारण विफल हो जाता है। सरल बाइनरी न्यायसंगतताओं के साथ मानवीय प्राथमिकताओं को बढ़ाकर और खतरे को सक्रिय रूप से मैप करने के लिए काल्पनिक प्रश्नों का उपयोग करके, यह विधि सुरक्षा और मानवीय प्रयास के बीच एक बेहतर संतुलन प्राप्त करती है।

लेखक विनम्रतापूर्वक नोट करते हैं कि हालांकि यह विधि असतत (discrete) एक्शन स्पेस के लिए डिज़ाइन की गई है, इसके मूल विचारों को विस्तारित किया जा सकता है। वे यह भी स्वीकार करते हैं कि अत्यधिक जटिल डोमेन (जैसे, हेलीकॉप्टर उड़ान) में, मानव प्रशिक्षकों पर निर्भरता विशेषज्ञ ज्ञान की उपलब्धता मानती है, और निरंतर वास्तविक समय वाले डोमेन (जैसे, स्वायत्त ड्राइविंग) में, इस पद्धति के साथ पूरक फॉलबैक सुरक्षा तंत्र की आवश्यकता हो सकती है। प्राथमिक योगदान यह प्रदर्शन करना है कि न्यायसंगत प्राथमिकताएं और काल्पनिक प्रश्न एजेंटों को मौजूदा मानव-इन-द-लूप दृष्टिकोणों की तुलना में बहुत तेज़ी से और सुरक्षित रूप से सुरक्षित व्यवहार सीखने में सक्षम बनाते हैं, बिना मानव प्रशिक्षकों पर अत्यधिक समय लागत डाले।

नई विधि की दो महाशक्तियाँ

इस पेपर ने वास्तव में क्या पाया

यह पेपर किस बात को "ना" कहता है

वे कितने आश्वस्त हैं?

निचोड़ (The Bottom Line)

इसी तरह के और पेपर