💻 computer science

Failure-Based Testing for Deep Reinforcement Learning Agents

यह शोध पत्र प्रायर रैंडम टेस्टिंग (PRT) का प्रस्ताव करता है, जो एक नवीन ब्लैक-बॉक्स विधि है जो कठिन परीक्षण मामलों को प्राथमिकता देने के लिए टास्क-प्रेरित विफलता अंतर्दृष्टि का लाभ उठाती है, जिससे मौजूदा अत्याधुनिक दृष्टिकोणों की तुलना में डीप रिइन्फोर्समेंट लर्निंग एजेंटों के लिए विफलता पहचान दक्षता और परीक्षण विविधता में महत्वपूर्ण सुधार होता है।

मूल लेखक: Weibin Lin, Jiangtao Meng, Zheng Zheng

प्रकाशित 2026-07-01

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Weibin Lin, Jiangtao Meng, Zheng Zheng

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Failure-Based Testing for Deep Reinforcement Learning Agents" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

बड़ी समस्या: एक "परफेक्ट" रोबोट जो दोषपूर्ण हो सकता है

कल्पना कीजिए कि आपने एक रोबोट को कमरे में बिना गिरे चलने के लिए प्रशिक्षित किया है। आपने इसके साथ हजारों बार अभ्यास किया है, और यह हर बार बिल्कुल सही तरीके से चलता है। आप सोचते हैं, "शानदार! यह एकदम परफेक्ट है।"

लेकिन वास्तविक दुनिया में, क्या होगा अगर फर्श थोड़ा फिसलन भरा हो, या उसके रास्ते में कोई खिलौना पड़ा हो? रोबट लड़खड़ा सकता है। क्योंकि रोबोट कार्य के "आसान" संस्करण में बहुत अच्छा है, इसलिए मानक परीक्षण (जो केवल यह देखते हैं कि क्या उसे उच्च स्कोर मिला) इन दुर्लभ, खतरनाक गलतियों को नहीं पकड़ पाएंगे। रोबोट 999 परीक्षणों में परफेक्ट स्कोर प्राप्त करता है, लेकिन 1,000वें परीक्षण में बुरी तरह विफल हो जाता है।

इस पेपर के लेखक, वेबिन लिन (Weibin Lin), जियांगताओ मेंग (Jiangtao Meng), और झेंग झेंग (Zheng Zheng) ने महसूस किया कि वर्तमान परीक्षण विधियाँ उस शिक्षक की तरह हैं जो केवल छात्रों को उनके अंतिम परीक्षा स्कोर के आधार पर ग्रेड देता है। यदि किसी छात्र को 'A' मिलता है, तो शिक्षक मान लेता है कि वह सब कुछ जानता है। लेकिन यदि छात्र ने केवल आसान सवालों के लिए पढ़ाई की है, तो वह कठिन सवालों में विफल हो सकता है।

समाधान: PRT (Prior Random Testing)

लेखकों ने एक नई परीक्षण विधि प्रस्तावित की है जिसे PRT (Prior Random Testing) कहा जाता है। PRT को एक "रैंडम सर्चर" के बजाय एक "स्मार्ट डिटेक्टिव" (चतुर जासूस) के रूप में सोचें।

यह कैसे काम करता है, इसे तीन सरल चरणों में विभाजित किया गया है:

1. "कठिन कार्य" की अंतर्दृष्टि (Task-Induced Failure Insights)

पेपर का तर्क है कि डीप रिइन्फोर्समेंट लर्निंग (DRL) एजेंट उन विशिष्ट कार्यों को हल करने के लिए बनाए जाते हैं जिन्हें मनुष्यों द्वारा परिभाषित किया जाता है। मनुष्य जानते हैं कि क्या किसी कार्य को कठिन बनाता है।

उपमा: कल्पना कीजिए कि आप एक वीडियो गेम खेल रहे हैं। आप जानते हैं कि एक छोटी सी खाई के ऊपर से कूदना आसान है, लेकिन एक विशाल खाई के ऊपर से कूदना कठिन है। आप यह भी जानते हैं कि टूटे हुए पैर के साथ दौड़ शुरू करना, स्वस्थ पैर के साथ शुरू करने की तुलना में अधिक कठिन है।
पेपर का दावा: लेखक कहते हैं कि चूंकि हम जानते हैं कि क्या किसी कार्य को कठिन बनाता है, इसलिए हम अनुमान लगा सकते हैं कि रोबोट कहाँ विफल होने की सबसे अधिक संभावना है। यदि एक रोबोट पोल (खंभा) को संतुलित कर रहा है, तो उसके गिरने की सबसे अधिक संभावना है यदि पोल एक अजीब कोण पर शुरू होता है या कार्ट बहुत तेजी से चल रही है। ये "कठिन कार्य" हैं। PRT अपनी ऊर्जा इन्हीं कठिन परिदृश्यों पर केंद्रित करके शुरुआत करता है।

2. "स्पार्स रूम" रणनीति (Dimension Reduction & Local Recombination)

एक बार जब PRT जान जाता है कि कहाँ देखना है (कठिन कार्य), तो इसे यह समझने की आवश्यकता होती है कि एक ही स्थान को दोबारा जांचे बिना कैसे देखना है।

उपमा: कल्पना कीजिए कि आप एक विशाल, अंधेरे गोदाम में खोए हुए सिक्के को ढूंढ रहे हैं।
- रैंडम टेस्टिंग (पुराना तरीका): आप आंखों पर पट्टी बांधकर तीर फेंकते हैं। यदि आप चूक जाते हैं, तो आप आंखों पर पट्टी बांधकर दूसरा तीर फेंकते हैं। आप एक ही खाली जगह पर दो बार निशाना लगा सकते हैं।
- PRT (स्मार्ट तरीका): PRT देखता है कि आपने पहले कहाँ तीर फेंके हैं। यह पूछता है, "गोदाम में सबसे बड़ा खाली स्थान कहाँ है?" फिर यह अगले तीर को उस बड़े खाली स्थान में फेंकता है।
पेपर का दावा: PRT गणित का उपयोग यह पता लगाने के लिए करता है कि "स्पार्सेस्ट" (सबसे कम घने) क्षेत्र कौन से हैं—वे क्षेत्र जहाँ उसने अभी तक परीक्षण नहीं किया है। यह सुनिश्चित करता है कि उसके परीक्षण समान रूप से फैले हुए हों (जैसे बगीचे में बीज छिड़कना) ताकि वह बार-बार एक ही सुरक्षित स्थानों की जांच करने में समय बर्बाद न करे।

3. "बाउंड्री बायस" (किनारों को प्राथमिकता देना)

पेपर नोट करता है कि रोबोट अक्सर अपनी दुनिया के "किनारों" पर विफल होते हैं।

उपमा: एक रस्सी पर चलने वाले (tightrope walker) के बारे में सोचें। उनके गिरने की सबसे अधिक संभावना तब होती है जब वे रस्सी के बिल्कुल सिरों पर होते हैं, न कि बीच में।
पेपर का दावा: डिफ़ॉल्ट रूप से, PRT मानता है कि इनपुट डोमेन के "किनारे" (चरम मान) सबसे खतरनाक होते हैं। यह इन सीमाओं का परीक्षण करने को प्राथमिकता देता है। हालांकि, यदि उपयोगकर्ता जानता है कि खतरा बीच में है (जैसे कि घाटी में फंस गया कार), तो PRT को वहां अपना ध्यान केंद्रित करने के लिए कहा जा सकता है।

उन्होंने इसका परीक्षण कैसे किया?

लेखकों ने चार प्रसिद्ध रोबोट वातावरण पर अन्य शीर्ष-स्तरीय परीक्षण विधियों (जैसे "फज़िंग" और "सर्च-बेस्ड" विधियों) के विरुद्ध PRT का परीक्षण किया:

कार्ट पोल (Cart Pole): चलती हुई कार्ट पर पोल को संतुलित करना।
लूनर लैंडर (Lunar Lander): रॉकेट को सुरक्षित रूप से लैंड कराना।
माउंटेन कार (Mountain Car): एक खड़ी पहाड़ी पर कार चलाना।
ह्यूमनॉइड (Humanoid): एक 3D रोबोट को चलाना।

उन्होंने इन रोबोटों को बहुत अच्छा (लग लगभग परफेक्ट) होने के लिए प्रशिक्षित किया और फिर उन्हें तोड़ने की कोशिश की।

परिणाम: क्यों PRT जीतता है

पेपर का दावा है कि PRT दो मुख्य कारणों से विजेता है:

गति (दक्षता/Efficiency): PRT ने अन्य विधियों की तुलना में पहले विफलता को बहुत तेज़ी से खोजा। कुछ मामलों में, इसने परीक्षण लागत को 50% से अधिक कम कर दिया।
- क्यों? क्योंकि अन्य विधियाँ "रिवॉर्ड सिग्नल" (वह स्कोर जो रोबोट प्राप्त करता है) पर निर्भर करती थीं। लेकिन जब रोबोट पहले से ही परफेक्ट होता है, तो स्कोर हमेशा उच्च रहता है, जिससे परीक्षकों को यह जानने का कोई संकेत नहीं मिलता कि कहाँ देखना है। PRT ने स्कोर को अनदेखा किया और कार्य की कठिनाई पर ध्यान केंद्रित किया।
कवरेज (विविधता/Diversity): PRT ने केवल एक प्रकार की विफलता नहीं पाई; इसने पूरे मानचित्र पर विफलताएं पाईं।
- क्यों? अन्य विधियाँ अपने परीक्षणों को एक ही क्षेत्र में केंद्रित करने की प्रवृत्ति रखती हैं (जैसे दोस्तों का एक समूह एक ही मेज पर बैठा हो)। PRT ने अपने परीक्षणों को समान रूप से फैलाया, जिससे यह सुनिश्चित हुआ कि उसने संभावनाओं के पूरे "गोदाम" को कवर किया है।

"दरारों" के दो प्रकार

लेखकों ने पाया कि रोबोट की विफलताएं दो आकारों में आती हैं, और PRT दोनों को संभालता है:

ब्लॉक-शेप्ड फेलियर्स (Block-Shaped Failures): ये विफलता के बड़े, क्लस्टर वाले क्षेत्र हैं जहाँ रोबोट विफल होता है (जैसे, "यदि पोल 15 डिग्री से अधिक झुका हुआ है, तो यह हमेशा गिर जाता है")। PRT इन्हें "कठिन कार्यों" (किनारों) पर ध्यान केंद्रित करके खोजता है।
पॉइंट-शेप्ड फेलियर्स (Point-Shaped Failures): ये विफलता के छोटे, अलग-थलग बिंदु हैं जहाँ रोबोट विफल होता है (जैसे, "यह केवल तभी गिरता है जब हवा ठीक 3.4 mph बाईं ओर से चलती है")। PRT इसे इसलिए खोज पाता है क्योंकि यह अपने परीक्षणों को समान रूप से फैलाता है, जिससे यह सुनिश्चित होता है कि वह इन छोटी, छिपी हुई दरारों को मिस न करे।

सारांश

संक्षेप में, यह पेपर PRT पेश करता है, जो AI रोबोट का परीक्षण करने का एक नया तरीका है। रोबोट के कम स्कोर (जो अच्छे रोबोटों के साथ शायद ही कभी मिलता है) की प्रतीक्षा करने के बजाय, PRT मानवीय तर्क का उपयोग यह अनुमान लगाने के लिए करता है कि रोबोट कहाँ संघर्ष कर रहा है (कठिन कार्य) और अधिकतम क्षेत्र को कवर करने के लिए अपने परीक्षणों को फैलाता है। यह एक ऐसे जासूस की तरह है जो जानता है कि अपराधी के छिपने की सबसे अधिक संभावना कहाँ है, बजाय इसके कि वह पूरे शहर में बेतरतीब ढंग से खोज करे।

मुख्य निष्कर्ष: अच्छी तरह से प्रशिक्षित AI के लिए, केवल "स्कोर" देखना पर्याप्त नहीं है। वास्तविक दुनिया की दुर्घटनाओं से पहले छिपे हुए बग्स को खोजने के लिए आपको कार्य की "कठिनाई" को देखने की आवश्यकता है।

तकनीकी सारांश: डीप रिइन्फोर्समेंट लर्निंग एजेंटों के लिए विफलता-आधारित परीक्षण (Failure-Based Testing)

समस्या विवरण (Problem Statement)

डीप रिइन्फोर्समेंट लर्निंग (DRL) एजेंटों को स्वायत्त ड्राइविंग (autonomous driving) और रोबोटिक नियंत्रण जैसे सुरक्षा-महत्वपूर्ण क्षेत्रों में तेजी से तैनात किया जा रहा है। हालांकि, उनकी विश्वसनीयता अनिश्चित बनी हुई है, और विफलताओं के विनाशकारी परिणाम हो सकते हैं। DRL एजेंटों के लिए मौजूदा परीक्षण विधियाँ मुख्य रूप से रिवॉर्ड सिग्नल्स (reward signals) द्वारा निर्देशित होती हैं, जो इस धारणा पर कार्य करती हैं कि कम रिवॉर्ड का अर्थ विफलता है। यह दृष्टिकोण एक गंभीर सीमा का सामना करता है: मानक स्थितियों में इष्टतम प्रदर्शन के करीब काम करने वाले अच्छी तरह से प्रशिक्षित एजेंटों के लिए, रिवॉर्ड सिग्नल लगातार उच्च बने रहते हैं। फलस्वरूप, रिवॉर्ड-आधारित मार्गदर्शन सफल और विफल परीक्षण मामलों (उदाहरण के लिए, कार्ट पोल वातावरण में, सभी सफल मामलों से समान रिवॉर्ड प्राप्त होता है) के बीच अंतर करने में विफल रहता है, जिससे लगभग त्रुटिहीन एजेंटों में महत्वपूर्ण विफलताओं को उजागर करने में वर्तमान विधियाँ अप्रभावी हो जाती हैं।

कार्यप्रणाली: प्रायर रैंडम टेस्टिंग (PRT)

रिवॉर्ड-निर्देशित परीक्षण की सीमाओं को दूर करने के लिए, लेखक प्रायर रैंडम टेस्टिंग (PRT) का प्रस्ताव करते हैं, जो एक ब्लैक-बॉक्स, विफलता-आधारित परीक्षण विधि है। PRT, टास्क-प्रेरित विफलता अंतर्दृष्टि (task-induced failure insights) का लाभ उठाता है ताकि इनपुट डोमेन के उन क्षेत्रों को प्राथमिकता दी जा सके जहाँ विफलता होने की सबसे अधिक संभावना है, जबकि साथ ही उत्पन्न किए गए टेस्ट केस की विविधता को भी बनाए रखा जा सके।

मुख्य अवधारणाएं (Core Concepts)

टास्क-प्रेरित विफलता अंतर्दृष्टि (Task-Induced Failure Insights): लेखक तर्क देते हैं कि DRL एजेंटों को मानव-परिभाषित कार्यों को हल करने के लिए डिज़ाइन किया गया है जहाँ कार्य की कठिनाई आंतरिक होती है। सहज रूप से, एजेंट अधिक कठिन कार्यों में विफल होने की अधिक संभावना रखते हैं। PRT इस अंतर्दष्टि का उपयोग परीक्षण शुरू होने से पहले "विफलता-प्रवण क्षेत्रों" (जैसे, इनपुट स्पेस की सीमाएं या विशिष्ट कठिन कॉन्फ़िगरेशन) की पहचान करने के लिए करता है।
एकरूपता के साथ प्राथमिकता (Prioritization with Uniformity): PRT इन विफलता-प्रवण क्षेत्रों को इनपुट स्पेस के कवरेज से समझौता किए बिना प्राथमिकता देने का लक्ष्य रखता है। यह दो सहकारी तंत्रों के माध्यम से इसे प्राप्त करता है:
- डायमेंशन रिडक्शन (Dimension Reduction): एल्गोरिदम सबसे "विरल" (sparsest) डायमेंशन की पहचान करता है (वह डायमेंशन जिसमें मौजूदा टेस्ट केस के बीच सबसे बड़ा अंतराल है) और उस डायमेंशन के लिए एक नया मान उत्पन्न करता है। डिफ़ॉल्ट रूप से, यह रणनीति बाउंड्री एक्सप्लोरेशन (सीमा अन्वेषण) को प्राथमिकता देती है, क्योंकि सीमाएं स्वाभाविक रूप से सबसे बड़े अंतराल प्रदान करती हैं।
- लोकल रीकॉम्बिनेशन (Local Recombination): विरल डायमेंशन के लिए एक मान उत्पन्न करने के बाद, एल्गोरिदम मौजूदा कैंडिडेट सेट को फ़िल्टर करता है ताकि केवल वे टेस्ट केस रखे जा सकें जो उस विशिष्ट डायमेंशन में नए उत्पन्न मान के करीब हों। यह प्रक्रिया एक नया टेस्ट केस बनाने के लिए डायमेंशन-दर-डायमेंशन दोहराई जाती है, जिससे यह सुनिश्चित होता है कि नया केस कम से कम एक डायमेंशन में मौजूदा मामलों से दूर है जबकि अन्य में स्थानीय रूप से सुसंगत है।

एल्गोरिद्मिक वर्कफ़्लो (Algorithmic Workflow)

PRT डायमेंशन-दर-डायमेंशन टेस्ट केस उत्पन्न करता है:

इनिशियलाइज़ेशन (Initialization): सेट शुरू करने के लिए एक रैंडम टेस्ट केस उत्पन्न किया जाता है।
पुनरावृत्ति पीढ़ी (Iterative Generation): एक नया टेस्ट केस $\varepsilon_{n+1}$ $ε_{n + 1}$ उत्पन्न करने के लिए:
- डायमेंशन चयन: एल्गोरिदम वर्तमान कैंडिडेट सेट के लिए प्रत्येक डायमेंशन के लिए सबसे बड़े अंतराल की गणना करता है और अधिकतम अंतराल वाला डायमेंशन $k$ चुनता है।
- वैल्यू जनरेशन: डायमेंशन $k$ के लिए सबसे बड़े अंतराल के आधार पर एक मान उत्पन्न किया जाता है। यह जनरेशन एक कॉन्फिडेंस हाइपरपैरामीटर $\lambda$ द्वारा नियंत्रित एक संभाव्य फलन (probabilistic function) का उपयोग करता है। यदि $\lambda > 1$ है, तो जनरेशन शुद्ध रूप से यूनिफॉर्म होने के बजाय अंतराल के केंद्र (या एक मैपिंग फंक्शन $F$ द्वारा परिभाषित विशिष्ट विफलता-प्रवण मानों) की ओर झुका हुआ होता है।
- कैंडिडेट फ़िल्टरिंग (लोकल रीकॉम्बिनेशन): कैंडिडेट सेट को केवल उन टेस्ट केस तक सीमित करने के लिए फ़िल्टर किया जाता है जो डायमेंशन $k$ में नए उत्पन्न मान के $\tau$ -क्वांटाइल दूरी के भीतर हैं।
- दोहराव: एक पूर्ण नया टेस्ट केस बनने तक यह प्रक्रिया सभी डायमेंशनों के लिए दोहराई जाती है।
मैपिंग (Mapping): डिफॉल्ट बाउंड्री प्रायोरिटी को अन्य क्षेत्रों (जैसे, डोमेन के मध्य) में स्थानांतरित करने के लिए एक मैपिंग फंक्शन $F$ लागू किया जा सकता है।
एक $M$ -डायमेंशनल डोमेन में $N$ टेस्ट केस उत्पन्न करने के लिए समय जटिलता (time complexity) लगभग $O(MN^2)$ है।

मुख्य योगदान (Key Contributions)

यह शोध पत्र तीन प्राथमिक योगदान देता है:

PRT का प्रस्ताव: एक नवीन विफलता-आधारित परीक्षण विधि जिसका $O(MN^2)$ जटिलता है, जो रिवॉर्ड सिग्नल पर निर्भर किए बिना DRL एजेंटों में विफलताओं का कुशलतापूर्वक पता लगाने के लिए टास्क-प्रेरित विफलता अंतर्दृष्टि का लाभ उठाती है।
अनुभवजन्य मूल्यांकन (Empirical Evaluation): चार बेंचमार्क (Cart Pole, Lunar Lander, Mountain Car, और Humanoid) में चार स्टेट-ऑफ-द-आर्ट (SOTA) विधियों (MDPFuzz, CureFuzz, QD, और G-Model) और रैंडम टेस्टिंग (RT) के विरुद्ध PRT का व्यापक मूल्यांकन।
विफलता पैटर्न विश्लेषण (Failure Pattern Analysis): एक अनुभवजन्य जांच जिसमें दो मुख्य प्रकारों की पहचान की गई है: ब्लॉक-शेप्ड (कार्य की कठिनाई के साथ क्लस्टर की गई विफलताएं) और पॉइंट-शेप्ड (बिखरी हुई विफलताएं)। अध्ययन दर्शाता है कि कैसे PRT प्राथमिकता और यूनिफॉर्म वितरण के माध्यम से दोनों को संबोधित करता है।

परिणाम (Results)

मूल्यांकन रैंडम टेस्टिंग के तहत 1% से कम विफलता दर वाले अच्छी तरह से प्रशिक्षित एजेंटों पर किया गया था।

प्रभावशीलता और दक्षता (RQ1): PRT ने रैंडम टेस्टिंग की तुलना में पहली विफलता खोजने के लिए आवश्यक परीक्षण लागत (टेस्ट केस की संख्या और समय) को 50% से अधिक कम किया। उन वातावरणों में जहाँ रिवॉर्ड सिग्नल सूचनात्मक नहीं थे (Cart Pole) या भ्रामक थे (Lunar Lander), PRT ने रिवॉर्ड-निर्देशित बेसलाइन की तुलना में काफी बेहतर प्रदर्शन किया। Mountain Car में, जहाँ रिवॉर्ड सिग्नल अत्यधिक सूचनात्मक थे, PRT लागत में दूसरे स्थान पर रहा, लेकिन फिर भी RT से बेहतर रहा।
विविधता (RQ2): डिफरेंशियल एंट्रॉपी (differential entropy) को एक मीट्रिक के रूप में उपयोग करते हुए, PRT ने सभी वातावरणों में सभी विधियों में उच्चतम विविधता प्राप्त की। इसने रैंडम टेस्टिंग को लगातार पछाड़ दिया, जो यह प्रदर्शित करता है कि यह वितरण को एक संकीर्ण क्लस्टर में ढहाए बिना विशिष्ट क्षेत्रों को प्राथमिकता दे सकता है।
विफलता पैटर्न (RQ3): अध्ययन ने खुलासा किया कि विफलताएं अक्सर टास्क-प्रेरित अंतर्दृष्टि (जैसे, सीमाएं) के साथ ब्लॉक-शेप्ड पैटर्न प्रदर्शित करती हैं, जिसे PRT प्राथमिकता के माध्यम से पहचानता है। हालांकि, पॉइंट-शेप्ड विफलताएं भी मौजूद हैं; PRT का अंतर्निहित यूनिफॉर्म वितरण तंत्र इन बिखरी हुई विफलताओं का पता लगाने की अनुमति देता है, भले ही ब्लॉक-शेप्ड वाली विफलताओं की तुलना में यह कम कुशल हो।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि PRT उन "लगभग त्रुटिहीन" DRL एजेंटों के परीक्षण के लिए एक मजबूत समाधान प्रदान करता है जहाँ पारंपरिक रिवॉर्ड-आधारित विधियाँ विफल हो जाती हैं। इसका महत्व निम्नलिखित में निहित है:

रिवॉर्ड सिग्नल से स्वतंत्रता: PRT को एजेंट के "लर्निंग" चरण में होने की आवश्यकता नहीं है और न ही यह बदलते रिवॉर्ड सिग्नल पर निर्भर है, जो इसे उत्पादन-तैयार (production-ready), अच्छी तरह से प्रशिक्षित एजेंटों के परीक्षण के लिए उपयुक्त बनाता है।
संतुलित रणनीति: यह लक्षित प्राथमिकता (कठिन कार्यों पर ध्यान केंद्रित करना) और एक्सप्लोरेटरी विविधता (व्यापक कवरेज सुनिश्चित करना) के बीच के ट्रेड-ऑफ को सफलतापूर्वक संतुलित करता है, एक ऐसा संतुलन जो अक्सर विशुद्ध रूप से सर्च-आधारित या जेनेरेटिव विधियों में छूट जाता है।
सामान्यीकरण (Generalizability): लेखक तर्क देते हैं कि टास्क-प्रेरित विफलता अंतर्दृष्टि सभी DRL एजेंटों के लिए अंतर्निहित है, जो यह सुझाव देता है कि PRT विभिन्न DRL अनुप्रयोगों के परीक्षण के लिए एक सामान्यीकरण योग्य दृष्टिकोण है।

लेखक एक मध्यम रुख अपनाते हैं, यह स्वीकार करते हुए कि हालांकि PRT अत्यधिक प्रभावी है, इसका प्रदर्शन वातावरण के विशिष्ट रिवॉर्ड स्ट्रक्चर और विफलता पैटर्न (उदाहरण के लिए, Mountain Car में कम प्रभावी जहाँ रिवॉर्ड गाइडेंस मजबूत था) के आधार पर भिन्न हो सकता है। वे यह भी नोट करते हैं कि यह विधि कार्य की कठिनाई के आधार पर विफलता-प्रवण क्षेत्रों को मैन्युअल रूप से परिभाषित करने की क्षमता पर निर्भर करती है, जो इसके अनुप्रयोग के लिए एक पूर्व शर्त है।