🤖 machine learning

The Weakest Link Tells It All: Outcome-Supervised Process Reward Modeling via Learnable Credit Assignment

यह शोध पत्र LCA का प्रस्ताव करता है, जो एक नवीन परिणाम-पर्यवेक्षित (outcome-supervised) प्रक्रिया प्रतिफल मॉडलिंग ढांचा है जो इसे सॉफ्टमैक्स-वेटेड-सम (Softmax-Weighted-Sum) पूलिंग के साथ एक मल्टीपल इंस्टेंस लर्निंग समस्या के रूप में औपचारिक रूप देकर क्रेडिट असाइनमेंट चुनौती का समाधान करता है, जो इस सिद्धांत पर कार्य करता है कि एक तर्क श्रृंखला (reasoning chain) की शक्ति उसकी सबसे कमजोर कड़ी द्वारा निर्धारित होती है ताकि चरण-दर-चरण एनोटेशन की आवश्यकता के बिना प्रक्रियात्मक त्रुटियों को प्रभावी ढंग से पहचाना जा सके।

मूल लेखक: Tianyu Jia, Yue Fang, Hongxin Ding, Rihong Qiu, Zhibang Yang, Zhijing Wu, Xu Chu, Junfeng Zhao, Yasha Wang

प्रकाशित 2026-06-29

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tianyu Jia, Yue Fang, Hongxin Ding, Rihong Qiu, Zhibang Yang, Zhijing Wu, Xu Chu, Junfeng Zhao, Yasha Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक जटिल गणितीय समस्या हल करना सिखा रहे हैं। रोबोट केवल आपको अंतिम उत्तर नहीं देता; वह अपनी सोचने की प्रक्रिया के हर एक चरण को विस्तार से लिखता है, जैसे कि कोई छात्र परीक्षा में अपना काम (work) दिखाता है।

बड़ी चुनौती शोधकर्ताओं के लिए यह है: यदि आपको केवल यह पता है कि अंतिम उत्तर सही है या गलत, तो आप रोबोट को यह कैसे सिखाएंगे कि कौन सा विशिष्ट चरण गलत था?

यह शोध पत्र एक नई विधि पेश करता है जिसे LCA (लर्नेबल क्रेडिट असाइनमेंट) कहा जाता है ताकि इस पहेली को सुलझाया जा सके। यह कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ समझाया गया है।

समस्या: "अंधा" शिक्षक

आमतौर पर, एक रोबोट को अपनी गलतियों को पहचानने के लिए प्रशिक्षित करने के लिए, एक मानव शिक्षक को हर एक चरण को पढ़ना पड़ता है और कहना पड़ता है, "यहाँ अच्छा किया," या "यहाँ गलत हुआ।" यह अविश्वसनीय रूप से महंगा और धीमा है।

इसलिए, शोधकर्ताओं ने एक शॉर्टकट आज़माया: उन्होंने केवल रोबोट को बताया, "तुम्हारा अंतिम उत्तर गलत है।" लेकिन इससे एक भ्रमित करने वाली स्थिति पैदा होती है:

रोबोट की दुविधा: यदि अंतिम उत्तर गलत है, तो क्या यह पहला चरण था? मध्य चरण था? या बिल्कुल अंतिम चरण?
पुराने तरीके:
1. "सब दोषी हैं" वाला दृष्टिकोण: कुछ विधियाँ मान लेती हैं कि हर चरण ने गलती में समान रूप से योगदान दिया। यह एक हार हुए खेल के लिए पूरी टीम को दोष देने जैसा है, भले ही केवल एक खिलाड़ी ने एक शॉट मिस किया हो।
2. "भविष्य को दोष देने" वाला दृष्टिकोण: अन्य विधियाँ यह अनुमान लगाने की कोशिश करती हैं कि किस चरण ने त्रुटि का कारण बना, यह देखकर कि उसके बाद क्या हुआ। यह यह कहने जैसा है, "तुमने चरण 2 में गड़बड़ी की होगी क्योंकि चरण 3 अजीब था।" यह अक्सर भ्रम पैदा करता है क्योंकि एक सही चरण भी "खराब" लग सकता है क्योंकि उसके बाद वाला चरण गलत हो गया।

अंतर्दृष्टि: "कमजोर कड़ी" का नियम

लेखक एक सरल, तार्किक नियम प्रस्तावित करते हैं: एक श्रृंखला केवल उतनी ही मजबूत होती है जितनी उसकी सबसे कमजोर कड़ी।

यदि तर्क की श्रृंखला (रोबोट के चरण) एक गलत उत्तर पर समाप्त होती है, तो इसका अर्थ है कि कम से कम एक चरण गलत था। वास्तव में, पहला गलत चरण ही वह है जिसने पूरी श्रृंखला को बर्बाद कर दिया। एक बार जब गलती हो जाती है, तो उसके बाद का सब कुछ एक अस्थिर नींव पर बनाया जाता है।

वे इसे वीकएस्ट लिंक असाइनमेंट (Weakest Link Assignment) कहते हैं। अनुमान लगाने या औसत निकालने के बजाय, लक्ष्य उस एकल "कमजोर कड़ी" को खोजना है जिसने श्रृंखला को तोड़ दिया।

समाधान: LCA (स्मार्ट डिटेक्टिव)

यह शोध पत्र एक नया ढांचा पेश करता है जिसे LCA कहा जाता है जो एक स्मार्ट डिटेक्टिव (जासूस) की तरह कार्य करता है। इसे एक "मुर्गी-और-अंडा" (chicken-and-egg) वाली समस्या को हल करना होता है:

कमजोर कड़ी खोजने के लिए, आपको यह जानना होगा कि कौन से चरण गलत हैं।
लेकिन यह जानने के लिए कि कौन से चरण गलत हैं, आपको पहले से ही कमजोर कड़ी मिल जानी चाहिए।

LCA इसे कैसे हल करता है:

"थैले" का उदाहरण: कल्पना करें कि रोबोट की पूरी तर्क प्रक्रिया चरणों का एक "थैला" (bag) है। थैले पर एक लेबल है: "टूटा हुआ" (यदि उत्तर गलत है) या "अक्षुण्ण" (यदि उत्तर सही है)।
"सॉफ्ट" खोज: केवल एक चरण को दोष देने के बजाय (जो जोखिम भरा है), LCA एक विशेष गणितीय उपकरण का उपयोग करता है जिसे Softmax-Weighted-Sum कहा जाता है।
- इसे एक स्पॉटलाइट की तरह समझें। रोबोट थैले के सभी चरणों को देखता है।
- यह हर चरण को एक "संदेह स्कोर" (suspicion score) देता है।
- जो चरण सबसे अधिक संभावित "कमजोर कड़ी" दिखते हैं, उन्हें एक उज्ज्वल स्पॉटलाइट (उच्च भार/weight) मिलती है।
- जो चरण ठीक लगते हैं, उन्हें धुंधली स्पॉटलाइट मिलती है।
साथ मिलकर सीखना: सिस्टम दो चीजें एक साथ सीखता है:
- कमजोर कड़ी को पहचानना (क्रेडिट असाइनमेंट)।
- यह निर्णय लेना कि क्या कोई चरण वास्तव में सही है (रिवॉर्ड मॉडलिंग)।

इस "सॉफ्ट स्पॉटलाइट" दृष्टिकोण का उपयोग करके, रोबोट शोर को अनदेखा करना और उस विशिष्ट चरण पर ध्यान केंद्रित करना सीख जाता है जिसने वास्तव में विफलता का कारण बनाया, भले ही उसे केवल अंतिम परिणाम ही बताया गया हो।

यह क्यों महत्वपूर्ण है

लेखकों ने गणित की समस्याओं पर इसका परीक्षण किया। उन्होंने पाया कि:

यह त्रुटियों को खोजने में बेहतर है: LCA पिछले तरीकों की तुलना में यह सटीक रूप से पहचानने में बहुत बेहतर है कि रोबोट कहाँ गलत हुआ।
यह तेज़ है: इसे हर चरण को ग्रेड करने के लिए महंगे मानव शिक्षकों की आवश्यकता नहीं है। यह केवल अंतिम उत्तर से सीखता है।
यह रोबोटों को स्मार्ट बनाता है: जब उन्होंने इस पद्धति का उपयोग रोबोटों को अपना काम चेक करने (एक तकनीक जिसे "टेस्ट-टाइम स्केलिंग" कहा जाता है) में मदद करने के लिए किया, तो रोबोटों ने अधिक समस्याओं को सही ढंग से हल किया।

निचोड़ (The Bottom Line)

यह शोध पत्र AI को एक बेहतर स्व-आलोचक (self-critic) बनने के बारे में है। विफलता के लिए किसे दोष देना है इसका अनुमान लगाने के बजाय, यह एक तार्किक नियम ("कमजोर कड़ी खोजें") और एक स्मार्ट गणितीय स्पॉटलाइट का उपयोग करता है ताकि यह सीखा जा सके कि गलती वास्तव में कहाँ हुई, और इसके लिए केवल अंतिम परिणाम को ही मार्गदर्शक के रूप में उपयोग किया जाता है। यह एक भ्रमित करने वाले "दोषारोपण के खेल" को एक सटीक जासूसी कहानी में बदल देता है।

तकनीकी सारांश: लर्न करने योग्य क्रेडिट असाइनमेंट (LCA) के माध्यम से आउटकम-सुपरवाइज्ड प्रोसेस रिवॉर्ड मॉडलिंग

1. समस्या विवरण (Problem Statement)

प्रोसेस रिवॉर्ड मॉडल्स (PRMs) विस्तृत, स्टेप-लेवल फीडबैक प्रदान करके लार्ज लैंग्वेज मॉडल्स (LLMs) की तर्क करने की क्षमताओं को बढ़ाते हैं। हालाँकि, PRMs को प्रशिक्षित करने के लिए आमतौर पर प्रत्येक तर्क चरण (reasoning step) के लिए महंगे मानव एनोटेशन (human annotations) की आवश्यकता होती है। इसे संबोधित करने के लिए, आउटकम-सुपरवाइज्ड PRMs केवल अंतिम-उत्तर की शुद्धता से सीखने का प्रयास करते हैं, जिससे स्टेप-लेवल लेबलिंग से बचा जा सके।

मुख्य चुनौती क्रेडिट असाइनमेंट (credit assignment) है: अंतिम परिणाम (सही/गलत) को उन विशिष्ट तर्क चरणों के साथ जोड़ना जो इसके लिए जिम्मेदार हैं। मौजूदा दृष्टिकोण मौलिक कमियों से ग्रस्त हैं:

यूनिफॉर्म असाइनमेंट (Uniform Assignment): यह मानता है कि सभी चरण अंतिम परिणाम में समान रूप से योगदान देते हैं (जैसे, एडिटिव एग्रीगेशन के माध्यम से)। यह सही पूर्ववर्ती चरणों (precursor steps) और उस विशिष्ट चरण के बीच अंतर करने में विफल रहता है जहाँ त्रुटि हुई है।
कॉज़ल असाइनमेंट (Causal Assignment): मोंटे कार्लो रोलआउट्स (जैसे, किसी दिए गए चरण से सही उत्तर तक पहुँचने की संभावना का अनुमान लगाना) का उपयोग करके अंतिम उत्तर से प्रभाव को पीछे की ओर प्रसारित करता है। यह एक चरण की तार्किक शुद्धता को डाउनस्ट्रीम पूर्णताओं (completions) की अपेक्षित सफलता के साथ मिला देता है, जिससे वास्तविक पहली त्रुटि (first error) को स्थानीयकृत करना कठिन हो जाता है।

दोनों विधियाँ व्यक्तिगत चरणों की वास्तविक शुद्धता में क्रेडिट को स्थापित करने में विफल रहती हैं, जिससे मॉडल की प्रक्रियात्मक त्रुटियों को सटीक रूप से पहचानने की क्षमता बाधित होती है।

2. कार्यप्रणाली: LCA फ्रेमवर्क (Methodology: LCA Framework)

लेखक लर्न करने योग्य क्रेडिट असाइनमेंट (LCA) के माध्यम से आउटकम-सुपरवाइज्ड प्रोसेस रिवॉर्ड मॉडलिंग का प्रस्ताव करते हैं, जो बिना स्टेप-लेवल सुपरविजन के क्रेडिट असाइनमेंट और रिवॉर्ड मॉडलिंग को संयुक्त रूप से सीखता है।

2.1 सैद्धांतिक सूत्रीकरण: वीकेस्ट लिंक असाइनमेंट (Theoretical Formulation: Weakest Link Assignment)

LCA वीकेस्ट लिंक असाइनमेंट (Weakest Link Assignment) सिद्धांत पर आधारित है: एक तर्क श्रृंखला उतनी ही मजबूत होती है जितना कि उसका सबसे कमजोर लिंक। एक प्रक्षेपवक्र (trajectory) तभी सही होता है जब प्रत्येक चरण सही हो; यह गलत होता है यदि कोई भी चरण गलत हो।

यह सिद्धांत आउटकम-सुपरवाइज्ड PRM समस्या को एक मल्टीपल इंस्टेंस लर्निंग (MIL) समस्या में बदल देता है।
बैग (Bag): पूर्ण तर्क प्रक्षेपवक्र (reasoning trajectory)।
इंस्टेंस (Instances): प्रक्षेपवक्र के भीतर तर्क प्रीफिक्स (चरण)।
लेबल (Label): प्रक्षेपवक्र-स्तर की शुद्धता (यदि प्रक्षेपवक्रम में कोई त्रुटि है तो पॉजिटिव, अन्यथा नेगेटिव)।
धारणा (Assumption): स्टैंडर्ड मल्टी-इंस्टेंस धारणा लागू होती है: एक बैग पॉजिटिव है यदि और केवल यदि इसमें कम से कम एक पॉजिटिव इंस्टेंस (एक त्रुटिपूर्ण चरण) है।

2.2 निर्भरता की चुनौती (The Challenge of Dependence)

मानक MIL विधियाँ अक्सर मानती हैं कि इंस्टेंस स्वतंत्र या कमजोर रूप से निर्भर हैं। हालाँकि, तर्क प्रक्षेपवक्र ऑटोरेग्रेसिव (autoregressive), नेस्टेड (nested), और मोनोटोनिक (monotonic) गुण प्रदर्शित करते हैं। एक प्रक्षेपवक्रम में, अंतिम प्रीफिक्स अकेले बैग लेबल को निर्धारित करता है, जिससे मानक पूलिंग तकनीकें (जैसे Max Pooling या Attention Pooling) क्षीण (degenerate) हो जाती हैं। मॉडल मध्यवर्ती चरणों को अनदेखा करने की प्रवृत्ति रखता है, प्रभावी रूप से एक आउटकम रिवॉर्ड मॉडल (ORM) बन जाता है जो केवल अंतिम अवस्था की भविष्यवाणी करता है।

2.3 सॉफ्टमैक्स-वेटेड-सम (SWS) पूलिंग (Softmax-Weighted-Sum (SWS) Pooling)

क्रेडिट असाइनमेंट और रिवॉर्ड मॉडलिंग के बीच परस्पर निर्भरता को हल करने के लिए, LCA सॉफ्टमैक्स-वेटेड-सम (SWS) पूलिंग पेश करता है।

तंत्र (Mechanism): इंस्टेंस-लेवल एरर प्रोबेबिलिटीज $p = (p_1, \dots, p_T)$ दिए जाने पर, बैग-लेवल प्रेडिक्शन एक वेटेड सम है:
$\hat{p} = \sum_{t=1}^T w_t p_t, \quad \text{जहाँ } w_t = \frac{e^{p_t/\alpha}}{\sum_{j=1}^T e^{p_j/\alpha}}$
तापमान ( $\alpha$ ) की भूमिका: पैरामीटर $\alpha$ $α$ वेट डिस्ट्रीब्यूशन के एंट्रॉपी को नियंत्रित करता है।
- जैसे-जैसे $\alpha \to 0$ , SWS 'मैक्स पूलिंग' (स्ट्रिक्ट वीकेस्ट लिंक) के करीब पहुँच जाता है।
- जैसे-जैसे $\alpha \to \infty$ , SWS 'एवरेज पूलिंग' (यूनिफॉर्म असाइनमेंट) के करीब पहुँच जाता है।
लाभ:
1. गैर-नगण्य क्रेडिट (Non-negligible Credit): मैक्स पूलिंग के विपरीत, SWS यह सुनिश्चित करता है कि प्रत्येक इंस्टेंस को सख्ती से सकारात्मक वेट मिले, जिससे मॉडल मध्यवर्ती चरणों को अनदेखा करने से बच जाता है।
2. स्ट्रक्चरल प्रायर (Structural Prior): सॉफ्टमैक्स वेटिंग स्वाभाविक रूप से स्टैंडर्ड मल्टी-इंस्टेंस धारणा को एनकोड करती है, जहाँ उच्च अनुमानित एरर प्रोबेबिलिटी वाले इंस्टेंस (पॉजिटिव इंस्टेंस) बैग प्रेडिक्शन पर हावी होते हैं।
3. बायेस कंसिस्टेंसी (Bayes Consistency): लेखक सिद्ध करते हैं कि हल्के अनुमानों के तहत, SWS पूलिंग के साथ अपेक्षित लॉस को कम करने से बायेस-ऑप्टिमल इंस्टेंस क्लासिफायर प्राप्त होता है, भले ही इंस्टेंस-लेवल लेबल उपलब्ध न हों।

2.4 ट्रेनिंग ऑब्जेक्टिव (Training Objective)

PRM को ट्राजेक्टोरी-लेवल क्रॉस-एन्ट्रॉपी लॉस का उपयोग करके एंड-टू-एंड प्रशिक्षित किया जाता है। मॉडल प्रति-प्रीफिक्स एरर प्रोबेबिलिटीज आउटपुट करता है, जिन्हें ट्राजेक्टोरी-लेवल ग्राउंड ट्रुथ (अंतिम उत्तर की शुद्धता) से मेल खाने के लिए SWS पूलिंग के माध्यम से एकत्रित किया जाता है। ट्रेनिंग को स्थिर करने के लिए सॉफ्टमैक्स वेट्स पर एक स्टॉप-ग्रेडिएंट ऑपरेशन लागू किया जाता है।

3. मुख्य योगदान (Key Contributions)

सूक्ष्म विश्लेषण (Insightful Analysis): पेपर पहचान करता है कि मौजूदा आउटकम-सुपरवाइज्ड PRMs (यूनिफॉर्म और कॉज़ल) क्रेडिट को स्टेप करेक्टनेस में एंकर करने में विफल रहते हैं। यह वीकस्ट लिंक असाइनमेंट को एक सिद्धांतबद्ध विकल्प के रूप में प्रस्तावित करता है जो PRM मूल्यांकन में उपयोग किए जाने वाले "फर्स्ट-एरर" मानदंड के साथ संरेखित है।
तकनीकी नवाचार (LCA):
- आउटकम-सुपरवाइज्ड PRM को वीकेस्ट लिंक सिद्धांत के तहत एक MIL समस्या के रूप में औपचारिक रूप दिया।
- SWS पूलिंग पेश किया, जो तर्क अवस्थाओं की स्ट्रॉन्ग डिपेंडेंस और रेडंडेंसी के लिए अनुकूलित एक MIL तकनीक है, जो एक स्मूथड वीकेस्ट लिंक असाइनमेंट को स्ट्रक्चरल प्रायर के रूप में एम्बेड करती है।
- इंस्टेंस लेवल पर लर्निंग ऑब्जेक्टिव के लिए बायेस कंसिस्टेंसी का सैद्धांतिक प्रमाण प्रदान किया।
अनुभवजन्य प्रदर्शन (Empirical Performance): यह प्रदर्शित करता है कि LCA कई कार्यों (एरर आइडेंटिफिकेशन, बेस्ट-ऑफ-N स्केलिंग) और बैकबोन मॉडल्स (Llama, Qwen) में लगातार स्टेट-ऑफ-द-आर्ट आउटकम-सुपरवाइज्ड PRMs को पछाड़ता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने गणितीय तर्क कार्यों पर LCA का मूल्यांकन करने के लिए प्रशिक्षण के लिए Math-Shepherd डेटासेट और मूल्यांकन के लिए ProcessBench का उपयोग किया।

एरर आइडेंटिफिकेशन (RQ1): ProcessBench पर, LCA ने एक नया स्टेट-ऑफ-द-आर्ट हासिल किया।
- 7B बैकबोन के साथ, LCA ने F1 स्कोर में दूसरे सर्वश्रेष्ठ मेथड से 5.5% अधिक प्रदर्शन किया।
- 3B बैकबोन के साथ, इसने सभी प्रतिस्पर्धी 3B मेथड्स को बड़े अंतर से पछाड़ दिया।
- विशेष रूप से, LCA ने MathShepherd, SCAN, या OmegaPRM जैसे बेसलाइन्स के लिए आवश्यक भारी मोंटे कार्लो सैंपलिंग की कम्प्यूटेशनल लागत के बिना ये परिणाम प्राप्त किए।
टेस्ट-टाइम स्केलिंग (RQ2): MATH-500 में बेस्ट-ऑफ-N सैंपलिंग प्रयोगों में, LCA ने विभिन्न जनरेटर मॉडल्स (Mistral, Llama, Qwen) और सैंपल साइज ( $N=8, 32, 64$ ) में लगातार उच्चतम औसत स्कोर प्राप्त किया।
एब्लेशन स्टडीज (Ablation Studies):
- तापमान ( $\alpha$ ): $\alpha$ के साथ प्रदर्शन बदलता है। कम $\alpha$ (मैक्स पूलिंग के करीब) सरल डेटासेट्स (GSM8K) के लिए फायदेमंद है, जबकि उच्च $\alpha$ जटिल डेटासेट्स (OlympiadBench) के लिए बेहतर है जिनमें कई प्रोसेस एरर्स होते हैं, जो सैद्धांतिक निरंतरता और अनुभवजन्य प्रभावशीलता के बीच ट्रेड-ऑफ को उजागर करता है।
- पूलिंग तकनीकें (Pooling Techniques): $\alpha=0.2$ के साथ SWS पूलिंग ने अन्य MIL पूलिंग तकनीकों (Instance, Embedding, Attention, Conjunctive) को काफी बेहतर प्रदर्शन किया और मानव-एनोटेटेड स्टेप लेबल्स पर प्रशिक्षित पूरी तरह से सुपरवाइज्ड PRMs के प्रदर्शन के करीब पहुँच गया।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि LCA जटिल तर्क कार्यों के लिए फाइन-ग्रैन्ड प्रोसेस सुपरविजन के लिए एक सिद्धांतबद्ध विकल्प (principled alternative) प्रदान करता है। MIL फ्रेमवर्क और SWS पूलिंग के माध्यम से क्रेडिट असाइनमेंट और रिवॉर्ड मॉडलिंग के बीच "चिकन-एंड-एग" दुविधा को हल करके, LCA ऐसे PRMs बनाता है जो उन चरणों को सटीक रूप से श्रेय देते हैं जो परिणाम निर्धारित करते हैं।

लेखक इस बात पर जोर देते हैं कि उनकी विधि:

ट्रेनिंग-टेस्ट गैप को कम करती है: प्रशिक्षण उद्देश्य (वीकलेस्ट लिंक) को मूल्यांकन मीट्रिक (फर्स्ट एरर डिटेक्शन) के साथ संरेखित करके।
कम्प्यूटेशनल ओवरहेड को कम करती है: यह अन्य आउटकम-सुपरवाइज्ड तरीकों के लिए आवश्यक महंगे मोंटे कार्लो रोलआउट्स से बचती है।
सामान्यीकरण (Generalization) सक्षम करती है: सीखे गए PRMs विभिन्न बैकबोन मॉडल्स और तर्क की कठिनाइयों में मजबूत सामान्यीकरण दिखाते हैं।

पेपर विनम्रतापूर्वक समाप्त होता है, यह स्वीकार करते हुए कि हालांकि LCA अन्य आउटकम-सुपरवाइज्ड तरीकों से बेहतर है, फिर भी यह मानव-एनोटेटेड स्टेप-लेवल लेबल्स पर प्रशिक्षित PRMs से पीछे है। वे नॉइजी लेबल्स (जहाँ गलत उत्तर दोषपूर्ण तर्क के माध्यम से प्राप्त किए जाते हैं) के साथ सीखना और PRMs को सुदृढीकरण शिक्षण (Reinforcement Learning - RL) में एकीकृत करना भविष्य के कार्य के लिए महत्वपूर्ण दिशाओं के रूप में पहचानते हैं।