Search, Fail, Recover: A Training Framework for Correction-Aware Reasoning
यह शोध पत्र Pyligent को प्रस्तुत करता है, जो एक प्रशिक्षण ढांचा है जो विलंबित-विफलता रिकवरी (delayed-failure recovery) की आवश्यकता वाले कार्यों पर तर्क प्रदर्शन में सुधार करता है, जो निरंतरता, समापन और बैकट्रैकिंग क्रियाओं के लिए सत्यापित खोज वृक्षों (search trees) को सुपरवाइज्ड लक्ष्यों में परिवर्तित करके विभिन्न संरचित डोमेन में मानक सुपरवाइज्ड फाइन-ट्यूनिंग से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को भूलभुलैया (maze) सुलझाना सिखा रहे हैं।
पुराना तरीका: "परफेक्ट टूरिस्ट" दृष्टिकोण
पारंपरिक रूप से, जब हम AI को तर्क करना सिखाते हैं, तो हम उसे एक इंसान द्वारा भूलभुलैया को सफलतापूर्वक हल करने का वीडियो दिखाते हैं। हम कहते हैं, "देखो, उन्होंने बाएं मुड़ा, फिर दाएं मुड़े, और फिर बाहर निकलने का रास्ता ढूंढ लिया। बिल्कुल वैसा ही करो।" इसे "गोल्ड-ओनली" (Gold-Only) ट्रेनिंग कहा जाता है।
समस्या यह है कि रोबोट केवल सफल रास्ता ही देखता है। वह वह समय कभी नहीं देख पाता जब इंसान किसी डेड एंड (बंद रास्ते) पर टकराया हो, अपनी गलती का एहसास किया हो, वापस पिछले चौराहे तक गया हो, और दूसरा रास्ता आज़माया हो। इसलिए, जब रोबोट खुद किसी डेड एंड पर पहुँचता है, तो वह घबरा जाता है। वह दीवार में टकराता रहता है, या फंस जाता है, क्योंकि उसे कभी यह नहीं सिखाया गया कि कैसे कहना है, "ओह, गलत मोड़ लिया," और वापस लौट आए।
नया तरीका: पाइलिजेंट (Pyligent - "परिश्रमी शिक्षार्थी")
यह पेपर पाइलिजेंट (Pyligent) नामक एक नया ट्रेनिंग फ्रेमवर्क पेश करता है। केवल रोबोट को सही रास्ता दिखाने के बजाय, पाइलिजेंट रोबोट को खोजने, असफल होने और उन असफलताओं से सीखने की अनुमति देता है।
पाइलिजेंट को एक वीडियो गेम कोच की तरह समझें जो खिलाड़ी को खेलते हुए देखता है:
- एक्सप्लोरर (खोजकर्ता): रोबोट पहेली को हल करने की कोशिश करता है। वह चालें चलता है।
- रेफरी (वैलिडेटर/सत्यापनकर्ता): एक सख्त रेफरी हर चाल पर नज़र रखता है। यदि रोबोट ऐसी चाल चलता है जो शुरू में ठीक लगती है लेकिन बाद में डेड एंड की ओर ले जाती है, तो रेफरी केवल "गेम ओवर" नहीं कहता। वे खेल को रोक देते हैं, उस सटीक क्षण की ओर इशारा करते हैं जहाँ रोबोट गलत हुआ था, और कहते हैं, "तुम्हें यहाँ से वापस मुड़ जाना चाहिए था।"
- सबक: इसके बाद रोबोट को उसकी अपनी गलती का रीप्ले दिखाया जाता है। वह डेड एंड को देखता है, कारण सुनता है ("तुम दीवार से टकरा गए"), और उसे स्पष्ट रूप से एक विशेष कमांड सिखाई जाती है:
(पीछे हटना)। यह कमांड रोबोट को गलत रास्ता मिटाने और पिछले सुरक्षित स्थान पर लौटने और फिर से प्रयास करने के लिए कहती है।
तीन चालें
पाइलिजेंट रोबोट को तीन विशिष्ट क्रियाएं सिखाता है, न कि केवल "चलते रहो":
- Continue (जारी रखें): "यह रास्ता अच्छा लग रहा है, आगे बढ़ते रहो।"
- Finish (समाप्त करें): "मुझे समाधान मिल गया है, यह रहा उत्तर।"
- Backtrack (पीछे हटें): "रुको, यह रास्ता एक डेड एंड है। चलो पिछले विकल्प पर वापस चलते हैं और कुछ और आज़माते हैं।"
प्रयोग: यह कितना प्रभावी रहा?
शोधकर्ताओं ने यह देखने के लिए कि क्या रोबोट वास्तव में अपनी गलतियों से उबरना सीख गया है, इसे तीन अलग-अलग "गेम्स" पर परखा।
हिडन मेज़ (Hidden Directed Graph - छिपी हुई भूलभुलभैया):
- सेटअप: रोबोट केवल अगले कदम को देख सकता है, पूरे मानचित्र को नहीं। उसे अनुमान लगाना पड़ता है कि किस दिशा में जाना है।
- परिणाम: पुराने तरीके (Gold-Only) हर बार लगभग 100% विफल रहे। वे डेड एंड में चलते रहे और चलते ही रहे। हालांकि, पाइलिजेंट रोबोट ने 76% भूलभुलैया को हल किया। इसने डेड एंड को पहचानना, "बैकट्रैक" बटन दबाना, और एक अलग रास्ता आज़माना सीख लिया।
मिनी सुडोकू (4x4 ग्रिड):
- सेटअप: एक छोटी संख्या वाली पहेली जहाँ एक संख्या भरने से बाकी पहेली असंभव हो सकती है।
- परिणाम: पाइलिजेंट ने पुराने तरीके की तुलना में काफी अधिक पहेलियाँ हल कीं। यहाँ तक कि जब पहेलियाँ बहुत कठिन थीं, तब भी पाइलिजेंट रोबोट यह समझने में बहुत बेहतर था कि, "मैंने यहाँ 3 भरा, लेकिन यह बाद में नियमों को तोड़ रहा है," और उस चाल को बदलकर दूसरा नंबर आज़माने में।
ब्लॉकस्वर्ल्ड (Blocksworld - ब्लॉकों को जमाना):
- सेटअप: एक रोबोटिक हाथ को ब्लॉकों का एक ढेर दूसरे ढेर में ले जाना होता है। यदि वह गलत ब्लॉक उठा लेता है, तो पूरी योजना बिगड़ जाती है।
- परिणाम: पुराना तरीका शायद ही कोई पहेली हल कर पाता। पाइलिजेंट ने सफलता दर को दोगुना कर दिया। इसने सीखा कि कभी-कभी आपको एक ब्लॉक को नीचे रखना पड़ता है और दूसरा उठाने के लिए उसे छोड़ना पड़ता है, बजाय इसके कि आप एक ऐसी योजना पर अड़े रहें जो काम नहीं कर रही है।
सीक्रेट सॉस: "ट्रेस्ड रिकवरी" (Traced Recovery)
इसकी सबसे दिलचस्प विशेषताओं में से एक है जिसे "ट्रेस्ड रिकवरी" कहा जाता है।
जब रोबोट डेड एंड पर पहुँचता है और "बैकट्रैक" करता है, तो पुराना तरीका बस सब कुछ मिटा देता है। लेकिन पाइलिजेंट एक छोटा सा नोट छोड़ देता है: "तुम इस रास्ते पर गए थे, लेकिन यह X के कारण विफल हुआ।"
यह एक ऐसे हाइकर (हाइकर) की तरह है जो रास्ता भटक जाता है, वापस मुड़ता है, और एक छोटा सा साइन बोर्ड लगा देता है: "इस तरफ मत जाओ, यहाँ दलदल है।" यह नोट रोबोट को दोबारा प्रयास करते समय ठीक वही गलती दोबारा करने से बचने में मदद करता है।
निष्कर्ष
यह पेपर तर्क देता है कि स्मार्ट होने का मतलब केवल सही उत्तर जानना नहीं है; बल्कि यह जानना भी है कि अपनी गलतियों को कैसे सुधारा जाए। AI को स्पष्ट रूप से डेड एंड पहचानने और "बैकट्रैकिंग" का अभ्यास करने के लिए प्रशिक्षित करके, हम उन्हें बहुत अधिक लचीला समस्या समाधानकर्ता बना सकते हैं। यह एक ऐसे रोबोट के बीच का अंतर है जो दीवार से टकराने पर हार मान लेता है और एक ऐसे रोबोट के बीच का अंतर है जो कहता है, "मेरी गलती, चलो दूसरा दरवाज़ा आज़माते हैं।"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।