Reason Popper-ly: Patching In-Context Reasoning with Inductive Logic Programming
यह शोध पत्र "Reason Popper-ly" प्रस्तुत करता है, जो एक न्यूरोसिम्बोलिक फ्रेमवर्क है जो इंडक्टिव लॉजिक प्रोग्रामिंग का उपयोग करके संबंध नियमों (relation rules) को सीखने, मध्यवर्ती चरणों को सत्यापित करने और तार्किक त्रुटियों को स्वचालित रूप से सुधारने के माध्यम से लार्ज लैंग्वेज मॉडल्स में चेन-ऑफ-थॉट रीजनिंग को बढ़ाता है, जिससे मल्टी-हॉप रीजनिंग कार्यों पर सटीकता में उल्लेखनीय सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, बहुत बातूनी रोबोट को रहस्य सुलझाना सिखाने की कोशिश कर रहे हैं। आप उससे केवल उत्तर नहीं मांगते; आप उससे अपना काम दिखाने के लिए कहते हैं, कदम-दर-कदम, जैसे कोई जासूस अपनी नोटबुक में सुराग लिख रहा हो। इस पद्धति को "चेन-ऑफ-थॉट" (Chain-of-Thought) कहा जाता है, जिसने विशाल भाषा मॉडलों (language models) को उन पहेलियों को सुलझाने में बहुत बेहतर बनाया है जिनमें क्रमवार सोचने की आवश्यकता होती है। हालाँकि, इसमें एक पेच है: सिर्फ इसलिए कि रोबोट एक लंबी, आत्मविश्वास से भरी कहानी लिखता है, इसका मतलब यह नहीं है कि उस कहानी का हर वाक्य वास्तव में सत्य है। कभी-कभी, रोबोट कहानी के बीच में अपने तर्क को गलत कर देता है, भले ही वह अंत में सही उत्तर तक पहुँच जाए। यह उस छात्र की तरह है जो एक सुंदर निबंध तो लिखता है लेकिन बीच में गलती से दो और दो को पाँच बता देता है, और फिर जादू से अंत में उसे सही कर लेता है। वैज्ञानिक चिंतित हैं क्योंकि यदि हम चरणों पर भरोसा नहीं कर सकते, तो हम गंभीर स्थितियों में रोबोट के तर्क पर भी भरोसा नहीं कर सकते। बड़ा सवाल यह है: बिना रोबोट की पूरी नोटबुक को फेंक दिए और दोबारा शुरू किए, हम रोबोट की गलतियों को उसके सोचते समय कैसे ठीक करें?
यहाँ "रीज़न पॉपर-ली" (Reason Popper-ly) आता है, जो एक नए तरीके के रूप में काम करता है जो रोबोट की सोचने की प्रक्रिया के लिए एक अत्यंत चौकस संपादक की तरह है। रोबोट को अपनी पूरी कहानी लिखने देने और बेहतर की उम्मीद करने के बजाय, या रोबोट को पूरी तरह से एक कठोर कैलकुलेटर से बदलने के बजाय, यह दृष्टिकोण सीखने और जाँचने के एक चतुर मिश्रण का उपयोग करता है। सबसे पहले, सिस्टम हजारों उदाहरणों का अध्ययन करता है कि संबंध कैसे काम करते हैं (जैसे कि कैसे एक "पिता" और एक "बहन" मिलकर "मौसी/चाची" बनाते हैं) ताकि एक छोटी, सटीक नियम पुस्तिका तैयार की जा सके। फिर, जब रोबोट एक नई पहेली को हल करने की कोशिश करता है, तो यह नियम पुस्तिका एक वास्तविक समय के रेफरी के रूप में कार्य करती है। जैसे-जैसे रोबोट प्रत्येक वाक्य लिखता है, रेफरी यह जाँचता है कि क्या तर्क नियम पुस्तिका के अनुसार सही है। यदि रोबोट कोई गलती करता है—उदाहरण के लिए, वह दावा करता है कि "भाई" और "माँ" मिलकर "चचेरा भाई/बहन" बनते हैं, जबकि वे "बहन" होते हैं—तो सिस्टम पूरा पन्ना नहीं हटाता है। इसके बजाय, वह रोबोट को धीरे से टोकता है, कहता है, "हे, यह चरण गलत है; यहाँ सही तर्क दिया गया है," और रोबोट से केवल उस हिस्से को और उसके बाद की कहानी को वहीं से फिर से लिखने के लिए कहता है।
शोधकर्ताओं ने इस विचार का परीक्षण CLUTRR नामक एक बेंचमार्क पर किया, जो मूल रूप से एक विशाल पारिवारिक वृक्ष (family tree) वाली पहेली है जहाँ आपको कई पीढ़ियों के माध्यम से संबंध जोड़कर यह पता लगाना होता है कि दो लोग एक-दूसरे से कैसे संबंधित हैं। उन्होंने इसे पाँच अलग-अलग भाषा मॉडलों पर आज़माया, जो छोटे, स्थानीय कंप्यूटरों से लेकर आज उपलब्ध सबसे शक्तिशाली "फ्रंटियर" मॉडलों तक विस्तृत हैं। इसके परिणाम काफी उत्साहजनक थे। छोटे मॉडलों के लिए, इस "पैचिंग" (patching) पद्धति ने उनकी सटीकता को बहुत अधिक बढ़ा दिया—सबसे कठिन, लंबे पहेलियों पर 48 प्रतिशत अंक तक। यहाँ तक कि सुपर-स्मार्ट फ्रंटियर मॉडल, जो पहले से ही काफी अच्छे थे, उन्हें भी सबसे लंबी श्रृंखलाओं पर 15 अंक तक का महत्वपूर्ण सुधार मिला। अध्ययन बताता है कि जैसे-जैसे पहेलियाँ लंबी और जटिल होती जाती हैं, रोबोट का अपना मस्तिष्क लड़खड़ाने लगता है, और विशिष्ट तर्क त्रुटियों को पकड़ने और ठीक करने के लिए इस प्रतीकात्मक "गार्डरेल" (guardrail) का होना एक बड़ा अंतर पैदा करता है।
जो चीज़ इस दृष्टिकोण को विशेष बनाती है वह यह है कि यह त्रुटियों को कैसे संभालता है। सिस्टम केवल "गलत" या "सही" नहीं कहता; यह निदान करता है कि रोबोट गलत क्यों हुआ। यह बता सकता है कि क्या रोबोट ने सही सामग्री का उपयोग किया लेकिन गलत विधि का, या क्या उसने संबंध को उलटने में गलती की (जैसे "माँ" और "बेटी" को आपस में मिला देना), या क्या उसने ऐसी तथ्य बना ली जो कहानी में नहीं थी। दिलचस्प बात यह है कि अध्ययन में पाया गया कि सबसे बड़े, सबसे स्मार्ट मॉडलों के लिए, सबसे आम गलती तर्क को गलत करना नहीं थी, बल्कि संबंधों की दिशा को मिला देना था। इन विशिष्ट, छोटी त्रुटियों को ठीक करके और रोबोट को सुधारे गए स्थान से जारी रखने देकर, यह प्रणाली रोबोट की अपनी रचनात्मकता और आधार को सुरक्षित रखती है और यह सुनिश्चित करती है कि तर्क सुसंगत रहे। यह सुझाव देता है कि हमें AI को विश्वसनीय बनाने के लिए कठोर गणित से बदलने की आवश्यकता नहीं है; हमें बस उसके होमवर्क को चलते समय चेक करने के लिए एक स्मार्ट, हल्का तरीका चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।