Ask, Condition or Abstain: Reinforcement Learning for Missing-Premise Reasoning
यह शोध पत्र ACA-RL, एक सुदृढीकरण शिक्षण (reinforcement learning) ढांचा और मिसिंग-प्रिमाइज़ बेंचमार्क (MPB) प्रस्तुत करता है जो रीजनिंग मॉडलों को गलत उत्तर देने के बजाय, गायब जानकारी के लिए पूछने, अज्ञात सूचनाओं पर उत्तरों को आधारित करने, या उत्तर देने से बचने के लिए सीखने के माध्यम से अपर्याप्त रूप से निर्धारित (underdetermined) प्रश्नों को प्रभावी ढंग से संभालने में सक्षम बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही जानकार सहायक से एक प्रश्न पूछ रहे हैं, लेकिन आपने अनजाने में उस पहेली को हल करने के लिए आवश्यक एक महत्वपूर्ण जानकारी छोड़ दी है। शायद आप यात्रा की कुल लागत पूछते हैं लेकिन गंतव्य का उल्लेख करना भूल जाते हैं, या आप किसी गणितीय समस्या का समाधान मांगते हैं लेकिन एक विशिष्ट संख्या छोड़ देते हैं। वास्तविक दुनिया में, एक सहायक मनुष्य रुक जाएगा, कमी को नोटिस करेगा, और आपसे छूटी हुई जानकारी के बारे में पूछेगा। वे गंतव्य का अनुमान नहीं लगाएंगे या उत्तर देने के लिए कोई संख्या खुद से नहीं बनाएंगे। लंबे समय तक, समस्याओं को हल करने के लिए प्रशिक्षित आर्टिफिशियल इंटेलिजेंस सिस्टम इस विशिष्ट स्थिति के साथ संघर्ष करते रहे हैं। एक अपूर्ण प्रश्न का सामना करने पर, ये सिस्टम अक्सर खाली स्थानों को खुद भरने के लिए मजबूर महसूस करते हैं, आत्मविश्वास के साथ एक गलत उत्तर या मनगढ़ंत तथ्य प्रस्तुत करते हैं। यह व्यवहार, जिसे 'हैलुसिनेशन' (hallination) कहा जाता है, इसलिए होता है क्योंकि मॉडल मुख्य रूप से एक अंतिम उत्तर खोजने के लिए प्रशिक्षित होते हैं, न कि यह पहचानने के लिए कि कब उत्तर ढूंढना असंभव है।
शोधकर्ता इन सिस्टम को अनिश्चितता को पहचानना सिखाने के लिए काम कर रहे हैं, लेकिन उन्हें केवल "मुझे नहीं पता" कहने के लिए कहना हमेशा सबसे उपयोगी प्रतिक्रिया नहीं होती है। कभी-कभी, सबसे अच्छी प्रतिक्रिया एक चर (variable) पर निर्भर उत्तर प्रदान करना होती है, जैसे कि यह कहना कि, "यदि यात्रा पेरिस की है तो लागत दस डॉलर होगी, लेकिन यदि लंदन की है तो बीस डॉलर होगी।" यह शोध पत्र एक नया तरीका पेश करता है जो आर्टिफिशियल इंटेलिजेंस को अधूरे प्रश्नों को उसी सावधानी के साथ संभालने के लिए प्रशिक्षित करता है जैसा कि एक इंसान करता है। शोधकर्ताओं ने एक ऐसा सिस्टम विकसित किया जो मॉडलों को या तो छूटी हुई जानकारी मांगने, एक सशर्त (conditional) उत्तर देने, या जब कोई उपयोगी प्रतिक्रिया संभव न हो तो विनम्रता से मना करने के लिए प्रशिक्षित करता है।
Ant International और Zhejiang University के शोधकर्ताओं के नेतृत्व वाली टीम ने 'आस्क-कंडीशन-अबस्टेन रिइन्फोर्समेंट लर्निंग' (Ask-Condition-Abstain Reinforcement Learning) नामक एक नया प्रशिक्षण दृष्टिकोण बनाया। मॉडलों को इस व्यवहार के लिए प्रशिक्षित करने के लिए, उन्हें पहले अभ्यास समस्याओं का एक विशाल पुस्तकालय बनाना पड़ा जो जानबूझकर त्रुटिपूर्ण बनाई गई थीं। उन्होंने 12,000 सुव्यवस्थित, हल करने योग्य समस्याओं को लिया और प्रत्येक में से सावधानीपूर्वक एक महत्वपूर्ण जानकारी को हटा दिया या बदल दिया। यह प्रक्रिया यादृच्छिक (random) नहीं थी; उन्होंने यह पहचानने के लिए कि कौन सा तथ्य उत्तर के लिए आवश्यक था, एक संरचित मानचित्र का उपयोग किया कि समस्या को कैसे हल किया जाना चाहिए। इन तथ्यों को सर्जिकल सटीकता के साथ हटाकर, उन्होंने एक ऐसा डेटासेट बनाया जहाँ एकमात्र सही प्रतिक्रिया यह स्वीकार करना था कि प्रश्न अधूरा है।
एक बार जब यह प्रशिक्षण डेटा तैयार हो गया, तो उन्होंने मॉडलों को पुरस्कारों की एक प्रणाली का उपयोग करके सिखाया जिसने विशिष्ट व्यवहारों को प्रोत्साहित किया। केवल एक सही अंतिम उत्तर के लिए पुरस्कार देने के बजाय, सिस्टम ने स्पष्टीकरण मांगने या यह समझाने के लिए अंक दिए कि क्या गायब था। इसने केवल उत्तर देने से मना करने के लिए कम अंक दिए, और तथ्य बनाने या अनुमान लगाने के लिए नकारात्मक अंक दिए। लक्ष्य मॉडल की प्रवृत्ति को "उत्तर का अनुमान लगाने" से बदलकर "कमी को पहचानने" की ओर ले जाना था। यह परीक्षण करने के लिए कि क्या यह प्रशिक्षण वास्तव में काम करता है, शोधकर्ताओं ने एक नया बेंचमार्क 'मिसिंग-प्रीमिस बेंचमार्क' (Missing-Premise Benchmark) बनाया। इस परीक्षण सेट में 274 सावधानीपूर्वक सत्यापित समस्याएँ शामिल थीं जहाँ जानकारी गायब थी, जिसमें गणित, तर्क और वास्तविक दुनिया की शब्द समस्याएं शामिल थीं।
परिणामों ने दिखाया कि नए प्रशिक्षण पद्धति ने अधूरे प्रश्नों को संभालने में मॉडलों में काफी सुधार किया। नए बेंचमार्क पर, इस पद्धति से प्रशिक्षित मॉडल उन मॉडलों की तुलना में बहुत अधिक स्कोर करते थे जिन्हें केवल उत्तर खोजने के लिए या केवल "मुझे नहीं पता" कहने के लिए प्रशिक्षित किया गया था। प्रशिक्षित मॉडल तथ्य गढ़ने या आविष्कार करने की संभावना से बहुत कम थे। इसके बजाय, उन्होंने अक्सर छूटी हुई जानकारी के बारे में पूछने या यह समझाने का विकल्प चुना कि अज्ञात चर के आधार पर उत्तर कैसे बदलेगा। महत्वपूर्ण रूप से, यह सुधार सामान्य, पूर्ण समस्याओं को हल करने की उनकी क्षमता की कीमत पर नहीं आया। जब उन्हें मानक गणित और तर्क पहेलियों पर परखा गया जहाँ सभी जानकारी प्रदान की गई थी, तो मॉडलों ने पहले की तरह ही अच्छा प्रदर्शन किया, जिससे पता चला कि अनिश्चितता को पहचानने के सीखने से वे कार्यों को हल करने में कमजोर नहीं हुए।
अध्ययन सुझाव देता है कि बुद्धिमान प्रणालियों के लिए अगला कदम केवल समस्याओं को हल करने में तेज़ या अधिक सटीक होना नहीं है, बल्कि यह जानना भी है कि कब एक समस्या को बताए गए रूप में हल नहीं किया जा सकता है। मॉडलों को अनुमान लगाने के बजाय गायब जानकारी को उजागर करने के लिए सिखाकर, यह दृष्टिकोण अधिक सुरक्षित और विश्वसनीय सहायकों के निर्माण का समर्थन करता है। ये सिस्टम तय कर सकते हैं कि उपयोगकर्ता से मदद कब मांगनी है या किसी लापता तथ्य को खोजने के लिए किसी टूल का उपयोग कब करना है, बजाय इसके कि आत्मविश्वास के साथ गलत उत्तर दें। शोधकर्ता नोट करते हैं कि जबकि उनकी विधि संरचित समस्याओं में तार्किक अंतराल के लिए अच्छी तरह से काम करती है, वास्तविक दुनिया के प्रश्न अधिक जटिल और अस्पष्ट हो सकते हैं। हालांकि, यह कार्य आर्टिफिशियल इंटेलिजेंस को अपने ज्ञान की सीमाओं को पहचानने और जानकारी अधूरी होने पर रचनात्मक रूप से प्रतिक्रिया करने के लिए सिखाने का एक स्पष्ट मार्ग प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।