REIN: Bridging the Gap between Reasoning and Reliability via Reflection and Abstention Alignment
REIN एक संरेखण ढांचा (alignment framework) है जो बड़े तर्क मॉडल (reasoning models) की विश्वसनीयता को बढ़ाने के लिए उन्हें स्पष्ट आत्म-चिंतन करने और ज्ञान अपर्याप्त होने पर उत्तर देने से बचने के लिए प्रशिक्षित करता है, जिससे बिना किसी बाहरी उपकरण या बहु-चरणीय अनुमान (multi-round inference) के उच्च कवरेज और सटीकता बनाए रखते हुए मतिभ्रम (hallucinations) को काफी कम किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट दोस्त से बात कर रहे हैं जिसने लाइब्रेरी की लगभग हर किताब पढ़ ली है। यह रोबोट पहेलियाँ सुलझाने, गणित करने और दुनिया कैसे काम करती है, यह समझाने में माहिर है। लेकिन कभी-कभी, जब यह अटक जाता है या इसे उत्तर नहीं पता होता, तो यह सिर्फ यह नहीं कहता, "मुझे नहीं पता।" इसके बजाय, यह एक ऐसी कहानी बनाना शुरू कर देता है जो सुनने में बहुत विश्वसनीय लगती है, जैसे कोई जादूगर उस टोपी में से खरगोश निकाल रहा हो जो वहाँ है ही नहीं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे "हैलुसिनेशन" (hallucination) कहा जाता है। यह तब होता है जब रोबोट आत्मविश्वास के साथ आपको गलत उत्तर देता है, या इससे भी बुरा, ऐसे तथ्य बना देता है जो सच लगते हैं पर वास्तव में नहीं होते।
वैज्ञानिक इसे रोबोट को बोलने से पहले "ज़ोर से सोचने" (think out loud) की शिक्षा देकर ठीक करने की कोशिश कर रहे हैं। यह वैसा ही है जैसे रोबोट को गणित के टेस्ट में अपना काम दिखाने के लिए कहना। विचार यह है कि यदि रोबोट अपने चरणों (steps) को लिख देता है, तो हम देख सकते हैं कि वह कहाँ गलत हुआ। लेकिन यहाँ पेच यह है कि कभी-कभी रोबोट चरण तो सही लेता है पर उत्तर गलत होता है, और कभी-कभी उसके पास उत्तर देने के लिए जानकारी होती ही नहीं है। यदि हम उसे सिर्फ "ज़ोर से सोचने" के लिए कहते हैं, तो वह शायद एक बेहतर दिखने वाला झूठ ही बना लेगा। तो, बड़ा सवाल यह है कि: हम रोबोट को न केवल स्पष्ट रूप से सोचना कैसे सिखाएं, बल्कि यह भी कैसे सिखाएं कि कब रुकना है और यह स्वीकार करना है कि, "हे, मुझे वास्तव में यह नहीं पता"?
यहीं पर, REIN नामक एक नई विधि आती है। REIN को इन रीजनिंग (तर्क करने वाले) रोबोट्स के लिए एक विशेष प्रशिक्षण शिविर (training camp) के रूप में समझें। रोबोट को केवल एक उत्तर spits out करने देने के बजाय, REIN उसे हर सवाल के लिए एक सख्त तीन-चरणीय दिनचर्या सिखाता है: सोचना (Think), चिंतन करना (Reflect), फिर उत्तर देना (Answer)।
पहले, रोबोट समस्या के बारे में सोचता है और एक ड्राफ्ट उत्तर तैयार करता है ("सोचना" वाला हिस्सा)। फिर, उसे अपना उत्तर ज़ोर से बोलने की अनुमति मिलने से पहले, उसे रुकना पड़ता है और आईने में देखना पड़ता है ("चिंतन करना" वाला हिस्सा)। इस आईने में, उसे खुद से पूछना होगा: "जो उत्तर मैंने अभी सोचा है, क्या वह वास्तवं में विश्वसनीय है? क्या मैंने अपने तर्क के चरणों में कोई गलती की है, या मेरे पास बस वह तथ्य नहीं है?" अंत में, वह "उत्तर" देता है।
REIN का जादू यह है कि यह रोबलेट को उस आईने का उपयोग करना कैसे सिखाता है। शोधकर्ताओं ने पाया कि रोबोट दो अलग-अलग प्रकार की गलतियाँ करते हैं। एक है तर्क की चूक (logic slip-up), जहाँ रोबोट तथ्यों को जानता है लेकिन अपने स्वयं के तर्क के चरणों में लड़खड़ा जाता है। दूसरा है ज्ञान की कमी (knowledge gap), जहाँ रोबोट के पास उत्तर देने के लिए तथ्य ही नहीं होते। REIN रोबोट को इन दोनों को अलग-अलग तरीके से संभालने के लिए सिखाता है। यदि यह केवल एक तर्क की चूक है, तो रोबोट "चिंतन" के चरण में अपनी गलती पकड़ने और उसे सुधारने के बारे में सीखता है। लेकिन यदि यह ज्ञान की कमी है—यानी रोबोट वास्तव में नहीं जानता—तो "चिंतन" का चरण उसे कुछ भी मनगढ़ंत बनाने के बजाय, "मुझे नहीं पता" कहने के लिए पर्याप्त साहसी बनना सिखाता है।
अपने प्रयोगों में, शोधकर्ताओं ने इस विधि का परीक्षण कठिन गणितीय समस्याओं और सामान्य ज्ञान के प्रश्नों पर किया। उन्होंने पाया कि REIN के साथ प्रशिक्षित रोबोट अपनी गलतियों को पहचानने में बहुत बेहतर हो गए। उन्होंने आत्मविश्वास के साथ गलत उत्तर देने की घटनाओं को एक बहुत बड़े अंतर से कम कर दिया (58% और 72% कम "आत्मविश्वासपूर्ण झूठ")। साथ ही, वे केवल उत्तर देना बंद नहीं कर देते हैं; वे अभी भी अधिकांश प्रश्नों को सही ढंग से उत्तर देते हैं (अपनी सफलता दर को उच्च रखते हुए)।
सबसे अच्छी बात? रोबोट को काम करते समय किसी इंसान से मदद मांगने या टेक्स्टबुक चेक करने की ज़रूरत नहीं होती है। वह इस पूरे आत्म-जांच (self-checking) को एक ही बार में करना सीख जाता है, बस "सोचो, चिंतन करो, उत्तर दो" की दिनचर्या का पालन करके। यह एक छात्र को अपना होमवर्क जमा करने से पहले उसे दोबारा चेक करने के लिए सिखाने जैसा है, जिससे यह सुनिश्चित होता है कि यदि वे गलत हैं, तो उन्हें पता हो कि वे क्यों गलत हैं, या यदि उन्हें उत्तर नहीं पता है, तो उनके पास अनुमान लगाने के बजाय स्वीकार करने का आत्मविश्वास हो। यह रोबोट को न केवल स्मार्ट बनाता है, बल्कि अधिक भरोसेमंद भी बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।