Rewarding Intellectual Humility Learning When Not To Answer In Large Language Models
यह शोध पत्र यह प्रदर्शित करता है कि सत्यापन योग्य पुरस्कारों के साथ सुदृढीकरण सीखना (Reinforcement Learning with Verifiable Rewards - RLVR), जो मॉडलों को अनिश्चित प्रश्नों का उत्तर देने से बचने के लिए स्पष्ट रूप से प्रोत्साहित करता है, तथ्यात्मक बेंचमार्क पर सटीकता से समझौता किए बिना बड़े भाषा मॉडलों में मतिभ्रम (hallucinations) को प्रभावी रूप से कम करता है और बौद्धिक विनम्रता में सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप अपने सवालों के जवाब देने के लिए एक बहुत ही बुद्धिमान, विद्वान सहायक को काम पर रख रहे हैं। समस्या यह है कि यह सहायक थोड़ा "सब कुछ जानने वाला" (know-it-all) है। यहाँ तक कि जब उसे वास्तव में उत्तर नहीं पता होता, तब भी वह अनुमान लगाने के लिए मजबूर महसूस करता है, और अक्सर ऐसे तथ्य गढ़ देता है जो सुनने में तो विश्वसनीय लगते हैं लेकिन पूरी तरह से गलत होते हैं। AI की दुनिया में, इसे "हैलुसिनेशन" (hallucination) कहा जाता है।
यह शोध पत्र इन AI सहायकों को एक नया, महत्वपूर्ण कौशल सिखाने के बारे में है: यह जानना कि कब कहना है, "मुझे नहीं पता।"
यहाँ उनके दृष्टिकोण का विवरण दिया गया है, सरल उपमाओं का उपयोग करते हुए:
समस्या: अति-आत्मविश्वासी अनुमान लगाने वाली मशीन
वर्तमान में, लार्ज लैंग्वेज मॉडल्स (LLMs) को हमेशा उत्तर देने के लिए प्रशिक्षित किया जाता है। यदि आप उनसे कोई प्रश्न पूछते हैं, तो वे कुछ न कुछ उत्पन्न करने का प्रयास करेंगे, भले ही वे केवल अनुमान लगा रहे हों। यह उस छात्र की तरह है जो परीक्षा में खाली छोड़ने से डरता है, इसलिए अंक पाने के लिए वह एक रैंडम उत्तर लिख देता है। इससे आत्मविश्वासपूर्ण लेकिन गलत जानकारी मिलती है।
समाधान: "ईमानदारी इनाम" प्रणाली
शोधकर्ताओं ने एक नई प्रशिक्षण पद्धति का परीक्षण किया जिसे रिनफोर्समेंट लर्निंग विद वेरिएबल रिवार्ड्स (RLVR) कहा जाता है। इसे एक नए ग्रेडिंग सिस्टम के रूप में समझें।
केवल सही उत्तर देने के लिए अंक देने के बजाय, उन्होंने एक तीन-तरफा स्कोरिंग प्रणाली पेश की:
- सही उत्तर: +1 अंक (बहुत अच्छा!)
- गलत उत्तर: -1 अंक (गलत अनुमान, आपके अंक कट गए।)
- "मुझे नहीं पता": एक विशेष इनाम (मान लीजिए +0.3 अंक)।
लक्षnya AI को यह सिखाना था कि गलत होने पर आत्मविश्वास से अनुमान लगाने के बजाय ईमानदार होना और "मुझे नहीं पता" कहना बेहतर है। वे एक "गोल्डिलॉक्स" (Goldilocks) इनाम खोजना चाहते थे: न तो बहुत अधिक (वरना AI हर चीज़ के लिए "मुझे नहीं पता" कहने लगेगा और कोशिश करना छोड़ देगा), और न ही बहुत कम (वरना वह अनुमान लगाना जारी रखेगा)।
प्रयोग: नए नियमों का परीक्षण
उन्होंने दो अलग-अलग प्रकार के "छात्रों" (AI मॉडल) पर इसका परीक्षण किया:
- Granite-3.3-2B: एक छोटा, अधिक कॉम्पैक्ट मॉडल।
- Qwen-3-4B: एक बड़ा, अधिक शक्तिशाली मॉडल।
उन्होंने उन्हें दो प्रकार की "परीक्षाओं" पर परखा:
- MedMCQA: बहुविकल्पीय चिकित्सा प्रश्न (जैसे कि एक निश्चित सेट के उत्तरों वाला ट्रिविया क्विज़)।
- Hendrycks Math: कठिन गणितीय समस्याएँ जिनमें लंबा समाधान लिखने की आवश्यकता होती है (जैसे कि एक निबंध या प्रमाण)।
उन्होंने क्या पाया
1. बहुविकल्पीय प्रश्नों के लिए "स्वीट स्पॉट" (Sweet Spot) काम करता है
बहुविकल्पीय चिकित्सा प्रश्नों पर, उन्होंने "मुझे नहीं पता" के इनाम के लिए एक "स्वीट स्पॉट" पाया।
- यदि उन्होंने "मुझे नहीं पता" कहने के लिए बहुत कम इनाम दिया, तो AI अनिश्चितता स्वीकार करने लगा।
- परिणाम: गलत, मनगढ़ंत उत्तरों की संख्या काफी कम हो गई। AI अधिक विनम्र हो गया।
- समझौता (Trade-off): AI के कुल सही उत्तरों में थोड़ी कमी आई क्योंकि उसने अनुमान लगाना बंद कर दिया। हालांकि, शोधकर्ताओं ने पाया कि एक मध्यम इनाम (लगभग 0.3) ने गलत अनुमानों को कम किया बिना उनके अच्छे उत्तरों को खराब किए।
- बड़े मॉडल का लाभ: बड़े मॉडल (Qwen) ने छोटे मॉडल की तुलना में इस "ईमानदारी प्रशिक्षण" को बेहतर तरीके से संभाला। वह अपनी समग्र बुद्धिमत्ता को खोए बिना आवश्यकता पड़ने पर "मुझे नहीं पता" कहने में सक्षम था।
2. खुले अंत वाले (Open-ended) प्रश्नों के साथ संघर्ष
जब उन्होंने कठिन गणित की समस्याओं पर (जहाँ AI को एक लंबा उत्तर लिखना होता है) इसका परीक्षण किया, तो यह अपने आप उतना अच्छा काम नहीं कर पाया।
- समस्या: AI अनुमान लगाने का इतना आदी था कि वह "मुझे नहीं पता" विकल्प चुनने से डर रहा था। यह उस छात्र की तरह था जो गलत होने के डर से इतना डरा हुआ है कि वह प्रश्न को खाली छोड़ने पर विचार करने से भी इनकार कर देता है। AI ने प्रशिक्षण के दौरान "मुझे नहीं पता" कहने के विकल्प को पर्याप्त रूप से "एक्सप्लोर" नहीं किया।
- समाधान: उन्होंने एक दो-चरणीय प्रक्रिया आजमाई। पहले, उन्होंने AI को विशिष्ट प्रश्नों पर "मुझे नहीं पता" कहने का अभ्यास करने के लिए मजबूर किया (सुपरवाइज्ड फाइन-ट्यूनिंग)। फिर, उन्होंने इनाम प्रणाली लागू की। इससे AI को रुकने (abstain करने) के विचार के साथ सहज होने में मदद मिली, हालांकि यह अभी भी चुनौतीपूर्ण था।
मुख्य निष्कर्ष (Takeaway)
शोध पत्र निष्कर्ष निकालता है कि आप केवल AI को ईमानदार होने के लिए नहीं कह सकते; आपको उसे ईमानदार होने के लिए इनाम देना होगा।
"मुझे नहीं पता" कहने के लिए "अंकों" को समायोजित करके, डेवलपर्स AI के व्यक्तित्व को ट्यून कर सकते हैं। वे इसे अधिक सतर्क (कम झूठ बोलने वाला) या अधिक आत्मविश्वासी (अधिक प्रयास करने वाला) बना सकते हैं, जो उनकी आवश्यकता पर निर्भर करता है।
- सतर्क दृष्टिकोण के लिए: "मुझे नहीं पता" कहने के लिए एक छोटा इनाम दें। AI तथ्य बनाना बंद कर देगा, जिससे यह चिकित्सा या कानूनी सलाह जैसी चीजों के लिए बहुत अधिक विश्वसनीय हो जाएगा जहाँ गलत होना खतरनाक है।
- सीमा: AI को सबसे पहले यह सीखने के लिए थोड़े मार्गदर्शन की आवश्यकता होती है कि "मुझे नहीं पता" कैसे कहना है, विशेष रूप से जटिल, खुले अंत वाले कार्यों के लिए।
संक्षेप में, शोधकर्ताओं ने एक ऐसा प्रशिक्षण मैनुअल बनाया है जो AI मॉडल्स को सिखाता है कि झूठ बोलने से बेहतर कभी-कभी चुप रहना है, और उन्होंने साबित किया कि सही पुरस्कारों के साथ, AI बौद्धिक रूप से विनम्र होना सीख सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।