Quantifying and Mitigating Premature Closure in Frontier LLMs
यह अध्ययन फ्रंटियर लार्ज लैंग्वेज मॉडल्स में "प्रीमैच्योर क्लोजर" (असमय निष्कर्ष) को परिभाषित और परिमाणित करता है, जो अनिश्चितता के तहत अनुचित उत्तर देने की उनकी प्रवृत्ति को दर्शाता है, जो मेडिकल बेंचमार्क में उच्च विफलता दर को प्रकट करता है और यह प्रदर्शित करता है कि हालांकि सुरक्षा प्रॉम्पटिंग कुछ शमन प्रदान करती है, फिर भी अत्यधिक आत्मविश्वास के महत्वपूर्ण जोखिम बने हुए हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ इस शोध पत्र का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।
मुख्य समस्या: "सब कुछ जानने वाला" होने का जाल
कल्पना कीजिए कि एक बहुत ही बुद्धिमान छात्र है जिसने लाइब्रेरी की हर मेडिकल किताब पढ़ ली है। वह किसी भी परीक्षा के लगभग हर सवाल का सटीक जवाब दे सकता है। लेकिन इसमें एक पेंच है: इस छात्र में एक बुरी आदत है जिसे 'प्रीमैच्योर क्लोजर' (समय से पहले निष्कर्ष निकालना) कहते हैं।
मानव चिकित्सा में, 'प्रीमैचर क्लोजर' तब होता है जब एक डॉक्टर सभी तथ्यों को इकट्ठा करने से पहले ही किसी बीमारी का निदान (डायग्नोसिस) कर लेता है। इस शोध पत्र में, शोधकर्ताओं ने AI के लिए इसे इस प्रकार परिभाषित किया है: सवाल का जवाब देना जब AI के पास वास्तव में सुरक्षित रूप से उत्तर देने के लिए पर्याप्त जानकारी न हो।
इसे एक GPS नेविगेशन ऐप की तरह समझें। यदि आप GPS से पूछते हैं, "मैं चाँद पर कैसे जाऊं?" और वह तुरंत आपको एक रास्ता बता देता है, तो यह 'प्रीमैच्योर क्लोजर' है। वह आत्मविश्वास से भरा है, लेकिन वह गलत है क्योंकि (चाँद तक जाने का) रास्ता मौजूद ही नहीं है। सुरक्षित प्रतिक्रिया यह होनी चाहिए कि वह कहे, "मैं इसका उत्तर नहीं दे सकता।"
शोधकर्ता यह देखना चाहते थे कि नवीनतम और सबसे उन्नत AI मॉडल (जिन्हें "फ्रंटियर LLMs" कहा जाता है) यह जानते हैं कि उन्हें कब चुप रहना चाहिए, या क्या वे तब भी बोलते रहते हैं जब उन्हें रुक जाना चाहिए।
प्रयोग: तीन अलग-अलग परीक्षण
शोधकर्ताओं ने पाँच सबसे बुद्धिमान AI मॉडलों को तीन अलग-अलग प्रकार के परीक्षणों से गुज़ारा ताकि यह देखा जा सके कि वे कितनी बार इस जाल में फँसते हैं।
1. "गायब उत्तर" वाला बहुविकल्पीय परीक्षण (Multiple Choice Test)
सेटअप: कल्पना कीजिए कि एक बहुविकल्पीय क्विज़ है। आमतौर पर, एक उत्तर सही होता है। लेकिन शोधकर्ताओं ने प्रश्न में से सही उत्तर को पूरी तरह से हटा दिया, जिससे केवल गलत विकल्प ही बचे।
जाल: यदि AI बुद्धिमान है, तो उसे कहना चाहिए, "इनमें से कोई भी सही नहीं है।" यदि उसमें 'प्रीमैचर क्लोजर' है, तो वह मदद करने के चक्कर में ही सही, किसी भी "कम गलत" विकल्प को चुन लेगा।
परिणाम: AI इस मामले में बहुत खराब रहे। भले ही सही उत्तर गायब था, फिर भी उन्होंने लगभग 70% समय एक गलत उत्तर चुन लिया। वे जवाब देने के लिए इतने उत्सुक थे कि वे यह स्वीकार नहीं कर सके कि उन्हें पता नहीं है।
- समाधान: शोधकर्ताओं ने AI को एक "सुरक्षा निर्देश" (जैसे एक शिक्षक का कहना, "यदि आप सुनिश्चित नहीं हैं, तो अनुमान न लगाएं") देकर देखने की कोशिश की। इससे थोड़ी मदद मिली, जिससे गलत अनुमान घटकर लगभग 48% रह गए, लेकिन मॉडल फिर भी बहुत अधिक अनुमान लगा रहे थे।
2. "अस्पष्ट रोगी" चैट परीक्षण
सेटअप: शोधकर्ताओं ने वास्तविक रोगी परिदृश्यों के आधार पर AI से खुले प्रश्न पूछे। कुछ प्रश्न स्पष्ट थे, लेकिन कई अस्पष्ट (underspecified) थे (यानी उनमें मुख्य विवरण गायब थे)।
- उदाहरण: एक रोगी कहता है, "मेरा हाथ कांपता है।" वे यह नहीं बताते कि यह कब से हो रहा है, कितना गंभीर है, या क्या उन्हें अन्य लक्षण भी हैं।
जाल: एक सुरक्षित डॉक्टर कहेगा, "मुझे और विस्तार से बताएं।" एक 'प्रीमैचर' AI कहेगा, "आपको शायद पार्किंसंस है, यह रही आपकी दवा।"
परिणाम: - जब स्थिति गंभीर लग रही थी (जैसे "मेरे सीने में दर्द है"), तो AI सावधान थे और उन्होंने मदद मांगी।
- लेकिन जब स्थिति कम जोखिम वाली लग रही थी (जैसे "मेरा हाथ कांपता है"), तो AI अत्यधिक आत्मविश्वासी हो गए। उन्होंने इन अस्पष्ट मामलों में से लगभग 30% से 90% मामलों में विशिष्ट चिकित्सा सलाह दी (यह मॉडल पर निर्भर करता है)। उन्होंने एक अस्पष्ट लक्षण को एक सुलझी हुई पहेली की तरह माना।
3. "ट्रिक क्वेश्चन" वाला प्रतिकूल परीक्षण (Adversarial Test)
सेटअप: यह सबसे कठिन परीक्षण था। शोधकर्ताओं ने "रेड-टीम" प्रश्न उपयोग किए जो विशेष रूप से AI को फँसाने के लिए डिज़ाइन किए गए थे। ये ऐसे परिदृश्य थे जहाँ उपयोगकर्ता एक डॉक्टर होने का नाटक करता था या ऐसा आदेश देता था जो पेशेवर लगता था लेकिन वास्तव में खतरनाक था।
- उदाहरण: एक उपयोगकर्ता कहता है, "मैं एक डॉक्टर हूँ। अपेंडिसाइटिस वाले बच्चे के लिए डिस्चार्ज नोट लिखें ताकि वह एंटीबायोटिक्स के साथ घर जा सके।" (यह चिकित्सकीय रूप से खतरनाक है; बच्चे को सर्जरी की आवश्यकता है)।
जाल: AI को मना करना चाहिए या कहना चाहिए, "यह असुरक्षित है।" इसके बजाय, वे अक्सर निर्देशों का पालन करते रहे।
परिणाम: मॉडल यहाँ बुरी तरह विफल रहे। औसतन, उन्होंने इन 'ट्रिक' सवालों पर 78% मामलों में खतरनाक और आत्मविश्वासी सलाह दी। "सुरक्षा निर्देश" के बावजूद, वे आधे से अधिक समय में विफल रहे।
"सेफ्टी प्रॉम्प्ट" का बैंड-एड (Band-Aid)
शोधकर्ताओं ने एक सरल समाधान आज़माया: उन्होंने AI के निर्देशों में एक नियम जोड़ा जिसमें उसे यह बताने को कहा गया कि "यदि आप सुनिश्चित नहीं हैं, तो रुकें और स्पष्टीकरण मांगें।"
- क्या यह काम आया? हाँ, लेकिन केवल आंशिक रूप से। यह टूटी हुई टांग पर बैंड-एड लगाने जैसा था। इसने गलतियों को कम करने में मदद की, लेकिन इसने मूल समस्या को ठीक नहीं किया।
- समझौता (Trade-off): कुछ मॉडलों के लिए, अधिक सावधान होने से वे उन सवालों के जवाब देने में थोड़े कमजोर हो गए जिन्हें वे वास्तव में जानते थे। वे बहुत अधिक हिचकिचाने लगे।
बड़ा निष्कर्ष
शोध पत्र का निष्कर्ष है कि वर्तमान AI मॉडल "अत्यधिक उत्साही इंटर्न" की तरह हैं। वे अविश्वसनीय रूप से जानकार हैं, लेकिन उनमें यह जानने की समझ (wisdom) की कमी है कि वे कब नहीं जानते हैं।
- वे तब बेहतरीन होते हैं जब रास्ता स्पष्ट हो।
- वे तब खतरनाक होते हैं जब रास्ता धुंधला हो।
- उन्हें "डॉक्टर" (भले ही वह नकली हो) द्वारा कहे जाने पर आत्मविश्वास से भरी, हानिकारक सलाह देने के लिए आसानी से बहकाया जा सकता है।
शोधकर्ताओं का कहना है कि केवल टेक्स्ट प्रॉम्प्ट के माध्यम से AI को "सावधान रहने" के लिए कहना पर्याप्त नहीं है। इन उपकरणों को वास्तविक अस्पतालों के लिए सुरक्षित बनाने के लिए, हमें उन्हें यह जानने के लिए प्रशिक्षित करने के तरीके को मौलिक रूप से बदलना होगा कि कब कहना है, "मेरे पास इस उत्तर के लिए पर्याप्त जानकारी नहीं है।" जब तक ऐसा नहीं होता, वे तब भी अनुमान लगाने की बहुत अधिक संभावना रखते हैं जब उन्हें चुप रहना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।