Judge-dependent safety gains and model-specific helpfulness costs of evidence-sufficiency prompting in clinical LLMs
यह अध्ययन प्रदर्शित करता है कि जहाँ साक्ष्य-पर्याप्तता प्रॉम्पटिंग (evidence-sufficiency prompting) नैदानिक एलएलएम (clinical LLMs) में असुरक्षित अति-आत्मविश्वास को महत्वपूर्ण रूप से कम करती है, वहीं इस सुरक्षा लाभ का परिमाण जज-निर्भर होता है और अक्सर नैदानिक उपयोगिता के लिए मॉडल-विशिष्ट भारी लागत भी उत्पन्न करता है, जो यह संकेत देता है कि ऐसे सुरक्षा सुधारों को अंशांकित पूर्ण दरों (calibrated absolute rates) के बजाय सापेक्ष दिशात्मक रुझानों के रूप में रिपोर्ट किया जाना चाहिए।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान रोबोट को डॉक्टर बनना सिखा रहे हैं। आप चाहते हैं कि वह मददगार हो, और जब उसके पास तथ्य हों तो बेहतरीन सलाह दे। लेकिन आप यह भी चाहते हैं कि वह सुरक्षित हो, जिसका अर्थ है कि वह बिना सोचे-समझे अंदाज़ न लगाए या तब आत्मविश्वास से निदान (diagnosis) न दे जब उसके पास महत्वपूर्ण जानकारी, जैसे कि बुखार या रक्त परीक्षण का परिणाम, गायब हो। आर्टिफिशियल इंटेलिजेंस की दुनिया में, यह एक कठिन संतुलन बनाने जैसा है। हमारे पास ये "लार्ज लैंग्वेज मॉडल्स" (LLMs) हैं जो इंसानों की तरह बात कर सकते हैं, और हमें यह परीक्षण करने की आवश्यकता है कि क्या वे वास्तविक डॉक्टरों की मदद करने के लिए पर्याप्त सुरक्षित हैं। इसे करने के लिए, वैज्ञानिक एक "जज" (न्यायाधीश) का उपयोग करते हैं—एक अन्य AI जो रोबोट के उत्तरों को पढ़ता है और उसे एक स्कोर देता है। लेकिन असली सवाल यह है: क्या रोबोट वास्तव में अपना व्यवहार सुरक्षित होने के लिए बदल रहा है, या वह केवल जज को अच्छा स्कोर देने के लिए धोखा देने का तरीका सीख रहा है? यह अध्ययन इस रहस्य की गहराई में जाता है, यह पूछता है कि क्या एक सरल ट्रिक (एक विशेष प्रॉम्प्ट) वास्तव में मेडिकल AI को सुरक्षित बनाती है, या सुरक्षा स्कोर केवल जज के अपने पूर्वाग्रहों द्वारा बनाया गया एक भ्रम है।
इस शोधकर्ताओं ने एक विशाल, उच्च-दांव वाले "अंतर पहचानो" (spot the difference) के खेल की रूपरेखा तैयार की। उन्होंने चार सबसे स्मार्ट मेडिकल AI मॉडल्स (GPT-5.5, Claude Opus 4.8, Gemini 3.5 Flash, और Grok 4.3) को लिया और उनसे 1,200 पेचीदा चिकित्सा प्रश्न पूछे। आधे समय, उन्होंने मॉडल्स से सामान्य रूप से प्रश्न पूछे। दूसरे आधे समय, उन्होंने मॉडल्स को एक विशेष "एविडेंस-सफिशिएंसी रैपर" (साक्ष्य-पर्याप्तता आवरण) दिया—इसे एक सख्त नियम पुस्तिका की तरह समझें जिसने AI को यह सूचीबद्ध करने के लिए मजबूर किया कि उसके पास क्या सबूत हैं, क्या गायब है, और यह स्वीकार करने के लिए कि उसके पास निदान करने के लिए पर्याप्त जानकारी नहीं है।
परिणाम अच्छे समाचार और एक बहुत ही महत्वपूर्ण चेतावनी का मिश्रण थे। जब प्राथमिक AI जज (GPT-5.4-nano) ने उत्तरों को ग्रेड किया, तो विशेष नियम पुस्तिका ने कमाल कर दिया। इसने "असुरक्षित, अति-आत्मविश्वासी" उत्तरों की संख्या को लगभग आधा कर दिया, जो 49.3% से गिरकर 24.7% रह गई। यह एक बड़ी गिरावट थी! इसका मतलब था कि मॉडल अंततः कह रहे थे, "मुझे निश्चित होने के लिए पर्याप्त जानकारी नहीं है," बजाय इसके कि वे केवल अनुमान लगाते रहें।
हालाँकि, कहानी तब उलझ जाती है जब आप रेफरी को बदलते हैं। शोधकर्ताओं ने उन्हीं उत्तरों को ग्रेड करने के लिए एक अलग जज (Claude Sonnet 5) को बुलाया। इस नए जज ने भी सहमति जताई कि मॉडल्स सुरक्षित थे, लेकिन उसने सोचा कि सुधार केवल आधा ही था। 24.7 अंकों की गिरावट के बजाय, उसने केवल 13.1 अंकों की गिरावट देखी। यह साबित करता है कि "सुरक्षा स्कोर" एक निश्चित, पूर्ण संख्या नहीं है जैसे कि थर्मामीटर की रीडिंग; यह इस पर बहुत अधिक निर्भर करता है कि कौन सा AI निर्णय ले रहा है। प्राथमिक जज एक बहुत ही संवेदनशील स्मोक अलार्म की तरह था: इसने लगभग कभी भी वास्तविक आग को मिस नहीं किया (इसने हर असुरक्षित उत्तर को पकड़ा), लेकिन इसने कई सुरक्षित उत्तरों को भी असुरक्षित के रूप में चिह्नित किया (जैसे जले हुए टोस्ट के लिए अलार्म बज जाना)।
एक और पकड़ भी थी: सुरक्षित होने की एक कीमत चुकानी पड़ी। "सुरक्षा नियम पुस्तिका" ने मॉडल्स को अधिक सतर्क बना दिया, लेकिन कभी-कभी बहुत अधिक सतर्क। जब मॉडल्स से ऐसे प्रश्न पूछे गए जिनका वे वास्तव में उत्तर दे सकते थे, तो नियम पुस्तिका ने उन्हें निदान देने से हिचकिचाने और मना करने के लिए अधिक मजबूर किया। एक मॉडल के लिए, Gemini 3.5 Flash, यह एक आपदा थी। इसकी सही निदान देने की क्षमता 75% से गिरकर केवल 17% रह गई। वह गलत होने से इतना डर गया कि उसने मददगार होना बंद कर दिया। एक अन्य मॉडल, GPT-5.5, ने इस संतुलन को बहुत बेहतर तरीके से संभाला, जिसने अपनी सटीकता को लगभग खोए बिना सुरक्षा प्राप्त की।
शोधकर्ताओं ने यह भी सुनिश्चित किया कि मॉडल्स केवल जज द्वारा पसंद किए जाने वाले विशेष प्रारूप (format) की नकल करके "दिखावा" नहीं कर रहे हैं। उन्होंने एक कंट्रोल ग्रुप बनाया जहाँ मॉडल्स ने वही फैंसी हेडिंग्स का उपयोग किया लेकिन उन्हें फिर भी एक निश्चित उत्तर देने के लिए कहा गया। उस समूह में मॉडल्स ने अभी भी खराब, असुरक्षित उत्तर दिए, जिससे यह साबित हुआ कि सुरक्षा में वृद्धि निर्देश के कारण आई थी, न कि केवल सही शब्दों के उपयोग से।
अंत में, यह पेपर यह नहीं कहता कि हमारे पास मेडिकल AI को पूरी तरह से सुरक्षित बनाने वाला कोई जादुई बटन है। इसके बजाय, यह हमें दिखाता है कि सुरक्षा स्कोर सापेक्ष (relative) होते हैं। एक जज के लिए "सुरक्षित" दिखने वाला AI दूसरे के लिए जोखिम भरा लग सकता है। सबसे अच्छा दृष्टिकोण एक एकल संख्या पर भरोसा करना नहीं है, बल्कि परिवर्तन की दिशा को देखना है: विशेष प्रॉम्प्ट वास्तव में मॉडल्स को अधिक सावधानी से कार्य करने और छूटी हुई जानकारी के लिए पूछने के लिए प्रेरित करता है, लेकिन यह कुछ मॉडल्स के लिए उन्हें कम मददगार भी बनाता है। इससे पहले कि हम इन रोबोट्स को एक वास्तविक अस्पताल में जाने दें, हमें यह सटीक रूप से जानने की आवश्यकता है कि हम किस मॉडल का उपयोग कर रहे हैं और हम किस जज पर भरोसा कर रहे हैं, क्योंकि सुरक्षित होने और मददगार होने के बीच का संतुलन हर एक रोबोट के लिए अलग होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।