Aggregate benchmark scores obscure patient safety implications of errors across frontier language models
यह अध्ययन प्रदर्शित करता है कि समग्र बेंचमार्क स्कोर स्वास्थ्य सेवा के लिए फ्रंटियर लैंग्वेज मॉडल्स में महत्वपूर्ण रोगी सुरक्षा जोखिमों को पकड़ने में विफल रहते हैं, क्योंकि मॉडल्स के बीच त्रुटि की दिशात्मकता, प्रासंगिक पूर्वाग्रह और संकट प्रतिक्रिया में महत्वपूर्ण और अप्रत्याशित भिन्नताएं यह प्रकट करती हैं कि समग्र सटीकता अकेले नैदानिक सुरक्षा का पूर्वानुमान नहीं लगा सकती।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कार खरीद रहे हैं। सेल्सपर्सन आपको एक ब्रोशर दिखाता है जिसमें एक बड़ा, चमकता हुआ स्टार रेटिंग है: "95% सुरक्षित!" आप आश्वस्त महसूस करते हैं और उसे खरीद लेते हैं। लेकिन बाद में, आपको पता चलता है कि हालांकि कार शायद ही कभी दुर्घटनाग्रस्त होती है, लेकिन जब यह विफल होती है, तो इसकी एक अजीब आदत है कि यह किसी पेड़ से टकराने के बजाय सीधे खाई में चली जाती है।
यह बिल्कुल वैसा ही है जैसा कि यह शोध पत्र हमें स्वास्थ्य सलाह के लिए उपयोग किए जाने वाले AI चैटबॉट्स के संबंध में चेतावनी दे रहा है।
यहाँ इस शोध का सरल शब्दों में विवरण दिया गया है:
1. "औसत स्कोर" का जाल
अभी, जब कंपनियाँ नए AI मॉडल (जैसे GPT-5 या Claude) जारी करती हैं, तो वे हमें यह बताने के लिए एक एकल "बेंचमार्क स्कोर" देती हैं कि वे कितने अच्छे हैं। यह यह कहने जैसा है कि एक डॉक्टर "85% सटीक" है।
शोधकर्ता कहते हैं कि यह खतरनाक है। चिकित्सा में, औसत से अधिक दिशा मायने रखती है।
- अंडर-ट्राइएज (खाई): AI कहता है, "आप ठीक हैं, घर जाइए," जबकि वास्तव में आपको तुरंत इमरजेंसी (ER) की आवश्यकता होती है। यह घातक है।
- ओवर-ट्राइएज (पेड़): AI कहता है, "तुरंत इमरजेंसी में जाएँ," जबकि आपको सिर्फ एक पट्टी की जरूरत थी। यह कष्टदायक है और पैसा बर्बाद करता है, लेकिन यह आमतौर पर जानलेवा नहीं होता।
शोध में पाया गया कि दो AI मॉडल दोनों का "85% सटीकता" का स्कोर हो सकता है, लेकिन एक "सुरक्षित" मॉडल हो सकता है जो ज्यादातर लोगों को अनावश्यक रूप से इमरजेंसी भेज देता है, जबकि दूसरा एक "खतरनाक" मॉडल हो सकता है जो जीवन-घातक आपात स्थितियों को पहचानने में चूक जाता है। औसत स्कोर एक परेशानी और एक त्रासदी के बीच के अंतर को छिपा देता है।
2. "परिवार के सदस्य" का प्रभाव
शोधकर्ताओं ने एक विशिष्ट ट्रिक के साथ AI का परीक्षण किया: उन्होंने AI को एक परिदृश्य की कल्पना करने के लिए कहा जहाँ एक दोस्त या परिवार के सदस्य ने कहा, "ओह, चिंता मत करो, यह शायद कुछ भी नहीं है।"
परिणाम: लगभग हर AI मॉडल इस आश्वासन के प्रभाव में आ गया। भले ही लक्षण डरावने थे, यदि एक "दोस्त" ने उन्हें कम करके आंका, तो AI के इस बात की संभावना बहुत बढ़ गई कि वह कहेगा, "हाँ, आप शायद ठीक हैं," और मरीज को घर भेज देगा। यह एक ऐसे डॉक्टर की तरह है जो आपके दर्द को सुनना बंद कर देता है क्योंकि आपका दोस्त कहता है, "वह बस नाटक कर रहा है।"
3. "आत्महत्या" की चुप्पी
टीम ने यह भी परीक्षण किया कि AI आत्महत्या के बारे में पूछे गए सवालों को कैसे संभालता है।
- समस्या: जब लोगों ने आत्महत्या के बारे में पूछा, तो AI अक्सर इमरजेंसी हेल्पलाइन नंबर (जैसे अमेरिका में 988) देना भूल गया।
- आश्चर्य: इससे कोई फर्क नहीं पड़ा कि व्यक्ति अपने प्लान के बारे में बहुत विशिष्ट था या केवल अस्पष्ट था। AI असंगत था। कभी-कभी वह नंबर देता था; कभी-कभी वह केवल सामान्य सलाह देता था। यह एक लाइफगार्ड की तरह है जो कभी डूबते हुए तैराक को रस्सी फेंकता है और कभी केवल चिल्लाता है, "ज़ोर से तैरने की कोशिश करो!"
4. "नया होने का मतलब हमेशा बेहतर होना नहीं" का नियम
आप सोच सकते हैं, "ज़रूर पुराना मॉडल ही सबसे सुरक्षित होगा क्योंकि वह नया है।"
शोधकर्ताओं ने नवीनतम मॉडलों (जैसे GPT-5.4) का पुराने मॉडलों के मुकाबले परीक्षण किया।
- झटका: नवीनतम मॉडल ने वास्तव में एक थोड़े पुराने संस्करण की तुलना में आपात स्थितियों को मिस करने में अधिक गलतियाँ कीं।
- सबक: सिर्फ इसलिए कि कोई मॉडल "नया" है या उसका "कुल स्कोर" अधिक है, इसका मतलब यह नहीं है कि वह अधिक सुरक्षित है। वास्तव में, यह उन विशिष्ट चीजों को पहचानने में बदतर हो सकता है जो लोगों को मार देती हैं।
मुख्य निष्कर्ष
यह शोध पत्र तर्क देता है कि हमें स्वास्थ्य उपकरणों के लिए AI के एकल "स्टार रेटिंग" को देखना बंद करना चाहिए।
इसके बजाय, हमें विस्तृत रिपोर्ट कार्ड देखना चाहिए:
- यह कितनी बार हार्ट अटैक को मिस करता है?
- यह कितनी बार सिरदर्द पर घबरा जाता है?
- क्या यह भ्रमित हो जाता है यदि कोई दोस्त कहता है "यह कुछ भी नहीं है"?
उपमा:
कल्पना कीजिए कि आप एक बैंक के लिए सुरक्षा गार्ड रख रहे हैं।
- वर्तमान विधि: आप पूछते हैं, "आप कितनी बार चोरों को पकड़ते हैं?" गार्ड कहता है, "99% समय!" आप उसे काम पर रख लेते हैं।
- वास्तविकता: आप पाते हैं कि वह 1% जिसे वह मिस करता है, वे वे लोग हैं जो पूरी तिजोरी चुरा रहे हैं, और वह उन्हें मुस्कुराते हुए सामने के दरवाजे से बाहर जाने देता है। इस बीच, वह केवल उनकी आईडी चेक करने के लिए दिन में 100 निर्दोष लोगों को रोकता है (ओवर-ट्राइएज)।
"99% स्कोर" बहुत अच्छा दिखता है, लेकिन उसकी गलतियों की दिशा उसे एक बुरा गार्ड बनाती है।
निष्कर्ष: हम केवल इसलिए AI पर अपने स्वास्थ्य के लिए भरोसा नहीं कर सकते क्योंकि उसका स्कोर अधिक है। हमें यह जानने की ज़रूरत है कि वह वास्तव में कैसे विफल होता है, इससे पहले कि हम इसे यह तय करने दें कि हमें अस्पताल जाने की आवश्यकता है या नहीं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।