Preferred, Not Safer: Pairwise Preference Is a Poor Proxy for Clinical Safety

कल्पना कीजिए कि आप एक नए अस्पताल के कैफेटेरिया के लिए सबसे अच्छा शेफ चुनने की कोशिश कर रहे हैं। आपके पास प्रसिद्ध शेफ की एक सूची है, और आप डॉक्टरों के एक समूह से उनके व्यंजनों को चखने के लिए कहते हैं। डॉक्टर इस बात पर वोट देते हैं कि कौन सा प्लेट दिखने में सबसे स्वादिष्ट है और उस क्षण में स्वाद में सबसे अच्छा है। स्वाभाविक रूप से, आप यह मान लेते हैं कि जिस शेफ को सबसे अधिक वोट मिले हैं, वही सबसे सुरक्षित और भरोसेमंद है जिसे काम पर रखा जाना चाहिए। लेकिन क्या होगा यदि सबसे "अच्छी दिखने वाली" डिश वास्तव में एक्सपायर्ड सामग्री से बनी हो, या सबसे "आत्मविश्वासी" शेफ केवल खाना परोसते समय अपने भोजन के बारे में बात करने में बहुत कुशल हो जबकि वह कुछ खतरनाक परोस रहा हो? यह लार्ज लैंग्वेज मॉडल्स (LLMs) की पेचीदा दुनिया है—सुपर-स्मार्ट कंप्यूटर प्रोग्राम जो इंसानों की तरह लिख सकते हैं, चैट कर सकते हैं और समस्याओं को हल कर सकते हैं। वैज्ञानिक पेयरवाइज प्रेफरेंस (pairwise preferences) (विशेषज्ञों से "A या B" चुनने के लिए पूछना) का उपयोग यह पता लगाने के लिए करते हैं कि कौन सा AI "सबसे अच्छा" है। लेकिन चिकित्सा जैसे उच्च-जोखिम वाले क्षेत्रों में, "पसंदीदा" होने का मतलब हमेशा यह नहीं होता कि वह सबसे "सुरक्षित" भी है। यदि कोई AI गलत चिकित्सा उत्तर देता है लेकिन वह इसे बहुत शानदार शैली के साथ देता है, तो वह वोट जीत सकता है, भले ही वह मरीज को नुकसान पहुँचा सकता हो। यह शोध पत्र एक महत्वपूर्ण प्रश्न पूछता है: जब डॉक्टर उस AI को चुनते हैं जिसे वे सबसे अधिक पसंद करते हैं, तो क्या वे वास्तव में उसे चुन रहे होते हैं जो खतरनाक गलतियाँ नहीं करेगा?

इस अध्ययन के पीछे के शोधकर्ताओं ने, जो स्विट्जरलैंड की LiGHT प्रयोगशाला में कार्यरत हैं, इस धारणा का परीक्षण करने का निर्णय लिया और इसके लिए MOOVE (मैसिव ओपन ऑनलाइन वैलिडेशन एंड इवैल्यूएशन) नामक एक विशाल प्लेटफॉर्म का उपयोग किया। उन्होंने 28 से अधिक देशों के 736 से अधिक डॉक्टरों को जज के रूप में इकट्ठा किया। इन डॉक्टरों ने 13 अलग-अलग AI मॉडल देखे और उन्हें एक 'ब्लाइंड टेस्ट' (पेयरवाइज प्रेफरेंस) में चुनना था कि कौन सी प्रतिक्रिया बेहतर थी। लेकिन यहाँ एक मोड़ है: वोट देते समय, डॉक्टरों ने प्रत्येक उत्तर को एक सख्त सुरक्षा स्कोर भी दिया, जो -2 (बहुत खतरनाक) से +2 (बहुत सुरक्षित) तक की रिपोर्ट कार्ड की तरह था। उन्होंने दो विशिष्ट चीजों की जांच की: हार्मलेसनेस (Harmlessness) (क्या AI ने कुछ जोखिम भरा सुझाव दिया?) और एक्यूरेसी (Accuracy) (क्या चिकित्सा तथ्य सही थे?)।

परिणाम चौंकाने वाले थे। अध्ययन में पाया गया कि जिन AI मॉडलों ने सबसे अधिक "लोकप्रियता वोट" जीते, उनमें अक्सर खतरनाक त्रुटियों की दर भी सबसे अधिक थी। यह एक ऐसे छात्र की तरह है जिसे उसकी लिखावट और आत्मविश्वास के लिए 'A' ग्रेड मिलता है, लेकिन वह गणित के टेस्ट में फेल हो जाता है क्योंकि उसने नंबर गलत लिखे थे। वास्तव में, शोधकर्ताओं ने पाया कि अध्ययन में शीर्ष-रैंक वाला मॉडल (GPT-OSS) में हार्मलेसनेस की विफलता दर 18.0% थी, जिसका अर्थ है कि उसके द्वारा दिए गए लगभग हर पांच में से एक उत्तर संभावित रूप से असुरक्षित था। वहीं, डेटासेट में एक अधिक सतर्क, कम "चमकदार" मॉडल की विफलता दर बहुत कम 7.2% थी, फिर भी वह लोकप्रियता की दौड़ में बहुत नीचे रहा। अध्ययन नोट करता है कि चूंकि इन मॉडल्स का परीक्षण विभिन्न प्रकार के चिकित्सा प्रश्नों पर किया गया था, इसलिए हम यह नहीं कह सकते कि एक दूसरे के मुकाबले स्पष्ट रूप से "बेहतर" है, लेकिन यह अंतर एक महत्वपूर्ण चेतावनी देता है: जिन मॉडलों को लोगों ने सबसे अधिक पसंद किया, वे आवश्यक रूप से वे नहीं थे जिनका ट्रैक रिकॉर्ड सबसे सुरक्षित था। अध्ययन बताता है कि डॉक्टर अक्सर सतही विशेषताओं (surface-level features) से धोखा खा जाते थे: जिस AI ने लंबे, अधिक विस्तृत और अधिक आत्मविश्वासी दिखने वाले उत्तर लिखे, उसने वोट जीते, भले ही वे उत्तर चिकित्सकीय रूप से गलत या जोखिम भरे थे।

शोधकर्ताओं ने गहराई से जांच की कि ऐसा क्यों हुआ। उन्होंने पाया कि "सेफ्टी सिग्नल" (वास्तविक चिकित्सा शुद्धता) अक्सर "स्टाइल सिग्नल" (पाठ कितना लंबा और स्पष्ट दिखता है) के नीचे दब जाता था। उनके विश्लेषण में, उत्तर की लंबाई और स्पष्टता ने सुरक्षा के वास्तविक तथ्य की तुलना में यह समझाने में थोड़ा अधिक योगदान दिया कि डॉक्टर ने विजेता को क्यों चुना। यह वैसा ही है जैसे जज उस शेफ को वोट दे रहे हों जिसने मेनू का सबसे लंबा विवरण लिखा, इस बात को नजरअंदाज करते हुए कि सूप ठंडा था।

इससे भी अधिक चिंताजनक बात यह है कि अध्ययन ने दिखाया कि ये जोखिम समान रूप से वितरित नहीं हैं; वे विशिष्ट "नो-गो ज़ोन" (no-go zones) में केंद्रित हैं। उदाहरण के लिए, जब AI ने हार्ट मॉनिटर इमेज (ECG) को पढ़ने की कोशिश की, तो यह 89.9% बार विफल रहा। अन्य क्षेत्रों में, जैसे सामान्य सर्जरी में, यह लगभग पूर्ण था। इसका मतलब है कि एक वैश्विक "लीडरबोर्ड" जो केवल यह कहता है कि "मॉडल X नंबर 1 है" खतरनाक है क्योंकि यह इस तथ्य को छिपा देता है कि मॉडल X विशिष्ट, महत्वपूर्ण स्थितियों में एक आपदा हो सकता है।

इसे ठीक करने के लिए, लेखक इन मॉडल्स को रैंक करने का एक नया तरीका प्रस्तावित करते हैं। केवल यह गिनने के बजाय कि किसने सबसे अधिक वोट जीते, वे एक सेफ्टी-एडजस्टेड लीडरबोर्ड (Safety-Adjusted Leaderboard) का सुझाव देते हैं। यह प्रणाली लोकप्रियता के वोटों को लेगी और फिर उनकी सख्त सुरक्षा स्कोर के साथ जांच करेगी। यदि कोई AI एक वोट जीतता है लेकिन उसने एक खतरनाक उत्तर दिया है, तो उसकी रैंक को कम कर दिया जाएगा। जब उन्होंने इस सुधार को लागू किया, तो रैंकिंग नाटकीय रूप से बदल गई। जो मॉडल पहले निचले स्तर पर थे, वे ऊपर आ गए क्योंकि वे वास्तव में अधिक सुरक्षित थे, जबकि "चमकदार" विजेता नीचे गिर गए।

यह शोध पत्र निष्कर्ष निकालता है कि हम चिकित्सा उपयोग के लिए AI के सुरक्षित होने के बारे में बताने के लिए "लोकप्रियता प्रतियोगिताओं" पर भरोसा नहीं कर सकते। सिर्फ इसलिए कि एक AI अच्छा सुनाई देता है या स्मार्ट दिखता है, इसका मतलब यह नहीं है कि वह विश्वसनीय है। शोधकर्ता सुझाव देते हैं कि एक एकल "सर्वश्रेष्ठ" मॉडल खोजने के बजाय, हमें विशिष्ट विफलता दरों को देखने की आवश्यकता है और इस बारे में ईमानदार होना चाहिए कि AI कहाँ विफल हो सकता है। वे चेतावनी देते हैं कि सरल प्राथमिकता स्कोर पर भरोसा करना एक पायलट को इसलिए चुनने जैसा है क्योंकि उसकी आवाज बहुत सुरीली है, बिना यह जांचे कि क्या वह वास्तव में विमान उड़ा सकता है। मेडिकल AI की दुनिया में, सबसे अधिक पसंद किया जाना, सबसे सुरक्षित होने के समान नहीं है।