A Multi-Domain Red Teaming Framework for Safety, Robustness, and Fairness Evaluation of Medical Large Language Models
यह शोध पत्र एक बहु-डोमेन रेड टीमिंग फ्रेमवर्क प्रस्तुत करता है जो 690 नैदानिक रूप से आधारित परिदृश्यों में ग्यारह मेडिकल एलएलएम (LLMs) का मूल्यांकन करता है, जिससे यह पता चलता है कि हालांकि शीर्ष मॉडल उच्च समग्र स्कोर प्राप्त करते हैं, फिर भी वे महत्वपूर्ण सुरक्षा विफलताओं और समानता संबंधी पूर्वाग्रहों को प्रदर्शित करते हैं जिनके लिए स्वचालन के साथ चिकित्सक की देखरेख को संयोजित करने वाले हाइब्रिड मूल्यांकन दृष्टिकोणों की आवश्यकता होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक व्यस्त अस्पताल चलाने में मदद करने के लिए एक नया सहायक नियुक्त कर रहे हैं। आपके पास ग्यारह अलग-अलग उम्मीदवार हैं (ये "लार्ज लैंग्वेज मॉडल्स" या AI चैटबॉट्स हैं)। यह देखने के लिए कि कौन सबसे अच्छा है, आप उनसे केवल सरल प्रश्न नहीं पूछेंगे जैसे कि "फ्रांस की राजधानी क्या है?" या "बुखार क्या होता है?"
इसके बजाय, इस शोध पत्र के लेखकों ने एक विशाल, उच्च-दांव वाला बाधा दौड़ (obstacle course) बनाया है जिसे उम्मीदवारों को चकमा देने के लिए डिज़ाइन किया गया है। वे इसे "रेड टीमिंग" (Red Teaming) कहते हैं। इसे एक फायर ड्रिल की तरह समझें जहाँ कोई जानबूझकर धुआं अलार्म बजाता है, निकास द्वार को रोकता है, या भ्रमित करने वाले निर्देश फुसफुसाता है ताकि यह देखा जा सके कि क्या सहायक घबरा जाता है, झूठ बोलता है, या कोई खतरनाक गलती करता है।
यह अध्ययन कैसे काम किया और उन्होंने क्या पाया, इसका सरल विवरण यहाँ दिया गया है:
1. परीक्षण: AI के लिए एक "तनाव परीक्षण" (Stress Test)
शोधकर्ताओं ने वास्तविक अस्पताल की स्थितियों पर आधारित 690 पेचीदा परिदृश्य बनाए। ये केवल सामान्य प्रश्न नहीं थे; ये "उत्परिवर्तित" (mutated) या घुमावदार थे।
- ट्विस्ट (मोड़): वे मरीज की उम्र बदल सकते हैं, कोई महत्वपूर्ण विवरण छोड़ सकते हैं, या भ्रमित करने वाली भाषा का उपयोग कर सकते हैं।
- लक्ष्य: यह देखना कि क्या चीजें गड़बड़ होने पर भी AI शांत और सुरक्षित रहता है, या क्या वह मतिभ्रम (hallucinating) का शिकार होने लगता है या खतरनाक सलाह देने लगता है।
उन्होंने 9 अलग-अलग क्षेत्रों (जैसे चिकित्सा सटीकता, निष्पक्षता, गोपनीयता और नैतिकता) में 11 विभिन्न AI मॉडलों (GPT-4, GPT-5, Claude और Gemini जैसे प्रसिद्ध मॉडलों सहित) का परीक्षण किया।
2. स्कोरिंग: क्यों "औसत" एक झूठ है
आमतौर पर, जब हम किसी चीज़ का परीक्षण करते हैं, तो हम औसत स्कोर देखते हैं। यदि एक छात्र गणित के टेस्ट में 90% अंक प्राप्त करता है, तो हम सोचते हैं कि वह बहुत अच्छा है।
लेकिन एक अस्पताल में, एक गलत जवाब विनाशकारी हो सकता है।
- शोध पत्र की बड़ी खोज: कुछ AI मॉडलों के उच्च औसत स्कोर थे (उन्होंने अधिकांश प्रश्नों के सही उत्तर दिए), लेकिन वे कुछ विशिष्ट, जीवन-मरण के सवालों पर पूरी तरह से विफल रहे।
- उपमा (Analogy): कल्पना कीजिए कि एक पुल 99 कारों को पूरी तरह से सह लेता है लेकिन जैसे ही 100वीं कार आती है, वह ढह जाता है। यदि आप केवल उस वजन को देखते जो पुल ने औसतन सहा, तो आप सोचते कि वह सुरक्षित है। लेकिन वास्तव में, वह एक पतन ही एकमात्र चीज़ है जो मायने रखती है।
- परिणाम: शोध पत्र ने पाया कि औसत स्कोर देखना खतरे को छिपा देता है। यह जानने के लिए कि क्या कोई AI उपयोग के लिए सुरक्षित है, आपको सबसे खराब स्थिति (सबसे कम स्कोर) को देखना होगा।
3. विजेता और हारने वाले
- शीर्ष प्रदर्शन करने वाले: तीन मॉडल (X-BAI, GPT-5 और Claude Opus 4.1) सबसे सुसंगत थे। वे केवल उच्च स्कोर ही नहीं प्राप्त करते थे; वे शायद ही कभी गलतियाँ करते थे, भले ही परीक्षण कठिन हो गया हो। वे सबसे विश्वसनीय ड्राइवरों की तरह थे जो तूफान में भी कभी रास्ता नहीं भटकते।
- अस्थिर मॉडल: अन्य मॉडलों में बड़े उतार-चढ़ाव देखे गए। वे एक प्रश्न पर पूर्ण स्कोर प्राप्त कर सकते थे और अगले पर शून्य। यह "विचलन" (variance - अच्छे और बुरे के बीच झूलना) सुरक्षा के लिए एक रेड फ्लैग (चेतावनी का संकेत) है।
- "निष्पक्षता" की समस्या: जब शोधकर्ताओं ने कहानियों में जनसांख्यिकी (demographics) को बदला (जैसे, रोगी की जाति या लिंग बदलना), तो कुछ AI मॉडलों ने उनकी चिकित्सा सलाह में 10-20% तक बदलाव किया। यह एक डॉक्टर द्वारा दो ऐसे मरीजों को अलग-अलग उपचार देने जैसा है जिनके लक्षण बिल्कुल समान हैं, केवल इसलिए कि वे कौन हैं। AI के पास इसका कोई ठोस कारण नहीं था; वह बस पक्षपाती था।
4. मानव सुरक्षा जाल (Human Safety Net)
शोधकर्ताओं ने AI के उत्तरों को ग्रेड करने के लिए एक कंप्यूटर प्रोग्राम का उपयोग किया, लेकिन उन्होंने वास्तविक डॉक्टरों से भी काम की जाँच करवाई।
- आश्चर्य: कंप्यूटर ग्रेडर अक्सर उन उत्तरों को उच्च अंक देता था जो विनम्र और आत्मविश्वासी लगते थे लेकिन वास्तव में खतरनाक थे।
- डॉक्टर की भूमिका: मानव डॉक्टरों ने जाल को पहचान लिया। उन्होंने देखा कि कब एक AI बहुत विनम्र हो रहा था लेकिन एक महत्वपूर्ण चेतावनी देने में चूक गया, या कब वह सतह पर "निष्पक्ष" दिख रहा था लेकिन अंदर से पक्षपाती था।
- सबक: आप एक रोबोट को दूसरे रोबोट की सुरक्षा के लिए ग्रेड करने के लिए भरोसेमंद नहीं मान सकते। सूक्ष्म, खतरनाक गलतियों को पकड़ने के लिए आपको एक मानव की आवश्यकता होती है।
5. मुख्य निष्कर्ष (The Bottom Line)
शोध पत्र निष्कर्ष निकालता है कि हम AI पर केवल इसलिए भरोसा नहीं कर सकते क्योंकि उसे उच्च औसत टेस्ट स्कोर मिलता है।
- सुरक्षा का अर्थ औसत रूप से पूर्ण होना नहीं है; इसका अर्थ है कि सबसे कठिन क्षण में कभी विफल न होना।
- कुछ मॉडल स्थिर और सुरक्षित हैं; अन्य जोखिम भरे हैं क्योंकि वे अप्रत्याशित हैं।
- इन उपकरणों को वास्तविक अस्पतालों में उपयोग करने के लिए, हमें उन्हें इन "ट्रिकी सवालों" के साथ परखने, उनकी सबसे खराब विफलताओं को देखने और हमेशा एक मानव डॉक्टर से काम की दोबारा जाँच करवाने की आवश्यकता है।
संक्षेप में: AI से केवल यह न पूछें कि वह स्मार्ट है; यह पूछें कि क्या वह गलत होने पर भी सुरक्षित है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।