Safety and accuracy follow different scaling laws in clinical large language models
यह शोध पत्र SaFE-Scale फ्रेमवर्क और RadSaFE-200 बेंचमार्क को पेश करता है ताकि यह प्रदर्शित किया जा सके कि क्लिनिकल LLM सुरक्षा स्केलिंग का एक निष्क्रिय उपोत्पाद नहीं है, बल्कि एक परिनियोजन-निर्भर (deployment-dependent) गुण है जहाँ उच्च गुणवत्ता वाले साक्ष्य खतरनाक त्रुटियों को महत्वपूर्ण रूप से कम करते हैं, जबकि मानक रिट्रीवल और बढ़ी हुई कंप्यूट इन सुरक्षा लाभों को दोहराने में विफल रहती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: बड़ा होना हमेशा सुरक्षित नहीं होता
कल्पना कीजिए कि आप मरीजों का निदान करने में मदद के लिए मेडिकल छात्रों की एक टीम को काम पर रख रहे हैं। आप यह मान सकते हैं कि यदि आप "सबसे बुद्धिमान" छात्र (सबसे बड़ा AI मॉडल) को काम पर रखते हैं या उन्हें पढ़ने के लिए एक विशाल लाइब्रेरी देते हैं (अधिक डेटा), तो वे स्वतः ही कम खतरनाक गलतियाँ करेंगे।
यह शोध पत्र तर्क देता है कि यह धारणा गलत है। चिकित्सा की इस उच्च-जोखिम वाली दुनिया में, केवल एक मॉडल को "स्मार्टर" या "बड़ा" बनाने से यह गारंटी नहीं मिलती कि वह सुरक्षित होगा। एक मॉडल औसत रूप से बहुत सटीक हो सकता है, लेकिन फिर भी वह कुछ भयानक रूप से आत्मविश्वासी और खतरनाक गलतियाँ कर सकता है।
शोधकर्ताओं ने एक नया परीक्षण मैदान बनाया जिसे RadSaFE-200 कहा जाता है (इसे मेडिकल AI के लिए एक "सेफ्टी ड्राइविंग टेस्ट" की तरह समझें) यह देखने के लिए कि वास्तव में इन AI सिस्टमों को क्या सुरक्षित बनाता है। उन्होंने छह अलग-अलग परिदृश्यों के तहत 34 विभिन्न AI मॉडलों का परीक्षण किया।
छह परिदृश्य: हमने AI का परीक्षण कैसे किया
शोधकर्ताओं ने केवल AI से प्रश्न नहीं पूछे; उन्होंने यह बदला कि AI को उत्तर देने की अनुमति कैसे दी गई। इन्हें छह अलग-अलग तरीकों के रूप में कल्पना करें जिनसे एक छात्र परीक्षा दे सकता है:
- क्लोज्ड-बुक (Closed-Book): छात्र को केवल अपनी याददाश्त के आधार पर उत्तर देना होगा। कोई नोट्स की अनुमति नहीं है।
- क्लीन एविडेंस (Clean Evidence): छात्र को परीक्षा से ठीक पहले तथ्यों का एक आदर्श, स्पष्ट और डॉक्टर द्वारा लिखित सारांश दिया जाता है।
- कॉन्फ्लिक्ट एविडेंस (Conflict Evidence): छात्र को आदर्श सारांश दिया जाता है, लेकिन कोई चुपके से उसमें एक भ्रमित करने वाला या विरोधाभासी वाक्य डाल देता है।
- स्टैंडर्ड सर्च (RAG): छात्र को एक अव्यवस्थित, बिना छँटे हुए विश्वकोश (Radiopaedia) में उत्तर खोजने की अनुमति है, लेकिन उसे शोर (noise) को फ़िल्टर करना नहीं आता।
- एजेंट सर्च (Agentic RAG): छात्र के पास एक स्मार्ट सहायक है जो विश्वकोश में खोज करता है, परिणामों को पढ़ता है, और छात्र के लिए उनका सारांश तैयार करता है।
- मैक्स कॉन्टेक्स्ट (Max Context): छात्र को पूरा विश्वकोश उनके सामने ढेर कर दिया जाता है, इस उम्मीद में कि वे उस अराजकता के बीच सही पन्ना ढूंढ लेंगे।
आश्चर्यजनक परिणाम
1. "क्लीन एविडेंस" की सुपरपावर
सबसे बड़ी खोज यह थी कि AI को उच्च-गुणवत्ता वाले, डॉक्टर द्वारा लिखे गए तथ्य देना ही एकमात्र चीज़ थी जिसने सुरक्षा समस्याओं को वास्तव में ठीक किया।
- उपमा (Analogy): एक छात्र की कल्पना करें जो परीक्षा दे रहा है। यदि आप उसे नोबेल पुरस्कार विजेता डॉक्टर द्वारा लिखा गया एक 'चीट शीट' देते हैं, तो वह लगभग सब कुछ सही करता है और शायद ही कभी खतरनाक गलतियाँ करता है।
- डेटा: जब AI को यह "क्लीन एविडेंस" मिला, तो इसकी सटीकता 73.5% से बढ़कर 94.1% हो गई। इससे भी महत्वपूर्ण बात यह है कि खतरनाक त्रुटियाँ 12% से घटकर केवल 2.6% रह गईं।
2. "सर्च" का जाल
शोधकर्ताओं ने सोचा था कि AI को इंटरनेट (Search/RAG) तक पहुँच देना या एक स्मार्ट सहायक (Agent) देना इसे सुरक्षित बना देगा।
- उपमा: यह एक छात्र को एक अव्यवस्थित लाइब्रेरी देने जैसा है। वे सही किताब पा सकते हैं, लेकिन वे एक भ्रमित करने वाला ब्लॉग पोस्ट भी पढ़ सकते हैं और गलत उत्तर के बारे में आत्मविश्वासी हो सकते हैं।
- परिणाम: "सर्च" विधियों ने सटीकता में थोड़ा सुधार किया, लेकिन वे सुरक्षा समस्याओं को ठीक नहीं कर सके। AI अभी भी खतरनाक गलतियाँ करता रहा, और कभी-कभी यह उन गलत उत्तरों के बारे में और भी अधिक आत्मविश्वासी हो जाता था।
3. "बिग ब्रेन" का मिथक
उन्होंने छोटे से लेकर विशाल (कुछ सौ अरब पैरामीटर्स वाले) मॉडलों का परीक्षण किया।
- उपमा: आप सोच सकते हैं कि एक जीनियस PhD छात्र एक हाई स्कूल के छात्र की तुलना में अधिक सुरक्षित है। लेकिन इस परीक्षण में, PhD छात्र ने भी वही विशिष्ट, खतरनाक गलतियाँ कीं जो एक हाई स्कूल के छात्र ने की थीं, यदि उनके पास सही नोट्स नहीं थे।
- परिणाम: मॉडल को बड़ा बनाना अपने आप में सुरक्षित नहीं बनाता है। मॉडल के "दिमाग" के आकार से कहीं अधिक महत्वपूर्ण उसे दिए गए सूचना की गुणवत्ता थी।
4. आत्मविश्वास का जाल (Confidence Trap)
एक डरावनी खोज आत्मविश्वास (Confidence) के बारे में थी।
- उपमा: एक छात्र की कल्पना करें जो एक प्रश्न का गलत उत्तर देता है लेकिन कहता है, "मुझे पूरा विश्वास है कि मैं सही हूँ!" और चेहरे पर गंभीर भाव रखता है।
- परिणाम: AI अक्सर गलत होने पर भी खतरनाक रूप से अति-आत्मविश्वासी था। इससे कोई फर्क नहीं पड़ता था कि मॉडल छोटा है या बड़ा; जब इसने कोई उच्च-जोखिम वाली मेडिकल त्रुटि की, तो वह आमतौर पर इसके बारे में बहुत आत्मविश्वासी था। आप यह जानने के लिए AI के "कॉन्फिडेंस मीटर" पर भरोसा नहीं कर सकते कि वह सुरक्षित है या नहीं।
5. "ग्रुपथिंक" (Groupthink) की समस्या
उन्होंने तीन अलग-अलग AI को एक उत्तर पर वोट करने के लिए एक साथ रखा (एक "एन्सेम्बल"), इस उम्मीद में कि वे एक-दूसरे की गलतियों को पकड़ लेंगे।
- उपमा: यह तीन डॉक्टरों की एक समिति की तरह है। आप सोचेंगे कि यदि एक गलत है, तो दूसरे उसे सुधार लेंगे।
- परिणाम: कभी-कभी, तीनों AI एक ही समय में बिल्कुल एक ही गलत गलती करते हैं। इसे "सिंक्रोनाइज्ड फेलियर" (Synchronized Failure) कहा जाता है। जब तीन AI का समूह एक गलत उत्तर पर सहमत होता है, तो वे इंसानों को यह विश्वास दिलाने के लिए धोखा दे सकते हैं कि उत्तर निश्चित रूप से सही है, जिससे स्थिति और भी खतरनाक हो जाती है।
निष्कर्ष
यह शोध पत्र निष्कर्ष निकालता है कि सुरक्षा AI को बड़ा या तेज़ बनाने का निष्क्रिय परिणाम नहीं है।
- स्केलिंग अप (Scaling up): (मॉडलों को बड़ा बनाना) थोड़ा मदद करता है, लेकिन यह सुरक्षा की समस्या को हल नहीं करता है।
- अधिक कंप्यूट जोड़ना (Adding more compute): (AI को अधिक देर तक सोचने या कई बार वोट करने देना) मूल समस्याओं को ठीक नहीं करता है।
- जो एकमात्र चीज़ काम कर गई: AI को उत्तर देने से ठीक पहले साफ, उच्च-गुणवत्ता वाले, डॉक्टर द्वारा क्यूरेट किए गए साक्ष्य (Evidence) खिलाना।
टेकअवे (Takeaway): यदि आप एक सुरक्षित मेडिकल AI चाहते हैं, तो केवल सबसे बड़ा मॉडल न खरीदें। इसके बजाय, एक ऐसा सिस्टम बनाने पर ध्यान केंद्रित करें जो इसे सबसे अच्छी, सबसे विश्वसनीय जानकारी प्रदान करे। AI जो "नोट्स" पढ़ता है उनकी गुणवत्ता, उस "छात्र" के आकार से कहीं अधिक महत्वपूर्ण है जो उन्हें पढ़ रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।