Context-Window-Mediated Corruption of Large Multimodal Models in Clinical Medicine: A Systematic Review
उच्च पूर्वाग्रह जोखिम वाले दस अध्ययनों का यह व्यवस्थित पुनरावलोकन (सिस्टमैटिक रिव्यू) प्रकट करता है कि नैदानिक चिकित्सा में बड़े मल्टीमॉडल मॉडल चार विशिष्ट विफलता वर्गों के माध्यम से इनपुट-आधारित भ्रष्टाचार के प्रति संवेदनशील हैं, एक ऐसा खतरा जो मॉडल की विशेषताओं या परीक्षण किए गए बचावों के बावजूद बना रहता है और आउटपुट अखंडता से समझौता करने के लिए किसी प्रतिकूल हमलावर की आवश्यकता नहीं रखता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक अस्पतालों में, एक नए प्रकार का सहायक आया है। ये लार्ज लैंग्वेज और विजन मॉडल्स हैं, जो टेक्स्ट और छवियों की विशाल मात्रा पर प्रशिक्षित कंप्यूटर प्रोग्राम हैं जो पेशेंट चार्ट पढ़ सकते हैं, एक्स-रे की व्याख्या कर सकते हैं और निदान (डायग्नोसिस) का सुझाव दे सकते हैं। वे सूचना के एक प्रवाह को लेकर काम करते हैं—जो एक डॉक्टर टाइप करता है, जो एक मरीज कहता है, या जो एक तस्वीर दिखाती है—और इस पूरे प्रवाह को एक निरंतर प्रवाह के रूप में प्रोसेस करते हैं। सिस्टम स्वाभाविक रूप से यह नहीं जानता कि उस प्रवाह के कौन से हिस्से विश्वसनीय निर्देश हैं और कौन से हिस्से केवल बैकग्राउंड शोर या आकस्मिक निशान हैं। कंप्यूटर के लिए, एक डॉक्टर द्वारा लिखा गया कमांड और एक मरीज द्वारा लिखा गया कोई भी इधर-उधर का नोट, एक ही प्रकार के डेटा की तरह दिखता है। यह एक अनूठी भेद्यता (vulnerability) पैदा करता है: यदि मशीन में डाली जाने वाली जानकारी में थोड़ा सा भी बदलाव किया जाता है, तो मशीन का आउटपुट नाटकीय रूप रूप से बदल सकता है, चाहे वह मशीन कितनी भी स्मार्ट क्यों न हो।
यह कंप्यूटर के टूटे होने या खराब तरीके से बनाए जाने की समस्या नहीं है; यह इस बात की समस्या है कि वह कैसे सुनता है। कल्पना कीजिए कि एक अत्यधिक कुशल अनुवादक के बारे में जो निर्देशों का पालन करने के लिए इतना उत्सुक है कि यदि कोई काम करते समय उनके कान में एक नया कमांड फुसफुसा दे, तो वे तुरंत अपना काम रोक देते हैं और उस फुसफुसाहट का पालन करने लगते हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे 'प्रॉम्ट इंजेक्शन' (prompt injection) के रूप में जाना जाता है, जहाँ इनपुट स्वयं सिस्टम के व्यवहार को हाईजैक कर लेता है। जबकि सुरक्षा विशेषज्ञ लंबे समय से इस बात को लेकर चिंतित रहे हैं कि हैकर्स इस चाल का उपयोग कैसे कर सकते हैं, एक नया व्यवस्थित समीक्षा (systematic review) चिकित्सा क्षेत्र के लिए एक अधिक परेशान करने वाला प्रश्न पूछती है: क्या इस खतरे के लिए किसी हैकर की आवश्यकता है ही नहीं? क्या चिकित्सा चित्र पर बना एक साधारण, आकस्मिक निशान, या एक मरीज की तत्काल लेकिन भ्रमित शब्दावली, उसी विफलता को जन्म दे सकती है?
बेथ इज़राइल डीकनेस मेडिकल सेंटर और यूनिवर्सिटी ऑफ डेब्रेसेन के शोधकर्ताओं की एक टीम ने उपलब्ध सभी अध्ययनों को एकत्र करके इसका उत्तर देने का प्रयास किया, जिन्होंने यह परीक्षण किया कि जब इन मेडिकल मॉडल्स के इनपुट के साथ छेड़छाड़ की जाती है तो वे कैसे प्रतिक्रिया देते हैं। उन्होंने 2025 और 2026 के बीच प्रकाशित दस विशिष्ट अध्ययनों को देखा, जिसमें कैंसर निदान और त्वचा के घावों के विश्लेषण से लेकर रोगी की सलाह और दवा के मार्गदर्शन तक सब कुछ शामिल था। उनका लक्ष्य यह देखना था कि क्या ये शक्तिशाली उपकरण केवल वही बदलकर भ्रष्ट किए जा सकते हैं जो वे पढ़ते या देखते हैं, बिना किसी को कंप्यूटर के आंतरिक कोड को हैक करने या इसके गुप्त प्रशिक्षण डेटा तक पहुँचने की आवश्यकता के।
शोधकर्ताओं ने पाया कि मॉडल वास्तव में अत्यधिक संवेदनशील हैं, और इस भ्रष्टाचार के लिए किसी खलनायक की आवश्यकता नहीं है। वास्तव में, अध्ययनों ने दिखाया कि बड़े पैमाने पर आउटपुट परिवर्तन तब भी हुए जब इनपुट एक शोधकर्ता द्वारा बनाया गया जानबूझकर किया गया हमला था या गैर-दुर्भावनापूर्ण सामग्री थी जिसे सामान्य क्लिनिकल सामग्री जैसा दिखने के लिए बनाया गया था। हालाँकि, समीक्षा स्पष्ट रूप से नोट करती है कि किसी भी अध्ययन ने समान परिस्थितियों में प्राकृतिक रूप से उत्पन्न सामग्री की तुलना जानबूझकर किए गए हमले से नहीं की, इसलिए यह सिद्ध होना बाकी है कि क्या वास्तविक दुनिया की दुर्घटनाएं भी इन्हीं विफलताओं का कारण बनती हैं। टीम ने इन विफलताओं को चार मुख्य श्रेणियों में व्यवस्थित किया। पहला है 'इंस्ट्रक्शन-हाइरार्की फेलियर' (निर्देश-पदानुक्रम विफलता), जहाँ एक छिपा हुआ कमांड डॉक्टर के मूल अनुरोध को ओवरराइड कर देता है। दूसरा है 'एविडेंस-इंटीग्रिटी फेलियर' (साक्ष्य-अखंडता विफलता), जहाँ मॉडल गलत जानकारी या मनगढ़ंत निष्कर्षों को सत्य के रूप में स्वीकार कर लेता है। तीसरा, जो उन मॉडल्स के लिए विशिष्ट है जो छवियों को देखते हैं, 'मल्टीमॉडल इंटरफेरेंस' (बहुविध हस्तक्षेप) है, जहाँ एक चिकित्सा चित्र पर या उसके अंदर लिखा गया टेक्स्ट चित्र के दृश्य साक्ष्य को ओवरराइड कर देता है। चौथा है 'इंटरैक्शनल सेंसिटिविटी' (परस्पर क्रिया संवेदनशीलता), जहाँ संदेश का लहजा या एक गलत धारणा मॉडल के निर्णय को बदल देती है।
परिणाम चौंकाने वाले थे। स्किन कैंसर की छवियों से जुड़े एक अध्ययन में, एक चित्र में एक एकल मनगढ़ंत लेबल जोड़ने से मॉडल की नैदानिक सटीकता 58 से 62 प्रतिशत की सीमा से गिरकर 0.0 से 1.9 प्रतिशत रह गई। दूसरे में, जब शोधकर्ताओं ने मरीज के संदेश के लहजे को अधिक तत्काल या आधिकारिक बनाने के लिए बदला, तो मॉडल द्वारा मरीज को आपातकालीन कक्ष (इमरजेंसी रूम) भेजने की सिफारिश करने की दर लगभग 14 प्रतिशत से बढ़कर 82 प्रतिशत तक पहुंच गई। शायद सबसे चिंताजनक बात यह थी कि ये विफलताएं विभिन्न प्रकार के मॉडल्स में हुईं, पुराने संस्करणों से लेकर नवीनतम, सबसे शक्तिशाली प्रणालियों तक। कोई भी मॉडल लगातार सुरक्षित साबित नहीं हुआ; एक सिस्टम जो एक प्रकार की त्रुटि के प्रति मजबूत था, वह अक्सर दूसरे प्रकार के प्रति सबसे अधिक संवेदनशील था।
शोधकर्ताओं ने यह भी परीक्षण किया कि क्या कोई वर्तमान बचाव उपाय इन समस्याओं को रोक सकते हैं। उन्होंने प्रॉम्ट में सुरक्षा निर्देश जोड़ने, एक दूसरे मॉडल से पहले के मॉडल के काम की समीक्षा कराने, या सही उदाहरणों पर मॉडल्स को फिर से प्रशिक्षित करने जैसी रणनीतियों को देखा। इनमें से किसी भी पद्धति ने जोखिम को समाप्त नहीं किया। कुछ ने त्रुटियों को थोड़ा कम किया, लेकिन अन्य का कोई प्रभाव नहीं पड़ा। एक बचाव जिसमें मॉडल को फिर से प्रशिक्षित करना शामिल था, उसने गलत जानकारी को खारिज करने की इसकी क्षमता में सुधार किया, लेकिन इसने मॉडल को वैध अनुरोधों को अस्वीकार करने के लिए भी मजबूर कर दिया, जिसका अर्थ है कि एक प्रकार की गलती के बदले दूसरे प्रकार की गलती को चुनना। महत्वपूर्ण रूप से, इनमें से कोई भी बचाव उपाय विभिन्न प्रकार की त्रुटियों के विरुद्ध काम नहीं कर सका; एक समस्या के लिए किया गया समाधान दूसरी समस्या से सुरक्षा नहीं दे सका।
समीक्षा का एक बड़ा हिस्सा इस बात पर केंद्रित था कि क्या इन विफलताओं के लिए एक दुर्भावनापूर्ण हमलावर की आवश्यकता है। उपलब्ध साक्ष्यों के आधार पर, उत्तर यह है कि शोधकर्ता-निर्मित सामग्री, जिसे साधारण, आकस्मिक क्लिनिकल सामग्री (जैसे स्लाइड पर हाथ से लिखा नोट या मरीज की अपनी तत्काल शब्दावली) के रूप में बनाया गया था, सिस्टम को तोड़ने के लिए पर्याप्त थी। हालाँकि, पेपर स्पष्ट करता है कि ये नियमित देखभाल से नहीं ली गई थीं, और किसी भी अध्ययन ने अकेले प्राकृतिक रूप से उत्पन्न सामग्री का परीक्षण नहीं किया। यह सुझाव देता है कि खतरा केवल साइबर हमला नहीं है, बल्कि यह एक मौलिक कमजोरी है कि ये मॉडल सूचना को कैसे प्रोसेस करते हैं। सिस्टम में प्रवेश करने वाली डेटा की अखंडता उतनी ही महत्वपूर्ण है जितनी कि स्वयं मॉडल की सुरक्षा।
लेखक निष्कर्ष निकालते हैं कि मेडिकल आर्टिफिशियल इंटेलिजेंस के प्रति वर्तमान दृष्टिकोण, जो मॉडल को प्रशिक्षित करने और उसके आउटपुट की निगरानी करने पर बहुत अधिक ध्यान केंद्रित करता है, पहेली के एक महत्वपूर्ण हिस्से को मिस कर रहा है। यदि सिस्टम में डाली जाने वाली जानकारी को सरल, गैर-दुर्भावनापूर्ण माध्यमों से भ्रष्ट किया जा सकता है, तो संपूर्ण क्लिनिकल निर्णय की सुरक्षा उस इनपुट की शुद्धता पर निर्भर करती है। जब तक हम यह गारंटी नहीं दे सकते कि इन मॉडल्स तक पहुँचने वाला डेटा आकस्मिक या जानबूझकर किए गए हेरफेर से मुक्त है, और जब तक हमारे पास सभी प्रकार की त्रुटियों के लिए काम करने वाले बचाव उपाय नहीं हैं, तब तक वास्तविक दुनिया की देखभाल में इन उपकरणों की विश्वसनीयता अनिश्चित बनी हुई है। ये निष्कर्ष एक प्रारंभिक चेतावनी के रूप में कार्य करते हैं: इन प्रणालियों की सुरक्षा न केवल मशीन की बुद्धिमत्ता पर, बल्कि उस दुनिया की विश्वसनीयता पर भी निर्भर करती है जिसे पढ़ने के लिए उसे कहा गया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।