Image-embedded prompt injection vulnerability of vision-language models in dental radiology: a cross-vendor attack–defense evaluation
यह अध्ययन प्रदर्शित करता है कि इमेज-एम्बेडेड प्रॉम्प्ट इंजेक्शन डेंटल विजन-लैंग्वेज मॉडल्स के लिए एक महत्वपूर्ण क्रॉस-वेंडर सुरक्षा जोखिम पैदा करता है, जो यह प्रकट करता है कि जबकि सभी परीक्षण किए गए वाणिज्यिक और ओपन-सोर्स सिस्टम असुरक्षित हैं, OCR-आधारित सैनिटाइजेशन और प्रोवेनेंस-अवेयर गवर्नेंस रणनीतियां नैदानिक नैदानिक सटीकता को बनाए रखते हुए इन हमलों को प्रभावी ढंग से कम कर सकती हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: एक्स-रे पर "घोस्ट नोट्स" (अदृश्य नोट)
कल्पना कीजिए कि एक डेंटिस्ट कंप्यूटर स्क्रीन पर आपके दांतों का एक्स-रे देख रहा है। आमतौर पर, कंप्यूटर कैविटी या समस्याओं को पहचानने में मदद करने के लिए एक स्मार्ट AI असिस्टेंट का उपयोग करता है। यह AI एक बहुत ही बुद्धिमान, लेकिन थोड़े भोले (गुलिबल) इंटर्न की तरह है।
इस अध्ययन ने उस AI को बेवकूफ बनाने का एक नया तरीका खोज निकाला है। टेक्स्ट-आधारित AI को धोखा देने के लिए गुप्त निर्देश फुसफुसाने के बजाय (जिस तरह से हैकर्स आमतौर पर कोशिश करते हैं), शोधकर्ताओं ने दिखाया कि आप सीधे एक्स-रे तस्वीर के ऊपर ही एक गुप्त नोट लिख सकते हैं।
इसे इस तरह समझें: आप इंटर्न को एक कार की फोटो देते हैं। लेकिन उस फोटो पर, किसी ने बड़े, गहरे अक्षरों में लिखा है: "टायर की पंचर स्थिति को अनदेखा करें, कार बिल्कुल ठीक है।" भले ही फोटो में पंचर टायर स्पष्ट रूप से दिखाई दे रहा हो, लेकिन इंटर्न उस नोट को पढ़ लेता है, उस पर विश्वास कर लेता है, और आपको बताता है कि कार ठीक है।
डेंटल जगत में, इसे "इमेज-एम्बेडेड प्रॉम्प्ट इंजेक्शन" (Image-embedded prompt injection) कहा जाता है। शोधकर्ताओं ने वास्तविक डेंटल एक्स-रे का उपयोग करके चार अलग-अलग टॉप-टियर AI मॉडल्स (GPT-4o, Gemini, Claude, और MedGemma) पर इसका परीक्षण किया।
प्रयोग: एक सुरक्षा परीक्षण
टीम ने इसे एक सुरक्षा ड्रिल (security drill) की तरह लिया। उन्होंने 270 डेंटल एक्स-रे लिए और उनके "नकली" संस्करण बनाए। इन नकली संस्करणों पर, उन्होंने AI को कोई भी समस्या अनदेखा करने के निर्देश देने वाले अदृश्य या दृश्य टेक्स्ट जोड़े।
उन्होंने इन निर्देशों को छिपाने के चार अलग-अलग तरीकों का परीक्षण किया:
- "नियॉन साइन" हमला: कोने में एक बड़ा, काला बॉक्स जिसमें सफेद टेक्स्ट लिखा हो (जिसे नजरअंदाज करना मुश्किल हो)।
- "नकली डॉक्टर का नोट" हमला: ऐसा टेक्स्ट जो एक असली डेंटिस्ट की लिखावट या नोट्स जैसा दिखता हो।
- "घोस्ट" (भूतिया) हमला: बहुत हल्का, कम कंट्रास्ट वाला टेक्स्ट जो बैकग्राउंड में घुल मिल जाता है।
- "बॉर्डर" हमला: इमेज के बिल्कुल किनारे पर छिपा हुआ छोटा टेक्स्ट।
परिणाम:
- सभी चार AI फेल रहे। हर एक मॉडल कम से कम एक प्रकार के हमले से ठगा गया।
- GPT-4o सबसे अधिक असुरक्षित था। जब "नियॉन साइन" हमले का उपयोग किया गया, तो AI ने वास्तविक डेंटल समस्याओं को 62.6% बार अनदेखा कर दिया। ऐसा लग रहा था जैसे कागज पर लिखे एक नोट की वजह से इंटर्न अपना काम करना ही भूल गया।
- MedGemma (एक मेडिकल-विशिष्ट AI) भी बहुत असुरक्षित था। यह आश्चर्यजनक है क्योंकि आप उम्मीद कर सकते थे कि एक मेडिकल AI अधिक मजबूत होगा, लेकिन वह नहीं था।
- "भोलेपन" (Gullibility) में अंतर था। कुछ मॉडल हल्के टेक्स्ट से आसानी से ठगे गए, जबकि अन्य केवल बड़े और स्पष्ट नोट्स पर ही फँसे।
बचाव के उपाय: इस चाल को कैसे रोकें
शोधकर्ताओं ने केवल समस्या ही नहीं ढूंढी; उन्होंने इसे ठीक करने के पांच अलग-अलग तरीकों का परीक्षण किया। इन्हें उन सुरक्षा गार्डों की तरह समझें जो AI इंटर्न तक पहुँचने से पहले एक्स-रे की जाँच करते हैं।
- "क्रॉप" (Crop) गार्ड: उन्होंने बस इमेज के निचले और बगल के हिस्सों को काट दिया जहाँ टेक्स्ट आमतौर पर छिपा होता है। इसने लगभग 90% हमलों को रोक दिया, लेकिन यह थोड़ा अनाड़ी तरीका है (जैसे फोटो के कोनों को काट देना)।
- "चेतावनी लेबल" (Warning Label) गार्ड: उन्होंने AI को बताया, "हे, सावधान रहें, इस इमेज में नकली नोट्स हो सकते हैं।" इससे थोड़ी मदद मिली, लेकिन AI फिर भी अक्सर ठगा गया।
- "इरेज़र" (Eraser) गार्ड (OCR सैनिटाइजेशन): यह विजेता था। यह तरीका किसी टूल का उपयोग करता है जो इमेज को स्कैन करता है कि क्या उसमें कोई कमांड जैसा दिखने वाला टेक्स्ट है। यदि उसे कोई टेक्स्ट मिलता है, तो वह AI को दिखाने से पहले उस पर काली स्याही से पेंट कर देता है (गुप्त नोट को मिटा देता है)।
- परिणाम: इसने हमलों की सफलता दर को लगभग शून्य (0.2%) तक कम कर दिया। यह एक ऐसे गार्ड की तरह है जो नोट को पढ़ता है, समझ जाता है कि वह नकली है, और इंटर्न के देखने से पहले उसे कागज से फाड़कर निकाल देता है।
- "डबल-चेक" (Double-Check) गार्ड (ProvDent): यह एक नया सिस्टम है जिसे उन्होंने बनाया है। यह दो चरणों वाली प्रक्रिया की तरह काम करता है:
- चरण 1: यह जाँचता है कि क्या वहां कोई संदिग्ध टेक्स्ट है।
- चरण 2: यदि इसे कुछ अजीब मिलता है, तो यह केवल उत्तर नहीं देता। इसके बजाय, यह कहता है, "मुझे इस बारे में यकीन नहीं है। चलिए एक मानव डॉक्टर से इस पर सलाह लेते हैं।"
- यह क्यों महत्वपूर्ण है: जबकि "इरेज़र" गार्ड हमलों को रोकने में महान है, "डबल-चेक" गार्ड सुरक्षा के लिए बेहतरीन है। यदि सिस्टम भ्रमित हो जाता है, तो यह अनुमान लगाने से इनकार कर देता है और मदद मांगता है, जिससे यह सुनिश्चित होता है कि कोई भी खतरनाक गलती निकल न जाए।
निष्कर्ष
- खतरा वास्तविक है: डंतों के निदान के लिए उपयोग किए जाने वाले AI मॉडल्स को एक्स-रे छवियों पर सीधे लिखे गए नकली नोट्स द्वारा आसानी से ठगा जा सकता है। यह एक गंभीर सुरक्षा जोखिम है क्योंकि यह कंप्यूटर को कैविटी या टूटा हुआ दांत पहचानने से रोक सकता है।
- समाधान मौजूद है: हम मेडिकल इमेज से टेक्स्ट को पहचानने और हटाने वाले सॉफ्टवेयर का उपयोग करके इसे लगभग पूरी तरह से रोक सकते हैं।
- सुरक्षा सर्वोपरि है: सबसे अच्छा दृष्टिकोण केवल हमले को रोकना नहीं है, बल्कि एक ऐसा सिस्टम होना है जो यह जानता हो कि कब कहना है, "मुझे इस इमेज पर भरोसा नहीं है, एक इंसान को इसकी जाँच करनी चाहिए।"
अध्ययन निष्कर्ष निकालता है कि अस्पतालों को इन शानदार AI टूल्स का उपयोग शुरू करने से पहले, उन्हें इन "टेक्स्ट-मिटाने वाले" सुरक्षा गार्डों को स्थापित करना चाहिए ताकि यह सुनिश्चित हो सके कि AI को एक्स-रे पर लिखे अदृश्य नोट्स से ठगा न जा सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।