आधुनिक डिजिटल दुनिया में, शक्तिशाली कृत्रिम बुद्धिमत्ता (AI) प्रणालियाँ अनुसंधान प्रयोगशालाओं से निकलकर लेखन, कोडिंग और चित्र बनाने के लिए उपयोग किए जाने वाले हमारे दैनिक उपकरणों में शामिल हो गई हैं। इन प्रणालियों को, जिन्हें बड़े भाषा और विजन-लैंग्वेज मॉडल (large language and vision-language models) के रूप में जाना जाता है, अक्सर उनके आंतरिक "मस्तिष्क" द्वारा वर्णित किया जाता है—जो प्रशिक्षण के दौरान सीखे गए नंबरों और पैटर्न का एक विशाल संग्रह है। वर्षों से, सुरक्षा विशेषज्ञों ने इस मस्तिष्क की सुरक्षा पर ध्यान केंद्रित किया है, यह सुनिश्चित करते हुए कि प्रशिक्षण डेटा को दूषित नहीं किया गया है और मॉडल को गुप्त रूप से बदला नहीं गया है। उन्होंने मॉडल के वेट्स (weights) को सत्यापित करने और सीधे इसे भेजे गए खतरनाक निर्देशों को फ़िल्टर करने के लिए मजबूत सुरक्षा उपाय बनाए हैं। हालाँकि, ये प्रणालियाँ शून्य में काम नहीं करती हैं। उपयोगकर्ता के प्रश्न के मॉडल तक पहुँचने से पहले, और मॉडल द्वारा उत्तर उत्पन्न करने के बाद, एक सॉफ़्टवेयर की परत होती है जो एक अनुवादक और प्रबंधक के रूप में कार्य करती है। यह परत, जिसे अक्सर 'रैपर' (wrapper) कहा जाता है, उपयोगकर्ता के इनपुट को लेती है, उसे एक विशिष्ट संरचना में प्रारूपित करती है जिसे मॉडल समझ सके, और फिर कच्चे उत्तर को एक अंतिम, परिष्कृत प्रतिक्रिया में संसाधित करती है। इस सॉफ़्टवेयर के साथ कॉन्फ़िगरेशन फाइलें भी हैं, जो निर्देश पुस्तिकाओं की तरह कार्य करती हैं जो रैपर को बताती हैं कि उसे कैसे व्यवहार करना है। जबकि मॉडल के मस्तिष्क की कड़ी सुरक्षा की जाती है, इस आसपास के सॉफ़्टवेयर और इसके निर्देश मैनुअल को काफी हद तक असुरक्षित छोड़ दिया गया है, उन्हें महत्वपूर्ण सुरक्षा घटक के बजाय साधारण, संपादन योग्य टेक्स्ट के रूप में माना गया है।

सेंट्रल फ्लोरिडा विश्वविद्यालय के शोधकर्ताओं की एक टीम ने इस उपेक्षित परत में एक छिपी हुई भेद्यता (vulnerability) का पता लगाया है। उन्होंने प्रदर्शित किया कि एक दुर्भावनापूर्ण डेवलपर एक भ्रामक पैकेज बना सकता है जहाँ मॉडल स्वयं पूरी तरह से सुरक्षित और अपरिवर्तित है, लेकिन रैपर और उसकी कॉन्फ़िगरेशन फाइलें सिस्टम के व्यवहार को बदलने के लिए रची गई हैं। शोधकर्ताओं ने दिखाया कि एक हानिरहित दिखने वाले सॉफ़्टवेयर रैपर को सावधानीपूर्वक तैयार की गई कॉन्फ़िगरेशन फाइल के साथ जोड़कर, एक हमलावर सिस्टम को बिना मूल कोड को छुए, एक विशिष्ट और अनुमानित तरीके से अपने आउटपुट को बदलने के लिए मजबूर कर सकता है। यह हमला एक "संयुग्मी" (conjunctive) तंत्र पर निर्भर करता है, जिसका अर्थ है कि इस चाल को काम करने के लिए दो अलग-अलग शर्तों को एक साथ पूरा होना चाहिए। एक शर्त रैपर के कोड के भीतर अदृश्य रूप से अंतर्निहित एक छिपा हुआ मार्कर है, और दूसरी शर्त कॉन्फ़िगरेशन फ़ाइल में संग्रहीत एक क्रिप्टोग्राफिक सिग्नेचर है। अकेले इनमें से कोई भी हिस्सा बदलाव को ट्रिगर करने के लिए पर्याप्त नहीं है; उन्हें एक साथ मौजूद होना चाहिए। यह डिज़ाइन इस हमले को पकड़ना अविश्वसनीय रूप से कठिन बनाता है क्योंकि केवल कोड की जांच करने वाला सुरक्षा स्कैन कुछ भी संदिग्ध नहीं देखेगा, और केवल कॉन्फ़िगरेशन फ़ाइल की जांच करने वाला स्कैन केवल यादृच्छिक दिखने वाले नंबरों की एक स्ट्रिंग ही देखेगा।

इस भेद्यता की व्यापकता का परीक्षण करने के लिए, शोधकर्ताओं ने पंद्रह अलग-अलग कृत्रिम बुद्धिमत्ता प्रणालियों का उपयोग करके एक नियंत्रित प्रयोग बनाया, जिनमें ओपन-सोर्स मॉडल से लेकर वाणिज्यिक API के माध्यम से एक्सेस किए जाने वाले बंद सिस्टम तक शामिल थे। उन्होंने इन मॉडलों को रंगे हुए (rigged) रैपर और कॉन्फ़िगरेशन फाइलों के साथ तैनात किया और देखा कि जब उपयोगकर्ताओं ने प्रश्न पूछे तो क्या हुआ। परिणाम सुसंगत और सटीक थे: प्रत्येक मामले में, जब दोनों शर्तें पूरी हुईं, तो सिस्टम ने छिपे हुए निर्देश को निष्पादित किया। रैपर मॉडल के सामान्य, सही उत्तर को लेगा और उपयोगकर्ता को दिखाने से पहले एक बैनर जोड़ देगा या टेक्स्ट को संशोधित कर देगा। मॉडल ने अपना विचार या ज्ञान नहीं बदला था; इसे बस मॉडल को उत्तर अलग तरह से प्रदर्शित करने का निर्देश दिया गया था। शोधकर्ताओं ने पाया कि यह हेरफेर टेक्स्ट-केवल कार्यों, जटिल तर्क समस्याओं और यहाँ तक कि विजन-लैंग्वेज कार्यों में भी प्रभावी रहा जहाँ मॉडल छवियों को देखता है। हमला इतना प्रभावी था कि यह मानक सुरक्षा उपकरणों द्वारा अनियंत्रित रहा जो दुर्भावनापूर्ण कोड की जांच करते हैं या ज्ञात बुरे पैटर्न को स्कैन करते हैं, क्योंकि ट्रिगर बुरा कोड का एक टुकड़ा नहीं था बल्कि एक छिपे हुए मार्कर और एक मिलान फ़ाइल सिग्नेचर का तार्किक संयोजन था।

अध्ययन ने यह भी पता लगाया कि वर्तमान सुरक्षा उपाय इस प्रकार के हमले को रोकने में कितने सक्षम हैं। शोधकर्ताओं ने मेटाडेटा फाइलों को स्कैन करने वाले टूल, उपयोगकर्ता प्रॉम्प्ट को फ़िल्टर करने वाली प्रणालियों और प्रमाणिकता सिद्ध करने के लिए डिजिटल आर्टिफैक्ट्स को साइन करने वाले तरीकों सहित कई मौजूदा सुरक्षा उपायों का परीक्षण किया। उन्होंने पाया कि अधिकांश सुरक्षा उपाय इस संयुग्मी विषाक्तता (conjunctive poisoning) को पकड़ने में विफल रहे। केवल कॉन्फ़िगरेशन फाइलों को स्कैन करने वाले स्कैनर कोड में छिपे मार्कर को पकड़ने में विफल रहे, और केवल कोड को स्कैन करने वाले स्कैनर फाइलों में क्रिप्टोग्राफिक सिग्नेचर को पकड़ने में विफल रहे। यहाँ तक कि मॉडल के वेट्स को साइन करने वाले उपकरण भी मदद नहीं कर पाए, क्योंकि हमला रैपर और कॉन्फ़िगरेशन फाइलों में हुआ था, जिन्हें अक्सर साइन नहीं किया गया था या मुख्य मॉडल पैकेज से अलग माना गया था। उनके परीक्षणों में हमले को पूरी तरह से रोकने का एकमात्र तरीका पूरे बंडल को साइन करना था—मॉडल, रैपर और कॉन्फ़िगरेशन फाइलों को एक साथ—और यह सत्यापित करना था कि उन्हें साइन किए जाने के बाद उनमें से किसी में भी कोई परिवर्तन नहीं हुआ है। इस पूर्ण सत्यापन के बिना, सिस्टम इस सूक्ष्म हेरफेर के प्रति असुरक्षित बना रहा।

इस अंतर को दूर करने के लिए, शोधकर्ताओं ने 'टेम्प्लेट इंटीग्रिटी फ़िल्टर विद बिहेवियरल अटेस्टेशन हेडर' (Template Integrity Filter with Behavioral Attestation Header) नामक एक नया रक्षा तंत्र प्रस्तावित किया। यह प्रणाली एक गेटकीपर के रूप में कार्य करती है जो मॉडल के संचालन के दौरान उसके साथ चलती है। इससे पहले कि रैपर को उत्तर संसाधित करने की अनुमति दी जाए, सिस्टम यह सुनिश्चित करने के लिए रैपर के कोड की एक विश्वसनीय, पूर्व-अनुमोदित संस्करण के विरुद्ध जांच करता है कि उसके साथ छेड़छाड़ नहीं की गई है। यदि कोड विश्वसनीय संस्करण से मेल खाता है, तो सिस्टम प्रक्रिया को जारी रखने की अनुमति देता है; यदि यह मेल नहीं खाता है, तो सिस्टम क्रिया को रोकता है और एक सुरक्षित, अपरिवर्तित आउटपुट पर डिफ़ॉल्ट हो जाता है। इसके अतिरिक्त, यह प्रणाली प्रत्येक इंटरैक्शन के लिए एक छोटा लॉग प्रविष्टि रिकॉर्ड करती है, जिसमें ठीक से नोट किया जाता है कि किस संस्करण के रैपर का उपयोग किया गया था और क्या निर्णय लिया गया था। यह एक स्थायी रिकॉर्ड बनाता है जिसका बाद में ऑडिट किया जा सकता है ताकि यह देखा जा सके कि क्या कोई अनधिकृत परिवर्तन किए गए थे। शोधकर्ताओं ने पाया कि इस सुरक्षा परत को जोड़ने से सिस्टम की गति में लगभग कोई देरी नहीं हुई, जिससे प्रतिक्रिया उत्पन्न करने में लगने वाले समय में आधा प्रतिशत से भी कम की वृद्धि हुई, जो इसे वास्तविक दुनिया के अनुप्रयोगों के लिए एक व्यावहारिक समाधान बनाता है।

इस कार्य के निहितार्थ केवल एक नया बग खोजने से कहीं अधिक हैं; यह मौलिक रूप से इस बारे में बदल देता है कि हमें कृत्रिम बुद्धिमत्ता को कैसे सुरक्षित करना चाहिए। लंबे समय तक, उद्योग ने यह मान लिया है कि यदि मॉडल का मस्तिष्क सुरक्षित है, तो सिस्टम सुरक्षित है। यह शोध दिखाता है कि सिस्टम का "शरीर"—वह सॉफ़्टवेयर जो मॉडल को लपेटता है और वे फाइलें जो उसे बताया जाता है कि कैसे व्यवहार करना है—उतना ही महत्वपूर्ण है। हमलावर को यह बदलने के लिए कि उपयोगकर्ता क्या देखता है, मॉडल के प्रशिक्षण डेटा में सेंध लगाने या इसके आंतरिक तर्क को फिर से लिखने की आवश्यकता नहीं है। उन्हें केवल रैपर में एक छिपा हुआ निर्देश और कॉन्फ़िगरेशन फ़ाइल में एक मिलान कुंजी डालने की आवश्यकता है। यह इस तरह है जैसे एक भरोसेमंद शेफ को एक ऐसी रेसिपी दी जाए जो सामान्य दिखती है लेकिन इसमें एक गुप्त निर्देश शामिल है कि एक विशिष्ट मसाला तभी जोड़ा जाए जब पेंट्री में एक निश्चित सामग्री मौजूद हो; शेफ रेसिपी का पूरी तरह से पालन करता है, लेकिन अंतिम व्यंजन निर्देशों द्वारा बदला जाता है, न कि शेफ के अपने विकल्पों द्वारा। शोधकर्ता इस बात पर जोर देते हैं कि जबकि उनके प्रयोगों में हानिरहित परिवर्तन जैसे कि एक बैनर या अस्वीकरण जोड़ना शामिल था, उसी तंत्र का उपयोग खतरनाक निर्देशों को छिपाने, सिफारिशों को बदलने या उद्धरणों (citations) को इस तरह से हेरफेर करने के लिए किया जा सकता है जो उपयोगकर्ता के लिए अदृश्य हो।

अध्ययन इस निष्कर्ष पर पहुँचता है कि टेम्प्लेट परत, जहाँ रैपर और कॉन्फ़िगरेशन फाइलें रहती हैं, कृत्रिम बुद्धिमत्ता आपूर्ति श्रृंखला का एक महत्वपूर्ण लेकिन कम संरक्षित हिस्सा है। जैसे-जैसे ये प्रणालियाँ ग्राहक सेवा से लेकर चिकित्सा सलाह तक हमारी दैनिक जीवन में एकीकृत हो रही हैं, पूरे परिनियोजन पैकेज (deployment package) की अखंडता को सत्यापित किया जाना चाहिए, न कि केवल मॉडल को। शोधकर्ताओं ने अपने कोड और टूल को उपलब्ध कराया है ताकि अन्य डेवलपर्स अपने स्वयं के सिस्टम का इस भेद्यता के लिए परीक्षण कर सकें। इस विशिष्ट कमजोरी को उजागर करके, वे नए मानकों के विकास को प्रोत्साहित करने की आशा करते हैं जो टेम्प्लेट परत को मॉडल वेट्स के समान ही गहन जांच और सुरक्षा के साथ देखते हैं, जिससे यह सुनिश्चित होता है कि उपयोगकर्ता जो व्यवहार देखते हैं वह वास्तव में वही है जो मॉडल ने उत्पन्न करने का इरादा किया था।