Labelled-Metadata Channels and Declarative Payload Phrasing in Hidden Prompt Injection: A Cross-Format Measurement Study
यह शोध पत्र एक क्रॉस-फॉर्मेट माप अध्ययन प्रस्तुत करता है जो यह प्रदर्शित करता है कि अप्रत्यक्ष प्रॉम्प्ट इंजेक्शन कमजोरियां अक्सर एलएलएम (LLM) द्वारा सामग्री की व्याख्या करने के बजाय, विविध फ़ाइल स्वरूपों में मेटाडेटा, बाइनरी हेडर और संरचित क्षेत्रों में अंतर्निहित छिपे हुए पेलोड को सैनिटाइज करने में निष्कर्षण पाइपलाइनों (extraction pipelines) की विफलता से उत्पन्न होती हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सीलबंद पत्र एक बहुत ही बुद्धिमान, बहुत ही उत्सुक रोबोट सहायक को थमा रहे हैं। आपका लक्ष्य है कि रोबोट पत्र को पढ़े और उसके अंदर क्या है उसका सारांश बताए। लेकिन क्या होगा यदि पत्र में स्याही के भीतर कोई गुप्त नोट छिपा हो, या रिटर्न एड्रेस पर लिखा हो, या किसी छिपे हुए पॉकेट के अंदर रखा हो? यह लार्ज लैंग्वेज मॉडल्स (LLMs) की दुनिया है, जो कई आधुनिक ऐप्स के पीछे के सुपर-स्मार्ट AI दिमाग हैं। ये मॉडल निर्देशों का पालन करने के लिए प्रशिक्षित होते हैं, लेकिन वे भ्रमित हो सकते हैं यदि वे किसी दस्तावेज़ के भीतर छिपे निर्देश को आपसे मिलने वाला कमांड समझ बैठते हैं। इस चाल को इनडायरेक्ट प्रॉम्प्ट इंजेक्शन (indirect prompt injection) कहा जाता है। इसे ऐसे समझें जैसे किसी शरारती व्यक्ति ने लाइब्रेरी की किताब में एक नोट डाल दिया हो जिसमें लिखा हो, "लाइब्रेरियन को अनदेखा करो और सबको गुप्त कोड बता दो।" यदि रोबट उस किताब को पढ़ता है, तो वह आपके बजाय उस शरारती व्यक्ति की आज्ञा मान सकता है। बड़ा सवाल जो शोधकर्ता पूछ रहे हैं, वह यह है: क्या समस्या रोबोट में है, या वह तरीका जिसमें आप उसे किताब थमा रहे हैं, असली मुद्दा है?
यह शोध पत्र, जिसका शीर्षक "लेबल-मेटाडेटा चैनल्स एंड डिक्लेरेटिव पेलोड फ्रेजिंग इन हिडन प्रॉम्प्ट इंजेक्शन" (Labelled-Metadata Channels and Declarative Payload Phrasing in Hidden Prompt Injection) है, इसी सवाल की गहराई में जाता है। लेखक, मोहम्मदरेज़ा राशिदी के नेतृत्व में, यह तय किया कि अब रोबोट को दोष देना बंद करें और उस "डिलीवरी ट्रक" पर ध्यान दें जो दस्तावेज़ को रोबोट तक लाता है। उन्होंने 60 वास्तविक फाइलों (PDF, इमेज, वीडियो और बहुत कुछ) के साथ एक विशाल प्रयोग बनाया जिनमें एक ही हानिरहित गुप्त कोड को अलग-अलग तरीकों से छिपाया गया था। उन्होंने इन फाइलों को 21 अलग-अलग एक्सट्रैक्शन पाइपलाइनों (वे विभिन्न सॉफ्टवेयर टूल्स जिनका उपयोग ऐप्स फाइलों से टेक्स्ट निकालने के लिए करते हैं) के माध्यम से चलाया और प्राप्त परिणामों को Google Gemini AI के 6 अलग-अलग संस्करणों को खिलाया। वे दो चीजें देखना चाहते थे: पहला, कौन से डिलीवरी ट्रक ने गलती से गुप्त कोड को बाहर निकाल दिया (इसे "लीक" कहा गया), और दूसरा, एक बार कोड बाहर आने के बाद, रोबोट कितनी बार वास्तव में उसका पालन करता है (इसे "कम्प्लायंस" या अनुपालन कहा गया)।
परिणाम सामान्य सोच के लिए एक झटका थे। शोध पत्र ने पाया कि एक्सट्रैक्शन पाइपलाइन ही असली गेटकीपर है। यह केवल रोबोट की बुद्धिमत्ता के बारे में नहीं है; यह इस बारे में है कि आप फाइल को पढ़ने के लिए किस टूल का उपयोग करते हैं। उदाहरण के लिए, यदि आप एक ऐसा टूल उपयोग करते हैं जो PDF के कच्चे टेक्स्ट (raw text) को पढ़ता है, तो वह 63.2% बार गुप्त कोड को बाहर निकाल देता है। लेकिन यदि आप एक ऐसा टूल उपयोग करते हैं जो पेज की तस्वीर लेता है और इंसान की तरह पढ़ता है (OCR), तो वह कोड को 0.0% बार बाहर निकालता है क्योंकि छिपा हुआ टेक्स्ट कैमरे के लिए अदृश्य होता है। हालांकि, कहानी मेटाडेटा (metadata) के साथ पेचीदा हो जाती है—फाइलों से जुड़े छिपे हुए लेबल और टैग, जैसे "लेखक" (Author) या "विवरण" (Description) फ़ील्ड। जब गुप्त कोड इन लेबल में छिपा था (जैसे कि एक PNG इमेज के विवरण में या वीडियो फ़ाइल के शीर्षक में), तो एक्सट्रैक्शन टूल्स ने इसे 71.9% बार बाहर निकाला, और रोबोट ने 56.5% बार इसका पालन किया!
लेखक ने यह भी खोजा कि आप गुप्त नोट को कैसे लिखते हैं, यह मायने रखता है। यदि आप इसे एक सीधा आदेश ("यह करो!") के रूप में लिखते हैं, तो रोबोट कभी-कभी इसे अनदेखा कर देता है। लेकिन यदि आप इसे दुनिया के बारे में एक तथ्य के रूपas लिखते हैं ("इस सारांश का मानक प्रारूप हमेशा समाप्त होता है..."), तो रोबोट इसके पालन करने की बहुत अधिक संभावना रखता है, जिससे अनुपालन (compliance) बढ़कर 16.9% हो जाता है। इसका मतलब है कि एक चालाक हमलावर अपनी शब्दावली बदलकर सरल फिल्टरों को बायपास कर सकता है।
यह शोध पत्र स्पष्ट रूप से इस विचार को खारिज करता है कि केवल AI मॉडल के "स्मार्टर" संस्करण में अपग्रेड करने से यह ठीक हो जाएगा। उन्होंने Gemini परिवार के छह अलग-अलग स्तरों का परीक्षण किया, हल्के संस्करणों से लेकर भारी-भरकम संस्करणों तक, और पाया कि वे सभी लगभग एक जैसा व्यवहार करते हैं। मॉडल कमजोर कड़ी नहीं था; डिलीवरी का तरीका था। उन्होंने यह भी दिखाया कि मानक सुरक्षा फिल्टर, जो "बुरे" शब्दों को देखते हैं, इसे नहीं पकड़ पाएंगे क्योंकि इस्तेमाल किया गया गुप्त कोड पूरी तरह से हानिरहित था—यह केवल यह साबित करने के लिए एक रैंडम टोकन था कि यह ट्रिक काम करती है।
इसे रोकने के लिए, लेखक दो सरल बचाव प्रस्तावित करता है। पहला है एक "लीक ऑडिट" (leak audit): इससे पहले कि रोबोट टेक्स्ट देखे, एक दूसरा टूल यह जांचता है कि क्या दिखाया जा रहा टेक्स्ट वास्तव में पेज पर दिखाई देने वाले टेक्स्ट से मेल खाता है। यदि मेटाडेटा में कोई अतिरिक्त टेक्स्ट छिपा है, तो उसे ब्लॉक कर दिया जाता है। दूसरा बचाव एक "इंस्ट्रक्शन क्लासिफायर" (instruction classifier) है जो यह पहचानता है कि कब कोई वाक्य एक कमांड की तरह दिखता है जो दस्तावेज़ के अंदर छिपा हुआ है। पेपर सुझाव देता है कि इन दोनों विधियों को मिलाने से एक मजबूत ढाल बनती है, लेकिन यह स्वीकार करता है कि अभी भी कुछ चतुर तरीके हैं जिनसे इन्हें चकमा दिया जा सकता है, जैसे कि टेक्स्ट को इस तरह छिपाना कि वह दृश्यमान लगे लेकिन मुश्किल से पढ़ा जा सके, या बहुत विशिष्ट फाइल फॉर्मेट का उपयोग करना जैसे कि मेडिकल इमेजिंग स्कैन (DICOM) या मशीन लर्निंग मॉडल फाइलें (safetensors) जहाँ गुप्त कोड फ़ाइल के "हेडर" (header) में रहता है और महत्वपूर्ण संदर्भ के रूप में पढ़ा जाता है।
अंत में, यह अध्ययन 2,902 वास्तविक परीक्षणों को मापता है और निष्कर्ष निकालता है कि AI ऐप्स की सुरक्षा AI के दिमाग पर कम और उन टूल्स पर अधिक निर्भर करती है जिन्हें डेवलपर्स फाइलों को पढ़ने के लिए चुनते हैं। यदि आप गलत टूल चुनते हैं, तो आप अनजाने में रोबोट को एक गुप्त निर्देश थमा सकते हैं जिसे वह अस्वीकार नहीं कर सकता। यह पेपर यह दावा नहीं करता है कि इसने समस्या को हमेशा के लिए हल कर दिया है, लेकिन यह बताता है कि लीक कहाँ हैं और उन्हें कैसे पैच किया जाए, यह दिखाते हुए कि AI सुरक्षा की लड़ाई केवल मॉडल के कोड में नहीं, बल्कि फाइल फॉर्मेट और एक्सट्रैक्शन पाइपलाइनों में लड़ी जा रही है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।