Hiding in Plain Floats: Steganographic Carriers for Indirect Prompt and Content Injection
यह शोध पत्र प्रदर्शित करता है कि अप्रत्यक्ष प्रॉम्प्ट इंजेक्शन हमले दुर्भावनापूर्ण पेलोड को संरचित फ्लोट मापदंडों (structured float parameters) के रूप में एन्कोड करके केवल टेक्स्ट-आधारित सुरक्षा प्रणालियों को दरकिनार कर सकते हैं, जिससे वर्तमान एलएलएम (LLM) सुरक्षा पाइपलाइनों में एक महत्वपूर्ण विफलता सीमा उजागर होती है जो पूरी तरह से टेक्स्ट निरीक्षण पर निर्भर करती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ सरल भाषा और रचनात्मक उपमाओं का उपयोग करके शोध पत्र "Hiding in Plain Floats" की व्याख्या दी गई है।
मुख्य समस्या: "केवल टेक्स्ट" वाला अंधा बिंदु (The "Text-Only" Blind Spot)
कल्पना कीजिए कि आप एक हाई-टेक फैक्ट्री में सुरक्षा गार्ड हैं। आपका काम बुरे तत्वों को फैक्ट्री के मुख्य कंप्यूटर (लार्ज लैंग्वेज मॉडल, या LLM) में खतरनाक निर्देश तस्करी करने से रोकना है।
वर्तमान में, अधिकांश सुरक्षा प्रणालियाँ एक स्पेल-चेकर (वर्तनी जाँचने वाले) की तरह काम करती हैं। वे हर दस्तावेज़, ईमेल या संदेश को संदिग्ध शब्दों जैसे "Ignore previous instructions" (पिछले निर्देशों को अनदेखा करें) या "Delete all files" (सभी फाइलें हटा दें) के लिए स्कैन करती हैं। यदि उन्हें ये शब्द मिलते हैं, तो वे संदेश को ब्लॉक कर देती हैं। यह तब बहुत अच्छा काम करता है जब बुरा व्यक्ति अपना दुर्भावनापूर्ण कमांड सादे अंग्रेजी में लिखता है।
लेकिन क्या होगा अगर बुरा व्यक्ति कमांड को शब्दों में न लिखकर, संख्याओं की एक सूची के भीतर छिपा दे जो हानिरहित तकनीकी डेटा जैसा दिखता हो? स्पेल-चेकर संख्याओं को स्कैन करता है, कोई संदिग्ध शब्द नहीं पाता, और डेटा को आगे जाने देता है। जब तक कंप्यूटर उन संख्याओं को प्रोसेस करता है, तब तक छिपा हुआ संदेश प्रकट हो जाता है, और नुकसान हो चुका होता है।
यह शोध पत्र ठीक इसी खामी की जांच करता है। लेखक इसे "इनडायरेक्ट प्रॉम्प्ट इंजेक्शन" (Indirect Prompt Injection) कहते हैं।
उपमा: स्प्रेडशीट में अदृश्य स्याही (The Invisible Ink in the Spreadsheet)
LLM को एक शेफ (रसोइया) के रूप में सोचें जिसे रेसिपी (व्यंजन विधि) प्राप्त होती है।
- सामान्य हमला: कोई शेफ को एक नोट थमाता है जिसमें लिखा है, "सूप जला दो।" सुरक्षा गार्ड (स्पेल-चेकर) नोट को देखता है, "सूप जला दो" पढ़ता है, और उसे रोक देता है।
- इस शोध पत्र का हमला: हमलावर शेफ को सामग्री के वजन का एक स्प्रेडशीट थमाता है (जैसे, 0.45 किग्रा नमक, 0.82 किग्रा काली मिर्च)। सुरक्षा गार्ड के लिए, यह उबाऊ गणित जैसा दिखता है। इसमें "जला दो" या "नष्ट करो" जैसे कोई शब्द नहीं हैं। इसलिए, गार्ड इसे जाने देता है।
हालाँकि, शेफ का एक विशेष नियम है: "यदि आप वजन का यह विशिष्ट पैटर्न देखते हैं, तो इसका वास्तव में अर्थ है 'सूप जला दो'।" शेफ संख्याओं को पढ़ता है, छिपे हुए संदेश को डिकोड करता है, और बुरे निर्देश का पालन करता है।
शोध पत्र बताता है कि वर्तमान सुरक्षा गार्ड इसके प्रति अंधे हैं क्योंकि वे केवल शब्दों को देखते हैं, संख्याओं में पैटर्न को नहीं।
उन्होंने संदेश को कैसे छिपाया (स्टेगनोग्राफी - Steganography)
शोधकर्ताओं ने दो तरीके बनाए जिनसे हानिकारक टेक्स्ट को हानिरहित दिखने वाली संख्याओं के भीतर छिपाया जा सकता है। वे इन्हें "कैरियर्स" (Carriers) कहते हैं।
- कैरियर T2 (डेसिमल हाइडर - Decimal Hider):
कल्पना कीजिए कि आप अक्षर "A" (कंप्यूटर कोड में संख्या 65) को छिपाना चाहते हैं। आप एक सामान्य संख्या जैसे0.46लेते हैं और इसे बदलकर0.46065कर देते हैं। एक इंसान के लिए, यह अभी भी एक सामान्य दशमलव (decimal) जैसा दिखता है। लेकिन यदि आप जानते कि अंतिम तीन अंकों को कहाँ देखना है, तो आपको "65" (A) मिल जाता है।
- क्यों विफल हुआ: जब कंप्यूटर ने इस प्रक्रिया को प्रोसेस किया, तो इसने संख्याओं को वापस स्पष्ट टेक्स्ट में बदल दिया। सुरक्षा गार्ड ने स्पष्ट टेक्स्ट देखा, उसे पहचान लिया और उसे ब्लॉक कर दिया।
- कैरियर T3 (फ्रैक्टल मैप - द विनर):
यह सबसे चतुर हिस्सा है। उन्होंने एक गणितीय अवधारणा इटरेटेड फंक्शन सिस्टम (IFS) का उपयोग किया। इसे एक नियम का पालन करके एक फ्रैक्टल आकार (जैसे स्नोफ्लेक/हिमपात का टुकड़ा) बनाने के रूप में सोचें।
- हमलावर अपने गुप्त संदेश को एक ग्राफ पर पथ (path) में बदल देता है।
- वे उस पथ के X और Y निर्देशांकों (coordinates) को फ्लोटिंग-पॉइंट नंबरों (दशमलव) की दो सूचियों के रूप में संग्रहीत करते हैं।
- इसे और अधिक निर्दोष दिखाने के लिए, वे इसमें "नॉइज़" (रैंडम जिटर) जोड़ते हैं और संख्याओं के क्रम को उलट-पुलट (shuffle) कर देते हैं।
- परिणाम: संख्याएँ रैंडम स्टैटिक या हानिरहित सेंसर डेटा जैसी दिखती हैं। कोई शब्द नहीं हैं। कोई स्पष्ट पैटर्न नहीं है।
प्रयोग: क्या यह काम कर गया?
शोधकर्ताओं ने तीन प्रमुख AI मॉडलों (OpenAI, Google और Anthropic से) के खिलाफ परीक्षण किया और मजबूत सुरक्षा उपायों का उपयोग किया, जिसमें शामिल हैं:
- प्रॉम्प्ट गार्ड 2 (Prompt Guard 2): एक विशेष AI ढाल जिसे बुरे प्रॉम्प्ट को पकड़ने के लिए डिज़ाइन किया गया है।
- TF-IDF और RoBERTa: उन्नत टेक्स्ट स्कैनर जिन्हें उपयोग किए गए हमले के विशिष्ट वाक्यांशों को पहचानने के लिए प्रशिक्षित किया गया था।
परिणाम:
- प्लेन टेक्स्ट अटैक (Plain Text Attack): 100% बार ब्लॉक किया गया। स्कैनरों ने शब्दों को देखा और उन्हें रोक दिया।
- कैरियर T3 (फ्रैक्टल नंबर्स): 94.3% सफलता दर।
- सुरक्षा स्कैनरों ने कच्चे (raw) नंबरों को देखा और उनमें कुछ भी संदिग्ध नहीं पाया।
- स्कैनरों ने अंतिम रिपोर्ट (जिसमें डिकोडेड संदेश एक हेक्स-कोड डंप, जैसे
41 42 43...के रूप में दिखाया गया था) को देखा और फिर भी इसे "प्रॉम्प्ट इंजेक्शन" के रूप में फ्लैग नहीं किया क्योंकि यह एक वाक्य जैसा नहीं लग रहा था। - AI मॉडल ने डेटा प्राप्त किया, छिपे हुए संदेश को डिकोड किया, और दुर्भावनापूर्ण निर्देश का पालन किया।
यह क्यों महत्वपूर्ण है (विफलता की सीमा - Failure Boundary)
लेखक यह नहीं कह रहे हैं कि उन्होंने एक अटूट हैक खोज लिया है। वे कह रहे हैं कि उन्होंने एक अंधा बिंदु (blind spot) खोजा है कि हम वर्तमान में AI सिस्टम को कैसे सुरक्षित करते हैं।
- अंधा बिंदु: हम मान लेते हैं कि यदि कोई संदेश दुर्भावनापूर्ण है, तो उसमें दुर्भावनापूर्ण शब्द होंगे।
- वास्तविकता: यदि दुर्भावनापूर्ण सिग्नल संरचित डेटा (जैसे संख्याएं, निर्देशांक, या कॉन्फ़िगरेशन) के भीतर छिपा हुआ है जिसे सुरक्षा जांच के बाद टेक्स्ट में बदला जाता है, तो सुरक्षा गार्ड को बायपास कर दिया जाता है।
एक पेच (यह पूर्ण नहीं है)
शोध पत्र स्वीकार करता है कि इस विशिष्ट पद्धति (T3) को रोका जा सकता है यदि नियमों को बदल दिया जाए:
- सिमेंटिक वैलिडेशन (Semantic Validation): यदि सिस्टम यह जाँचता है कि, "क्या ये संख्याएँ वास्तव में एक वैध फ्रैक्टल आकार बनाती हैं?" तो यह हमले को पकड़ लेगा क्योंकि बिखरी हुई संख्याएँ एक वास्तविक आकार नहीं बनाती हैं।
- फॉर्मेट डिटेक्शन (Format Detection): यदि सिस्टम कहता है, "मैं इस रिपोर्ट में हेक्स-कोड डंप की अनुमति नहीं देता हूँ," तो यह इसे ब्लॉक कर देगा।
हालाँकि, मुख्य बात यह है कि टेक्स्ट-ओनली स्कैनर (सबसे आम रक्षा) पूरी तरह से विफल रहे। उन्हें पता ही नहीं चला कि हमला हो रहा है क्योंकि निरीक्षण चरण के दौरान "बुरे शब्द" कभी भी शब्दों के रूप में दिखाई नहीं दिए।
एक वाक्य में सारांश
यह शोध पत्र प्रदर्शित करता है कि AI सुरक्षा प्रणालियाँ जो केवल बुरे शब्दों को स्कैन करने पर केंद्रित हैं, उन्हें हानिरहित दिखने वाली संख्याओं के भीतर दुर्भावनापूर्ण निर्देशों को छिपाकर धोखा दिया जा सकता है, जिन्हें सुरक्षा जांच गुजरने के बाद ही पढ़ने योग्य टेक्स्ट में डिकोड किया जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।