← नवीनतम पेपर
💬 NLP

Semantic-Preserving Prompt Hijacking: A Black-Box Adversarial Attack on Auto-Prompt Optimization

यह शोध पत्र "सिमेंटिक-प्रिजर्विंग प्रॉम्प्ट हाइजैकिंग" (Semantic-Preserving Prompt Hijacking) को प्रस्तुत करता है, जो एक ब्लैक-बॉक्स एडवर्सरियल हमला है, जो मूल इनपुट के साथ उच्च सिमेंटिक समानता बनाए रखते हुए आउटपुट विचलन को अधिकतम करने के लिए सूक्ष्म सिमेंटिक बदलावों को प्रेरित करके ऑटो-प्रॉम्प्ट ऑप्टिमाइज़ेशन मॉड्यूल को हेरफेर करने हेतु एक एडेप्टिव ग्रीडी लोकल सर्च (Adaptive Greedy Local Search) विधि का उपयोग करता है।

मूल लेखक: Chong Zhang, Xiang Li, Jia Wang, Shan Liang, Haochen Xue, Xiaobo Jin

प्रकाशित 2026-06-16
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Chong Zhang, Xiang Li, Jia Wang, Shan Liang, Haochen Xue, Xiaobo Jin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, सहायक असिस्टेंट से बात कर रहे हैं। आपके प्रश्न का उत्तर देने से पहले, इसमें एक "विचारशील संपादक" (thoughtful editor) है जो आपके वाक्य को अधिक स्पष्ट और विनम्र बनाने के लिए उसे फिर से लिखता है। आप स्क्रीन पर उसका पुनर्गठित संस्करण देखते हैं, और आप सोचते हैं, "ओह, यह कहने का एक अच्छा तरीका है!" इसलिए आप असिस्टेंट को आगे बढ़ने देते हैं।

यह शोध पत्र, "सेमेंटिक-प्रिजर्विंग प्रॉम्प्ट हाइजैकिंग" (Semantic-Preserving Prompt Hijacking), उजागर करता है कि कैसे हमलावर एक चालाकी भरी तकनीक का उपयोग करके इस "संपादक" को आपके प्रश्न को इस तरह बदलने के लिए धोखा दे सकते हैं जिससे आपको पता भी न चले, लेकिन जो असिस्टेंट के अंतिम उत्तर को पूरी तरह से भ्रमित कर दे।

यहाँ बताया गया है कि यह कैसे काम करता है, सरल उपमाओं (analogies) का उपयोग करते हुए:

1. सेटअप: "सहायक संपादक"

कई आधुनिक AI सिस्टम (जैसे Bing Copilot या Claude) में एक फीचर होता है जहाँ वे आपके इनपुट को लेते हैं और कहते हैं, "मुझे लगता है कि आप इसे इस तरह पूछना चाहते थे..." और आपको एक परिष्कृत संस्करण दिखाते हैं।

  • लक्ष्य: यह विश्वास बनाने के लिए होना चाहिए। यह दिखाता है कि AI आपकी बात सुन रहा है और मदद करने की कोशिश कर रहा है।
  • खामी: AI को कई संभावनाओं में से केवल एक "सर्वश्रेष्ठ" संस्करण चुनना होता है। शोधकर्ताओं ने पाया कि यदि आप आपके मूल शब्दों को पर्याप्त रूप से इधर-उधर कर देते हैं, तो आप AI के संपादक को एक ऐसा संस्करण चुनने के लिए धोखा दे सकते हैं जो आपके लिए सामान्य दिखता है लेकिन वास्तव में AI के लिए एक जाल है।

2. हमला: "ट्रोजन हॉर्स" वाक्य

शोधकर्ता इस पद्धति को AGLS (Adaptive Greedy Local Search) कहते हैं। इसे एक मास्टर जासूस द्वारा खेले जाने वाले "टेलीफोन" (Telephone) गेम की तरह समझें।

  • लक्ष्य: हमलावर का लक्ष्य वाक्य के अर्थ को बहुत अधिक बदले बिना (ताकि उपयोगकर्ता को पता न चले) AI का उत्तर बदलना है (उदाहरण के लिए, उसे गलत गणित का उत्तर देने के लिए मजबूर करना)।
  • समस्या: यदि आप बहुत अधिक शब्द बदलते हैं, तो AI का संपादक समझ जाता है, "अरे, यह उस जैसा नहीं दिख रहा है जो उपयोगकर्ता ने टाइप किया था!" और इसे खारिज कर देता है। यदि आप बहुत कम बदलते हैं, तो AI अभी भी सही उत्तर देता है।
  • समाधान (AGLS): यह विधि वाक्य को छोटे टुकड़ों (जैसे क्लॉज या वाक्यांशों) में तोड़ देती है। फिर यह हर चरण में "गोल्डिलॉक्स" (Goldilocks) का खेल खेलती है:
    1. यह एक शब्द बदलती है (जैसे "खाया" को "उपभोग किया" में बदलना)।
    2. यह जाँचती है: "क्या यह अभी भी मूल अर्थ के पर्याप्त करीब है?"
    3. ट्विस्ट: यदि अर्थ बहुत अधिक करीब है, तो यह थोड़ा अधिक भ्रमित करने वाला शब्द डाल देती है। यदि यह बहुत दूर है, तो यह वापस सुरक्षित विकल्प पर आ जाती है।
    4. यह चरण-दर-चरण ऐसा करती है, लगातार समायोजन करती है, जब तक कि वह उस "परफेक्ट" संस्करण को न खोज ले जो एक इंसान के लिए निर्दोष दिखता है लेकिन AI को गलत रास्ते पर भेज देता है।

3. परिणाम: "हाइजैक किया गया" उत्तर

शोध पत्र ने गणित, पठन समझ (reading comprehension), और तर्क (logic) से जुड़े 2,400 से अधिक विभिन्न प्रश्नों पर GPT-4 और Llama जैसे लोकप्रिय AI मॉडल का परीक्षण किया।

  • परिणाम: "हाइजैक किए गए" प्रॉम्प्ट्स ने AI को गलत उत्तर देने के लिए बहुत अधिक बार सफलतापूर्वक धोखा दिया, जो पिछले हमलों के तरीकों की तुलना में कहीं अधिक था।
  • छवि (Stealth): क्योंकि हमलावर ने परिवर्तनों को सावधानीपूर्वक संतुलित किया था, इसलिए "संपादक" को अभी भी लगा कि वह उपयोगकर्ता की मदद कर रहा है, और उपयोगकर्ता को भी लगा कि वाक्य का अर्थ समझ में आ रहा है। लेकिन AI का अंतिम उत्तर पूरी तरह से भटका हुआ था।

4. यह क्यों महत्वपूर्ण है (शोध पत्र के अनुसार)

लेखकों का तर्क है कि यह एक नए प्रकार का सुरक्षा छेद (security hole) है।

  • विडंबना: वे फीचर्स जो AI को अधिक पारदर्शी (आपको दिखाना कि वह क्या सोच रहा है) बनाने के लिए डिज़ाइन किए गए हैं, वे वास्तव में इसे धोखा देने का एक नया तरीका बना रहे हैं।
  • पैमाना: यह मुफ्त, ओपन-सोर्स मॉडल और महंगे, व्यावसायिक मॉडल (जैसे GPT-4) दोनों पर काम करता है।
  • बचाव: शोध पत्र सुझाव देता है कि इसे रोकने के लिए, AI डेवलपर्स को अपने "संपादकों" को इन सूक्ष्म, चरण-दर-चरण हेरफेर का पता लगाने में अधिक स्मार्ट बनाना होगा, शायद रैंडम चेक जोड़कर या केवल छोटे शब्द बदलावों के बजाय पूरे चित्र को देखकर।

संक्षेप में: शोध पत्र दिखाता है कि कैसे शब्दों को एक-एक करके सावधानीपूर्वक बदलकर और लगातार यह जाँचते हुए कि "यह मूल के कितना करीब है?", एक हमलावर AI के "सहायक संपादक" को हाइजैक कर सकता है ताकि वह गलत उत्तर देने के लिए मजबूर हो जाए, जबकि उपयोगकर्ता एक बिल्कुल सामान्य वाक्य देखता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💬 cs.CL →