Amplify, Don't Create: Temporal Accumulation for Slow-Burn Prompt Injection
यह शोध पत्र यह प्रदर्शित करता है कि जबकि CUSUM जैसी टेम्पोरल एक्यूमुलेशन (temporal accumulation) तकनीकें उन 'स्लो-बर्न' हमलों का पता लगाने के लिए कमजोर, वितरित प्रॉम्प्ट-इंजेक्शन संकेतों को बढ़ा सकती हैं जो प्रति-घटना डिटेक्टरों से बच निकलते हैं, उनकी प्रभावशीलता सख्ती से उन परिदृश्यों तक सीमित है जहाँ व्यक्तिगत घटनाओं में पहले से ही एक पता लगाने योग्य सिग्नल मार्जिन मौजूद होता है, और वे वहां पहचान क्षमता उत्पन्न करने में विफल रहती हैं जहाँ कोई संकेत मौजूद ही नहीं है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Amplify, Don't Create: Temporal Accumulation for Slow-Burn Prompt Injection" शोध पत्र का सरल भाषा और उपमाओं के साथ विवरण दिया गया है।
मुख्य विचार: "फुसफुसाहट" वाला हमला (The "Whispering" Attack)
कल्पना कीजिए कि आप एक किले (एक AI एजेंट) की रक्षा कर रहे हैं। आपके पास एक सुरक्षा गार्ड (डिटेक्टर) है जो गेट से प्रवेश करने वाले हर व्यक्ति की जाँच करता है। यदि कोई चिल्लाकर गुप्त कोड बोलता है ("गेट खोल दो!"), तो गार्ड तुरंत अलार्म बजा देता है।
लेकिन क्या होगा अगर हमलावर चिल्लाए नहीं? क्या होगा अगर वे हर बार जब वे किसी अलग दरवाजे से गुजरते हैं, तो गार्ड के कान में एक छोटी, हानिरहित लगने वाली हिदायत फुसफुसाते हैं?
- "वैसे, क्या आप मैप चेक कर सकते हैं?" (हानिरहित)
- "ओह, और शायद इस पुरानी फाइल को देख लें?" (हानिरहित)
- "बस एक और चीज़, वह फाइल मेरे घर भेज देना?" (हानिरहित)
व्यक्तिगत रूप से, इनमें से कोई भी फुसफुसाहट इतनी तेज़ नहीं है कि गार्ड का अलार्म बजा सके। लेकिन यदि आप पूरे दिन की बात सुनें, तो फुसफुसाहटों का पैटर्न किले के रहस्य चुराने की योजना को उजागर कर देता है। यही वह चीज़ है जिसे यह शोध पत्र "स्लो-बर्न" (Slow-Burn) हमला कहता है।
समस्या: गार्ड बहुत अधिक केंद्रित है (The Problem: The Guard is Too Focused on the Loud)
यह शोध पत्र तर्क देता है कि वर्तमान सुरक्षा प्रणालियाँ उन गार्डों की तरह हैं जो केवल तेज़ आवाज़ों को सुनते हैं। वे हर एक संदेश की एक-एक करके जाँच करते हैं। यदि कोई संदेश "शांत" (एक निश्चित वॉल्यूम थ्रेशोल्ड से नीचे) है, तो गार्ड उसे अनदेखा कर देता है।
समस्या यह है कि एक चतुर हमलावर अपनी बुरी हिदायतों को कई छोटी, शांत फुसफुसाहटों में विभाजित कर सकता है। गार्ड किसी भी एक फुसफुसाहट में कुछ भी संदिग्ध नहीं देखता, इसलिए हमला सफल हो जाता है।
प्रस्तावित समाधान: "ध्वनि संचयक" (The Proposed Solution: The "Sound Accumulator")
शोधकर्ताओं ने पूछा: क्या होगा अगर हम एक दूसरा सुरक्षा स्तर जोड़ दें जो न केवल तेज़ आवाज़ों को सुनता है, बल्कि "संदिग्ध फुसफुसाहटों" का एक चलता-फिरना हिसाब भी रखता है?
उन्होंने एक उपकरण बनाया जिसे टेम्पोरल एक्युमुलेटर (Temporal Accumulator) कहा जाता है। इसे एक "संदेह के बचत खाते" की तरह समझें:
- हर बार जब गार्ड किसी संदेश को स्कोर देता है, तो एक्युमुलेटर उस स्कोर को देखता है।
- यदि स्कोर "सामान्य" है (जैसे कि एक सामान्य बातचीत), तो खाते का बैलेंस शून्य रहता है।
- यदि स्कोर थोड़ा "बढ़ा हुआ" है (एक ऐसी फुसफुसाहट जो थोड़ी अजीब लगती है, लेकिन मुख्य अलार्म बजाने के लिए पर्याप्त तेज़ नहीं है), तो एक्युमुलेटर बैलेंस में थोड़े से "संदेह अंक" (suspicion points) जोड़ देता है।
- यदि समय के साथ बैलेंस बहुत अधिक हो जाता है, तो यह अलार्म बजा देता है।
प्रयोग: क्या यह काम करता है? (The Experiment: Does It Work?)
शोधकर्ताओं ने यह सुनिश्चित करने के लिए कि वे धोखाधड़ी नहीं कर रहे हैं (उन्होंने हमले को डिज़ाइन करते समय हमलावर को नया सुरक्षा सिस्टम देखने नहीं दिया), इस विचार का परीक्षण बहुत सख्त नियमों के साथ किया।
उन्होंने दो बहुत विशिष्ट परिणाम पाए:
1. यह काम करता है, लेकिन केवल एक "एम्प्लीफायर" (बढ़ाने वाले) के रूप में
एक्युमुलेटर शून्य से संकेत पैदा नहीं कर सकता। यह केवल उसी संकेत को बढ़ा (amplify) सकता है जो पहले से ही वहां मौजूद है।
- उपमा: कल्पना कीजिए कि आप एक लीक होते पाइप से बाल्टी भरने की कोशिश कर रहे हैं। यदि पाइप में पानी का दबाव बिल्कुल नहीं है (डिटेक्टर हमले और सामान्य गतिविधि के बीच कोई अंतर नहीं देख पाता), तो कितना भी समय बीत जाए, बाल्टी नहीं भरेगी। लेकिन यदि पाइप में थोड़ा सा दबाव है (डिटेक्टर हमले को सामान्य से थोड़ा अलग देखता है), तो एक्युलेटर उस थोड़े से अंश को इकट्ठा कर सकता है जब तक कि बाल्टी भर न जाए।
- परिणाम: एक विशिष्ट कार्य पर (Git रिपॉजिटरी से कोड चुराना), डिटेक्टर ने हमले और सामान्य गतिविधि के बीच एक सूक्ष्म अंतर देखा। एक्युलेटर ने उन सूक्ष्म अंतरों को इकट्ठा किया और सफलतापूर्वक हमले को पकड़ लिया।
2. यह विफल हो जाता है जब सिग्नल शून्य होता है
जब उन्होंने दूसरे कार्य (फाइलें डाउनलोड करना) पर यही तरकीब आजमाई, तो डिटेक्टर ने हमले और सामान्य गतिविधि के बीच कोई अंतर नहीं देखा। "पाइप" में शून्य दबाव था।
- परिणाम: एक्युमीटर खाली बाल्टी के साथ बैठा रहा। यह शून्य में से संकेत पैदा नहीं कर सका। शोध पत्र निष्कर्ष निकालता है: "Amplify, Don't Create" (बढ़ाएं, बनाएं नहीं)। यदि आपका बुनियादी सुरक्षा गार्ड फुसफुसाहट और फुसफुसाहट के बीच अंतर नहीं कर सकता, तो एक गिनती करने वाला यंत्र (tally-counter) भी काम नहीं आएगा।
"नैरो बैंड" की चेतावनी (The "Narrow Band" Warning)
शोध पत्र ने यह भी खोजा कि यह प्रणाली बहुत नाजुक है। यह केवल एक बहुत ही संकीर्ण "गोल्डिलॉक्स ज़ोन" (Goldilocks zone) में काम करती है:
- यदि फुसफुसाहटें बहुत शांत हैं (अलार्म थ्रेशोल्ड से बहुत नीचे), तो एक्युलेटर उन्हें अनदेखा कर देता है।
- यदि फुसफुसाहटें बहुत तेज़ हैं (अलार्म थ्रेशोल्ड के करीब), तो मुख्य गार्ड उन्हें तुरंत पकड़ लेता है, इसलिए एक्युलेटर की आवश्यकता नहीं होती।
- यह केवल तभी काम करता है जब फुसफुसाहटें बिल्कुल सही हों: इतनी शांत कि मुख्य गार्ड से बच सकें, लेकिन इतनी तेज़ कि एक्युलेटर के खाते में कुछ अंक जोड़ सकें।
"नकली गणित" की चेतावनी (The "Fake Math" Warning - Pseudo-Replication)
अंत में, शोध पत्र अन्य वैज्ञानिकों को एक चेतावनी देता है। यह कहता है: "गणित से खुद को धोखा न दें।"
- उपमा: कल्पना कीजिए कि आप एक नए मरीज पर एक दवा का परीक्षण करते हैं, और फिर उसी मरीज को 10 बार और वह दवा लेने के लिए कहते हैं और उसे "10 मरीज" के रूप में गिनते हैं। यह नकली डेटा है।
- सबक: AI टेस्टिंग में, यदि आप अलग-अलग AI मॉडल के साथ एक ही कार्य को 10 बार चलाते हैं, तो आप इसे 10 स्वतंत्र परीक्षण नहीं मान सकते। कार्य स्वयं वही है, इसलिए परिणाम आपस में जुड़े हुए हैं। शोध पत्र इस बात पर जोर देता है कि शोधकर्ताओं को अद्वितीय कार्यों (unique tasks) को गिनना चाहिए, न कि केवल उन बार को जब उन्होंने परीक्षण चलाया।
सारांश (Summary)
- हमला: हमलावर बुरी हिदायतों को कई छोटे, शांत चरणों में विभाजित करते हैं ताकि पहचान से बचा जा सके।
- रक्षा: एक "संदेह का बचत खाता" जो समय के साथ छोटी, शांत चेतावनियों को जोड़ता है।
- सावधानी: यह रक्षा केवल तभी काम करती है जब बुनियादी डिटेक्टर पहले से ही "बुरे" और "अच्छे" के बीच थोड़ा अंतर बता सके। यह ऐसे डिटेक्टर को ठीक नहीं कर सकती जो पूरी तरह से अंधा हो।
- निष्कर्ष: टेम्पोरल एक्युलेशन (Temporal accumulation) "स्लो-बर्न" हमलों को पकड़ने के लिए एक उपयोगी उपकरण है, लेकिन यह जादू नहीं है। इसे एक ऐसे डिटेक्टर की नींव की आवश्यकता है जो पहले से ही कुछ हद तक संवेदनशील हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।