💻 computer science

The Defense Trilemma: Why Prompt Injection Defense Wrappers Fail?

यह शोध पत्र एक "डिफेंस ट्राइलेमा" (defense trilemma) को सिद्ध करता है जो यह दर्शाता है कि कनेक्टेड प्रॉम्प्ट स्पेस वाले लैंग्वेज मॉडल्स के लिए कोई भी निरंतर, उपयोगिता-संरक्षण वाला रैपर डिफेंस (utility-preserving wrapper defense), प्रॉम्प्ट इंजेक्शन के विरुद्ध पूर्ण सुरक्षा की गारंटी नहीं दे सकता है, जो कि एक सैद्धांतिक असंभवता है जिसे लीन 4 (Lean 4) में यांत्रिक रूप से सत्यापित किया गया है और कई एलएलएम (LLMs) में अनुभवजन्य रूप से मान्य किया गया है।

मूल लेखक: Manish Bhatt, Sarthak Munshi, Vineeth Sai Narajala, Idan Habler, Ammar Al-Kahfah, Ken Huang, Blake Gatto

प्रकाशित 2026-04-09

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Manish Bhatt, Sarthak Munshi, Vineeth Sai Narajala, Idan Habler, Ammar Al-Kahfah, Ken Huang, Blake Gatto

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, लेकिन कभी-कभी शरारती रोबोट सहायक है। आप एक "सुरक्षा गार्ड" (एक सॉफ्टवेयर रैपर) बनाना चाहते हैं जो रोबोट के सामने खड़ा हो। गार्ड का काम उपयोगकर्ता द्वारा कही गई हर बात को पढ़ना, किसी भी खतरनाक लगने वाली चीज़ को ठीक करना और फिर साफ किए गए संदेश को रोबोट तक पहुँचाना है।

लक्ष्य सरल है: यह सुनिश्चित करना कि रोबोट कभी भी कुछ बुरा न करे, बिना उपयोगकर्ता के वास्तविक अर्थ को बदले।

यह शोध पत्र तर्क देता है कि यह गणितीय रूप से असंभव है यदि आप चाहते हैं कि आपका सुरक्षा गार्ड सुचारू (smooth), विनम्र और सहायक हो।

यहाँ बताया गया है कि क्यों, सरल उपमाओं का उपयोग करते हुए।

खेल के तीन नियम

लेखक कहते हैं कि एक आदर्श सुरक्षा गार्ड बनाने के लिए, आपको तीन चीजों को एक साथ होने की आवश्यकता है:

सुचारूता (Continuity/Smoothness): यदि कोई उपयोगकर्ता एक ऐसा वाक्य टाइप करता है जो लगभग सुरक्षित है, तो गार्ड को उसे अचानक पूरी तरह से अलग चीज़ में नहीं बदलना चाहिए। इनपुट में छोटे बदलावों से आउटपुट में छोटे बदलाव होने चाहिए। (इसे एक हल्की ढलान की तरह सोचें, न कि एक खड़ी चट्टान की तरह)।
सहायकता (Utility Preservation): यदि कोई उपयोगकर्ता एक पूरी तरह से सुरक्षित प्रश्न पूछता है (जैसे "मौसम कैसा है?"), तो गार्ड को इसे बिना बदले गुजरने देना चाहिए। आप नहीं चाहेंगे कि गार्ड गलती से एक अच्छे प्रश्न को खराब कर दे।
पूर्णता (Completeness): गार्ड को हर एक खतरनाक अनुरोध को पकड़ना चाहिए और उसे ठीक करना चाहिए ताकि रोबोट कभी भी असुरक्षित चीज़ न देख सके।

बड़ी खबर: आप किन्हीं भी दो चीजों को पा सकते हैं, लेकिन आप इन तीनों को एक साथ कभी नहीं पा सकते। इसे "डिफेंस ट्राइलेमा" (Defense Trilemma) कहा जाता है।

उपमा: "सुरक्षित क्षेत्र" और "खतरा क्षेत्र"

कल्पना कीजिए कि प्रश्नों की दुनिया एक विशाल मानचित्र है।

सुरक्षित क्षेत्र (Safe Zone): एक हरा क्षेत्र जहाँ सभी प्रश्न हानिरहित हैं।
खतरा क्षेत्र (Danger Zone): एक लाल क्षेत्र जहाँ प्रश्न हानिकारक हैं।
सीमा (The Border): वह पतली रेखा जो हरे से लाल को अलग करती है।

समस्या:
सुरक्षा गार्ड का एक नियम है: "यदि आप ग्रीन ज़ोन में हैं, तो मैं आपको नहीं छूऊंगा।"
क्योंकि गार्ड सुचारू (Smooth) है, वे किनारे पर अचानक "मैं आपको नहीं छूऊंगा" से "मैं आपको ठीक करूँगा" में नहीं बदल सकते। उन्हें क्रमिक होना होगा।

तो, ग्रीन ज़ोन के बिल्कुल किनारे पर क्या होता है?
गार्ड को वहाँ खड़ा होना पड़ेगा और कहना होगा, "मैं आपको नहीं छूऊंगा," क्योंकि तकनीकी रूप से आप अभी भी ग्रीन ज़ोन में हैं। लेकिन, क्योंकि आप किनारे पर हैं, आप खतरनाक रेड ज़ोन के भी बहुत करीब हैं।

परिणाम:
हमेशा कुछ ऐसे प्रश्न होंगे जो बिल्कुल सीमा पर होंगे। गार्ड उन्हें "सुरक्षित" देखता है (क्योंकि सहायकता का नियम लागू है) और उन्हें गुजरने देता है। लेकिन क्योंकि गार्ड सुचारू है, वे इन सीमावर्ती प्रश्नों को वास्तव में सुरक्षित बनाने के लिए खतरे से दूर नहीं धकेल पाते।

गार्ड फंस जाता है। वे एक खतरनाक प्रश्न को जाने देते हैं क्योंकि वे बहुत विनम्र हैं, और उन्हें ठीक करने के लिए वे बहुत सुचारू (smooth) हैं।

विफलता के तीन स्तर

शोध पत्र सिद्ध करता है कि यह विफलता तीन बढ़ते हुए तरीकों से होती है:

"किनारे पर अटके रहने" की समस्या (The "Stuck at the Edge" Problem):
गार्ड को कम से कम एक विशिष्ट "सीमावर्ती" प्रश्न को पूरी तरह से अछूता छोड़ना ही होगा। यह एक ऐसे गार्ड की तरह है जो संपत्ति की रेखा पर खड़े व्यक्ति को हटने से मना कर देता है, भले ही वह व्यक्ति पड़ोसी के लॉन में कदम रखने ही वाला हो।
"धुंधला क्षेत्र" की समस्या (The "Fuzzy Zone" Problem):
चूंकि गार्ड सुचारू है, वे केवल उस एक अटके हुए प्रश्न को ठीक नहीं कर सकते। उन्हें उस अटके हुए प्रश्न के पास के सभी प्रश्नों के साथ भी कोमल होना होगा। यह उन प्रश्नों की एक "धुंधली पट्टी" (fuzzy band) बनाता है जो थोड़े खतरनाक हैं लेकिन गार्ड उन्हें ठीक करने के लिए बहुत कोमल है।
"भाग जाने" की समस्या (The "Runaway" Problem):
कल्पना कीजिए कि "खतरा" सुरक्षित क्षेत्र से दूर जाने पर और भी तीव्र होता जा रहा है (एक खड़ी चट्टान की तरह)। गार्ड उपयोगकर्ता को वापस खींचने की कोशिश करता है, लेकिन चट्टान बहुत खड़ी है। गार्ड कितनी भी कोशिश करे, मानचित्र का एक पूरा हिस्सा ऐसा होगा जहाँ उपयोगकर्ता फिर भी नीचे गिर जाएगा। गार्ड उन्हें "सुचारूता" या "सहायकता" के नियमों को तोड़े बिना वापस नहीं खींच सकता।

डिस्क्रीट डिफेंस (Discrete Defenses) के बारे में क्या? (एक "हार्ड ब्लॉक" की उपमा)

आप पूछ सकते हैं, "क्या होगा अगर गार्ड सुचारू नहीं है? क्या होगा अगर वे संदिग्ध होने पर सीधे 'नहीं' कह दें?"
शोध पत्र कहता है कि यदि आप गार्ड को सुचारू नहीं बनाते हैं (उदाहरण के लिए, वे एक प्रश्न को ब्लॉक कर देते जो 99% सुरक्षित है), तो आप सहायकता के नियम को तोड़ देते हैं। आप गलती से अच्छे प्रश्नों को भी ब्लॉक करने लगते हैं।
वैकल्पिक रूप से, यदि आप पूर्ण और सुचारू बनना चाहते हैं, तो आपको कुछ बुरे प्रश्नों को मिस करने को स्वीकार करना होगा।

तो क्या डिफेंस बेकार है?

नहीं! यह शोध पत्र यह नहीं कह रहा है कि "हार मान लो।" यह कह रहा है कि "एक ऐसा जादुई कवच बनाने की कोशिश छोड़ दो जो सब कुछ कर सके।"

इसके बजाय, लेखक एक नई रणनीति का सुझाव देते हैं:

सीमा को उथला बनाएं: हर बुरे प्रश्न को रोकने के बजाय, "खतरे" को कम गंभीर बनाएं। यदि रोबोट किसी सीमावर्ती प्रश्न पर चूक जाता है, तो शायद वह केवल एक विनम्र इनकार दे, न कि कोई हानिकारक उत्तर।
मानचित्र को सरल बनाएं: प्रश्न पूछने के तरीकों की संख्या कम करें (जटिलता को कम करें)। एक पूरे जंगल की रक्षा करने की तुलना में एक छोटे बगीचे की रक्षा करना आसान है।
सीमा पर नज़र रखें: चूंकि आप सब कुछ नहीं रोक सकते, इसलिए सीमा पर एक कैमरा लगाएं। यदि कोई किनारे के बहुत करीब पहुँच जाता है, तो एक इंसान या एक अलग सिस्टम हस्तक्षेप कर सकता है।

निचोड़ (The Bottom Line)

आप ऐसा सॉफ़्टवेयर रैपर नहीं बना सकते जो सुचारू हो, अच्छे प्रश्नों को खराब न करे, और हर बुरे प्रश्न को पकड़े—यह सब एक साथ। आपको चुनना होगा कि आप किन दो को चाहते हैं, और यह स्वीकार करना होगा कि तीसरे के साथ समझौता करना पड़ेगा। सुरक्षा इंजीनियरिंग का लक्ष्य इस समझौते (trade-off) को प्रबंधित करना है, न कि इसे मिटाने की इच्छा करना।

यहाँ शोध पत्र "The Defense Trilemma: Why Prompt Injection Defense Wrappers Fail?" का विस्तृत तकनीकी सारांश दिया गया है:

1. समस्या का विवरण (Problem Statement)

यह शोध पत्र लार्ज लैंग्वेज मॉडल (LLM) सुरक्षा में एक मौलिक प्रश्न को संबोधित करता है: क्या एक 'रैपर डिफेंस' (wrapper defense) सभी प्रॉम्प्ट इंजेक्शन कमजोरियों को समाप्त कर सकता है?
वर्तमान रक्षा तंत्र (इनपुट क्लासिफायर, आउटपुट फिल्टर, कॉन्स्टिट्यूशनल रीराइटिंग) आम तौर पर एक फलन $D: X \to X$ के रूप में कार्य करते हैं जो मॉडल द्वारा देखे जाने से पहले इनपुट को प्रीप्रोसेस करते हैं। ये रक्षा तंत्र आमतौर पर दो गुणों को संतुष्ट करने का लक्ष्य रखते हैं:

उपयोगिता संरक्षण (Utility Preservation): सुरक्षित प्रॉम्प्ट बिना किसी परिवर्तन के गुजरने चाहिए ( $x$ के लिए $D(x) = x$ )।
पूर्णता (Completeness): सभी आउटपुट सुरक्षित होने चाहिए ( $सभी\ x\ के\ लिए\ f(D(x)) < \tau$ )।

लेखक तर्क देते हैं कि निरंतरता (continuity) (समान प्रॉम्प्ट समान पुनर्गठन प्रदान करते हैं) और एक जुड़े हुए प्रॉम्प्ट स्पेस (connected prompt space) के अनुमान के तहत, उपयोगिता संरक्षण और पूर्णता दोनों को एक साथ संतुष्ट करना गणितीय रूप से असंभव है।

2. कार्यप्रणाली (Methodology)

यह शोध पत्र टोपोलॉजी (topology), मेट्रिक ज्योमेट्री (metric geometry) और फॉर्मल वेरिफिकेशन (formal verification) को संयोजित करने वाले एक कठोर गणितीय ढांचे का उपयोग करता है:

औपचारिक ढांचा (Formal Framework):
- प्रॉम्प्ट स्पेस ( $X$ ): एक कनेक्टेड हाउज़डॉर्फ स्पेस (एक ऐसा स्थान जो "एक ही टुकड़े में" है) के रूप में मॉडल किया गया है।
- अलाइनमेंट डेविएशन ( $f$ ): एक निरंतर मानचित्र $f: X \to \mathbb{R}$ जो मापता है कि एक प्रॉम्प्ट कितना असुरक्षित है।
- क्षेत्र (Regions): सुरक्षित ( $S_\tau = \{x | f(x) < \tau\}$ ), असुरक्षित ( $U_\tau = \{x | f(x) > \tau\}$ ), और सीमा ( $B_\tau = \{x | f(x) = \tau\}$ )।
- डिफेंस ( $D$ ): एक निरंतर मानचित्र $D: X \to X$ ।
मान्यताएं (Assumptions):
- निरंतरता (Continuity): इनपुट में छोटे बदलावों से आउटपुट में छोटे बदलाव आते हैं (मात्रात्मक सीमाओं के लिए लिप्सचिट्ज़ रेगुलैरिटी (Lipschitz regularity) का उपयोग किया गया है)।
- उपयोगिता संरक्षण (Utility Preservation): सभी $x \in S_\tau$ के लिए $D(x) = x$ ।
सत्यापन (Verification): संपूर्ण सैद्धांतिक ढांचे (45 फाइलें, ~350 प्रमेय) को Lean 4 में Mathlib लाइब्रेरी का उपयोग करके यांत्रिक रूप से सत्यापित किया गया है, जो शून्य तार्किक अंतराल सुनिश्चित करता है।
अनुभवजन्य सत्यापन (Empirical Validation): सिद्धांत का परीक्षण तीन LLMs (Llama-3-8B, GPT-OSS-20B, GPT-5-Mini) पर एक 2D व्यवहारिक स्थान (क्वेरी इंडायरेक्शन बनाम अथॉरिटी फ्रेमिंग) का उपयोग करके किया गया है।

3. मुख्य योगदान: डिफेंस ट्रिलेमा (Key Contributions: The Defense Trilemma)

मुख्य योगदान एक ट्रिलेमा (Trilemma) का प्रमाण है: एक निरंतर, उपयोगिता-संरक्षण वाला रैपर डिफेंस, पूर्ण नहीं हो सकता। लेखक तीन असंभवता परिणामों का एक पदानुक्रम स्थापित करते हैं, जिनमें से प्रत्येक अधिक मजबूत परिकल्पनाओं के तहत है:

A. बाउंड्री फिक्सेशन (Boundary Fixation) (प्रमेय 4.1)

अवधारणा: एक कनेक्टेड स्पेस में, एक निरंतर फलन के फिक्स्ड पॉइंट्स (fixed points) का सेट क्लोज्ड होता है। चूंकि डिफेंस को सभी सुरक्षित इनपुट को फिक्स करना चाहिए (एक ओपन सेट), इसलिए इस सेट का क्लोजर इस सीमा (boundary) को भी शामिल करना चाहिए।
परिणाम: कम से कम एक बाउंड्री पॉइंट $z$ (जहाँ $f(z) = \tau$ ) मौजूद है ऐसा कि $D(z) = z$ । डिफेंस को कुछ थ्रेशोल्ड-स्तर के इनपुट को अपरिवर्तित छोड़ना ही होगा, जिससे वे सुधार में विफल हो जाते हैं।

B. $\epsilon$ -रोबस्ट बाधा ( $\epsilon$ -Robust Constraint) (प्रमेय 5.1)

अवधारणा: लिप्सचिट्ज़ रेगुलैरिटी के तहत (जहाँ $f$ $L$ -लिप्सचिट्ज़ है और $D$ $K$ -लिप्सचिट्ज़ है), बाउंड्री पर विफलता निकटवर्ती क्षेत्र में फैल जाती है।
परिणाम: $z$ के पास के किसी भी बिंदु $x$ के लिए, डिफेंस अलाइनमेंट डेविएशन को महत्वपूर्ण रूप से कम नहीं कर सकता है। विशेष रूप से:
$f(D(x)) \geq \tau - LK \cdot \text{dist}(x, z)$
यह बाउंड्री के पास इनपुट का एक "बैंड" बनाता है जहाँ डिफेंस बाधित होता है और सुरक्षा की गारंटी नहीं दे पाता है।

C. निरंतर असुरक्षित क्षेत्र (Persistent Unsafe Region) (प्रमेय 6.3)

अवधारणा: यदि अलाइनमेंट सतह कुछ दिशाओं में डिफेंस की क्षमता से अधिक तेजी से ऊपर उठती है (anisotropy), तो एक पूरी तरह से असुरक्षित इनपुट का क्षेत्र बना रहता है।
शर्त: इसके लिए एक ट्रांसवर्सलिटी कंडीशन (transversality condition) की आवश्यकता है जहाँ अलाइनमेंट सतह का दिशात्मक ग्रेडिएंट $G$ , डिफेंस की क्षमता से अधिक हो: $G > \ell(K + 1)$ (जहाँ $\ell$ डिफेंस-पाथ लिप्सचिट्ज़ स्थिरांक है)।
परिणाम: एक धनात्मक माप (positive measure) वाला सेट $S$ मौजूद है जहाँ $f(D(x)) > \tau$ है। डिफेंस इनपुट के एक धनात्मक-माप वाले उपसमुच्चय को स्पष्ट रूप से असुरक्षित छोड़ देता है।

4. अतिरिक्त सैद्धांतिक विस्तार (Additional Theoretical Extensions)

यह शोध पत्र इन परिणामों को व्यापक परिदृश्यों तक विस्तारित करता है, यह सिद्ध करते हुए कि असंभवता बनी रहती है:

डिस्क्रीट डेटा (Discrete Data): परिमित सेटों (finite sets) पर भी, एक डिफेंस को या तो अपूर्ण (कुछ असुरक्षित इनपुट को ठीक करने में विफल) होना चाहिए या गैर-इंजेक्टिव (विभिन्न इनपुट को समाहित करना, जिससे सूचना/उपयोगिता नष्ट हो जाती है) होना चाहिए।
मल्टी-टर्न इंटरैक्शन (Multi-Turn Interactions): बाउंड्री फिक्सेशन बातचीत के प्रत्येक टर्न पर लागू होता है; हमलावर समय के साथ इसका फायदा उठा सकते हैं।
स्टोकेस्टिक डिफेंस (Stochastic Defenses): यदि डिफेंस रैंडमनेस (randomness) का उपयोग करता है, तो बाउंड्री पर अपेक्षित स्कोर $\tau$ बना रहता है, जिसका अर्थ है कि असुरक्षित आउटपुट उत्पन्न करने की एक गैर-शून्य संभावना होती है।
पाइपलाइन डिफेंस (Pipeline Defenses): मल्टी-स्टेज पाइपलाइनों में, प्रभावी लिप्सचिट्ज़ स्थिरांक गहराई के साथ तेजी से बढ़ता है ( $K^n$ ), जिससे विफलता बैंड चौड़ा हो जाता है।

5. अनुभवजन्य परिणाम (Empirical Results)

लेखकों ने अपने सिद्धांत को तीन मॉडलों पर मान्य किया:

Llama-3-8B: इसने एक "लगभग-फ्लैट" अलाइनमेंट सतह और बड़े रोबस्टनेस रेडियस प्रदर्शित किया। स्टीपनेस कंडीशन ( $G > \ell(K+1)$ ) पूरी हुई, जिससे निरंतर असुरक्षित क्षेत्रों के अस्तित्व की पुष्टि हुई।
GPT-OSS-20B: इसने कई छोटे टुकड़ों वाला एक "रग्ड" (rugged) लैंडस्केप दिखाया, जो बाउंड्री संरचनाओं पर सिद्धांत की भविष्यवाणियों के अनुरूप है।
GPT-5-Mini: इसका पीक अलाइनमेंट डेविएशन 0.50 था। चुने गए थ्रेशोल्ड पर, असुरक्षित क्षेत्र खाली था ( $U_\tau = \emptyset$ ), जो सही ढंग से भविष्यवाणी करता है कि असंभवता प्रमेय लागू नहीं होते (क्योंकि मॉडल उस थ्रेशोल्ड पर स्वाभाविक रूप से सुरक्षित था)।

6. महत्व और इंजीनियरिंग निहितार्थ (Significance and Engineering Implications)

यह शोध पत्र LLM डिफेंस के प्रतिमान को उन्मूलन (elimination) से प्रबंधन (management) की ओर स्थानांतरित करता है।

रैपर्स के लिए "नो फ्री लंच" (The "No Free Lunch" for Wrappers): यह सिद्ध करता है कि कोई भी निरंतर रैपर उपयोगिता से समझौता किए बिना या विच्छेदन (discontinuities) पेश किए बिना प्रॉम्प्ट इंजेक्शन के लिए "सिल्वर बुलेट" नहीं हो सकता।
डिजाइन निर्देश (Design Prescriptions):
1. उथली सीमाएँ (Shallow Boundaries): थ्रेशोल्ड $\tau$ को इस तरह ट्यून करें कि बाउंड्री-स्तर का व्यवहार सौम्य हो (जैसे, हानिकारक अनुपालन के बजाय एक विनम्र इनकार)।
2. स्मूथ सतहें (Smooth Surfaces): लिप्सचिट्ज़ स्थिरांक $L$ को कम करें ताकि निरंतर असुरक्षित क्षेत्र संकीर्ण हो सके, भले ही यह कमजोरियों को व्यापक क्षेत्र में फैला दे।
3. डायमेंशनलिटी रिडक्शन (Dimensionality Reduction): प्रॉम्प्ट इंटरफेस (API पैरामीटर, कॉन्टेक्स्ट लेंथ) को सीमित करें ताकि डाइमेंशनलिटी $d$ को कम किया जा सके, जिससे स्पेस प्रबंधनीय बने।
4. निगरानी (Monitoring): बाउंड्री को खत्म करने के बजाय, रनटाइम मॉनिटरिंग तैनात करें ताकि यह पता लगाया जा सके कि कब इनपुट बाउंड्री के करीब पहुँच रहे हैं।

निष्कर्ष (Conclusion)

यह शोध पत्र एक मौलिक डिफेंस ट्रिलेमा (Defense Trilemma) स्थापित करता है: निरंतरता (Continuity), उपयोगिता संरक्षण (Utility Preservation), और पूर्णता (Completeness) एक साथ नहीं रह सकते। हालांकि यह डिफेंस को निरर्थक नहीं बनाता है, लेकिन यह निर्धारित करता है कि प्रभावी सुरक्षा रणनीतियों को सरल निरंतर रैपर्स से आगे बढ़कर ट्रेनिंग-टाइम अलाइनमेंट, आर्किटेक्चरल बदलाव, डिस्कंटीनस फिल्टरिंग या ह्यूमन-इन-द-लूप सिस्टम को अपनाना चाहिए। यह कार्य Lean 4 में इसके कठोर औपचारिक सत्यापन के कारण उल्लेखनीय है, जो LLM सुरक्षा की संरचनात्मक सीमाओं को समझने के लिए एक गणितीय रूप से सुदृढ़ आधार प्रदान करता है।