💻 computer science

The Security Budget of Code LLMs: An Information-Theoretic Capacity-Security Bound

यह शोध पत्र एक सूचना-सैद्धांतिक सीमा (information-theoretic bound) स्थापित और अनुभवजन्य रूप से मान्य करता है जो यह प्रदर्शित करता है कि कोड LLMs एक निश्चित "सुरक्षा बजट" (security budget) के तहत कार्य करते हैं जहाँ कार्यात्मक क्षमता (functional capacity) और विरूपण प्रतिधारण (perturbation retention) का योग कार्य एन्ट्रॉपी (task entropy) और प्रॉम्प्ट लीकेज (prompt-leakage) द्वारा सीमित होता है, जिसके प्रयोगात्मक परिणाम दर्शाते हैं कि यह सैद्धांतिक शिखर विभिन्न मॉडलों, डेटासेट्स और परिशुद्धता स्तरों में बना रहता है।

मूल लेखक: Jianwei Tai

प्रकाशित 2026-06-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jianwei Tai

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही प्रतिभाशाली, लेकिन थोड़े घबराए हुए, रोबोट प्रोग्रामर को काम पर रख रहे हैं। आप उसे कोड लिखने के लिए निर्देशों (एक "प्रॉम्ट") का एक सेट देते हैं। कभी-कभी, आप गलती से अपने निर्देशों में एक शब्द बदल सकते हैं, या कोई हैकर उन्हें थोड़ा बदलकर रोबोट को कुछ खतरनाक लिखने के लिए धोखा देने की कोशिश कर सकता है।

यह शोध पत्र एक मौलिक प्रश्न पूछता है: हम रोबोट के "दिमाग" का कितना हिस्सा काम को सही ढंग से करने के लिए बचा सकते हैं और कितना हिस्सा किसी चाल (ट्रिक) का अनजाने में (या दुर्भावनापूर्ण रूप से) पालन करने के लिए बच जाता है?

लेखक इसे "सुरक्षा बजट" (Security Budget) कहते हैं। वे रोबोट की सोचने की क्षमता को एक निश्चित ऊर्जा या बैंडविड्थ की तरह मानते हैं जिसे दो प्रतिस्पर्धी कार्यों के बीच विभाजित किया जाना है।

दो प्रतिस्पर्धी आवश्यकताएं

रोबोट के ध्यान को एक पाई (pie) की तरह समझें। शोध पत्र कहता है कि यह पाई दो स्लाइस में विभाजित है:

"काम" का स्लाइस (क्षमता/Capacity): यह इस बात पर निर्भर करता है कि रोबोट आपके मूल इरादे को कितनी अच्छी तरह समझता है। क्या उसने वही कोड लिखा जो आपने वास्तव में मांगा था?
"गूँज" का स्लाइस (सुरक्षा/रिटेंशन - Echo): यह इस बात पर निर्भर करता है कि रोबोट का आउटपुट आपके द्वारा उपयोग किए गए विशिष्ट शब्दों को कितना "याद" रखता है, भले ही आपने उन्हें थोड़ा बदल दिया हो।
- कैच (Catch): यदि रोबोट का आउटपुट आपके प्रॉम्ट के सूक्ष्म परिवर्तनों के प्रति बहुत संवेदनशील है (उच्च "गूँज"), तो इसका मतलब है कि एक हैकर आसानी से "चेक" जैसे शब्द को "इग्नोर" से बदल सकता है और रोबोट उस नए, खतरनाक निर्देश का पालन करेगा।
- लक्ष्य: आप चाहते हैं कि रोबोट काम में अच्छा हो, लेकिन आप नहीं चाहते कि वह आपके प्रॉम्ट की विशिष्ट शब्दावली के प्रति बहुत अधिक संवेदनशील हो।

बड़ा नियम (प्रमेय/Theorem)

लेखकों ने एक गणितीय नियम सिद्ध किया जो इस पाई के लिए एक गति सीमा (speed limit) की तरह काम करता है। वे कहते हैं:

काम का स्लाइस + गूँज का स्लाइस ≤ कुल मस्तिष्क स्थान + प्रॉम्ट लीकेज

साधारण शब्दों में: रोबोट एक ही समय में काम में पूरी तरह से कुशल और आपके प्रॉम्ट के हर छोटे बदलाव के प्रति पूरी तरह संवेदनशील नहीं हो सकता। एक कठोर सीमा है।

कुल मस्तिष्क स्थान (Total Brain Space): यह कार्य की जटिलता है। यदि आप एक सरल "हेलो वर्ल्ड" पूछते हैं, तो रोबोट के पास बहुत जगह होती है। यदि आप एक जटिल बैंकिंग सिस्टम मांगते हैं, तो "मस्तिष्क स्थान" बहुत बड़ा होता है, जिससे सुरक्षा मार्जिन के लिए कम जगह बचती है।
प्रॉम्ट लीकेज (Prompt Leakage): यह इस बात की जानकारी है कि आपके मूल प्रॉम्ट और "धोखे वाले" प्रॉम्ट के बीच कितनी जानकारी साझा की जाती है। यदि चाल केवल "बिल्ली" को "कुत्ता" (समानार्थी शब्द) से बदलना है, तो लीकेज अधिक है। यदि चाल वाक्य के आधे हिस्से को हटा देना है, तो लीकेज कम है।

शोध पत्र सिद्ध करता है कि यदि आप रोबोट को प्रॉम्ट के प्रति बहुत संवेदनशील बनाने की कोशिश करते हैं (बहुत मजबूत/robust बनाने के लिए), तो आप अनिवार्य रूप से उस स्थान को छोटा कर देते हैं जो उसे कार्य को सही ढंग से करने के लिए उपलब्ध होता है।

उन्होंने इसका परीक्षण कैसे किया

शोधकर्ताओं ने केवल अनुमान नहीं लगाया; उन्होंने वास्तविक कोडिंग समस्याओं पर वास्तविक AI मॉडल (जैसे CodeLlama और Qwen) के साथ प्रयोग किए।

"ब्लैक बॉक्स" टेस्ट: उन्होंने प्रक्रिया के दौरान रोबोट के आंतरिक विचारों को झाँके बिना उसके अंतिम आउटपुट (कोड) को देखा। उन्होंने कोड को एक फिंगरप्रिंट की तरह माना।
परिणाम: हर परीक्षण में, गणित सही साबित हुआ। "काम" के प्रदर्शन और "गूँज" की संवेदनशीलता का योग कभी भी गति सीमा को पार नहीं कर सका।
- कभी-कभी रोबोट काम में बहुत अच्छा था लेकिन ट्रिक्स के प्रति संवेदनशील नहीं था (बहुत सारा "स्लैक" या अप्रयुक्त बजट छोड़ दिया)।
- कभी-कभी वह ट्रिक्स के प्रति बहुत संवेदनशील था, लेकिन इसका मतलब था कि उसके पास काम को पूरी तरह से करने के लिए कम जगह थी।
- महत्वपूर्ण रूप से: उन्होंने पाया कि ट्रिक्स के कुछ प्रकार (जैसे वेरिएबल्स का नाम बदलना या समानार्थी शब्दों को बदलना) अन्य प्रकारों की तुलना में बड़ी "गूँज" छोड़ते हैं। यह हमें बताता है कि कौन से प्रकार के प्रॉम्ट परिवर्तन सबसे खतरनाक हैं जिन्हें असुरक्षित छोड़ दिया गया है।

"तनाव परीक्षण" (Stress Test)

यह सुनिश्चित करने के लिए कि उनका नियम कितना कठिन है, उन्होंने इसे तोड़ने की कोशिश की:

23-अटैक पूल: उन्होंने प्रॉम्ट के साथ छेड़छाड़ करने के 23 अलग-अलग तरीके आजमाए। नियम फिर भी कायम रहा।
"यूनिवर्सल सफिक्स" (Universal Suffix): उन्होंने हर प्रॉम्ट में एक ही खतरनाक वाक्यांश जोड़ा। नियम फिर भी कायम रहा।
"ग्रेडिएंट अटैक" (Gradient Attack): उन्होंने रोबोट को धोखा देने के लिए एक सुपर-स्मार्ट गणितीय हमले का उपयोग किया। तब भी, नियम कायम रहा, हालांकि रोबोट की कोड गुणवत्ता काफी गिर गई (वह चकमा खाने के बजाय "कोलैप्स" हो गया)।

मनुष्यों के लिए सीख

शोध पत्र AI सहायकों को बनाने के लिए एक व्यावहारिक सबक के साथ समाप्त होता है:

आप केवल यह नहीं माप सकते कि क्या एक AI परीक्षण पास करता है। आपको यह भी मापना होगा कि आप कितना "सूचना चैनल" (information channel) एक हमलावर के लिए खुला छोड़ रहे हैं।

यदि आप अपने प्रॉम्ट को सख्त (rigid और standard) बनाते हैं, तो आप "गूँज" के स्लाइस को कम कर देते हैं, जिससे हैकर्स के लिए AI को धोखा देना कठिन हो जाता है।
हालाँकि, आप सुरक्षा के लिए AI को केवल "मूर्ख" नहीं बना सकते। आपको उस संतुलन को खोजना होगा जहाँ AI काम करने के लिए पर्याप्त स्मार्ट हो, लेकिन शब्द-क्रीड़ा (wordplay) के प्रति इतना संवेदनशील न हो कि वह सुरक्षा जोखिम बन जाए।

संक्षेप में: एक AI के लिए एक साथ एक आदर्श कार्यकर्ता और आपकी आवाज़ के हर सूक्ष्म बदलाव के प्रति एक आदर्श श्रोता होने की एक कठोर, गणितीय सीमा है। यह शोध पत्र उस सीमा को मापने के लिए एक पैमाना देता है।

तकनीकी सारांश: कोड LLMs का सुरक्षा बजट (The Security Budget of Code LLMs)

समस्या विवरण (Problem Statement)
AI प्रोग्रामिंग सहायक तेजी से सॉफ़्टवेयर विकास के प्राथमिक इंटरफ़ेस के रूप में प्राकृतिक-भाषा प्रॉम्प्ट्स (natural-language prompts) पर निर्भर होते जा रहे हैं। यह बदलाव एक महत्वपूर्ण भेद्यता (vulnerability) पेश करता है: प्रॉम्प्ट में छोटे परिवर्तन (जैसे कि समानार्थी प्रतिस्थापन, आइडेंटिफायर का नाम बदलना, या कमेंट इंजेक्शन) उत्पन्न किए गए कोड को बदल सकते हैं, जबकि उपयोगकर्ता का इरादा आंशिक रूप रूप से पहचानने योग्य बना रहता है। मौजूदा मूल्यांकन अक्सर परिवर्तन से पहले और बाद में निष्पादन पास दरों (execution pass rates/pass@1) पर निर्भर करते हैं। हालाँकि, लेखक तर्क देते हैं कि यह इंटरैक्टिव सहायकों के लिए अपर्याप्त है क्योंकि यह एक ऐसे मॉडल के बीच अंतर करने में विफल रहता है जिसने सभी कार्य जानकारी खो दी है (जिससे "मजबूती/robustness" अर्थहीन हो जाती है) और एक ऐसे मॉडल के बीच जिसने पर्याप्त जानकारी बरकरार रखी है लेकिन कार्यान्वयन (implementation) को बदल दिया है। एक "बजट-स्तर" के दृष्टिकोण की आवश्यकता है जो कार्य जानकारी (task information), प्रॉम्प्ट लीकेज (prompt leakage), और जनरेशन स्थिरता (generation stability) को अलग कर सके ताकि कार्यात्मक क्षमता और व्यवधान (perturbation) के तहत सुरक्षा के बीच के ट्रेड-ऑफ को समझा जा सके।

कार्यप्रणाली (Methodology)
यह शोध पत्र सूचना सिद्धांत (information theory) का उपयोग करके इस ट्रेड-ऑफ को औपचारिक रूप देता है, और एक कोड Large Language Model (LLM) $\pi$ के लिए दो प्रमुख मात्राओं को परिभाषित करता है:

**क्षमता (Capacity - $Cap $):** कैनोनिकल समाधान$ c^* $और मॉडल के जनरेशन$ c_\pi$ के बीच म्यूचुअल इंफॉर्मेशन (mutual information), जिसे $I(c^*; c_\pi)$ के रूप में दर्शाया गया है। यह मापता है कि मॉडल ने कार्य के कितने हिस्से को कैप्चर किया है।
**सुरक्षा (Security - $Sec $):** मूल प्रॉम्प्ट$ p $के तहत जनरेशन ($ c_\pi $) और प्रतिकूल रूप से परिवर्तित प्रॉम्प्ट$ \tilde{p} $के तहत जनरेशन ($ \tilde{c}\pi $) के बीच म्यूचुअल इंफॉर्मेशन, जिसे$ I(c\pi; \tilde{c}_\pi)$ के रूप में दर्शाया गया है। यह एक "परिवर्तन-प्रतिधारण चैनल" (perturbation-retention channel) के रूप में कार्य करता है, जो स्वच्छ और परिवर्तित आउटपुट के बीच साझा जानकारी को मापता है।

सैद्धांतिक ढांचा (Theoretical Framework)
मुख्य सैद्धांतिक योगदान थ्योरम 1 (Theorem 1) है, जो इन दोनों मात्राओं के योग पर एक ऊपरी सीमा (upper bound) स्थापित करता है:
$Cap + Sec \leq H(c^*) + I(p; \tilde{p})$
यहाँ, $H(c^*)$ कैनोनिकल समाधान का एंट्रॉपी (entropy) है (कार्य एंट्रॉपी), और $I(p; \tilde{p})$ मूल और परिवर्तित प्रॉम्प्ट के बीच म्यूचुअल इंफॉर्मेशन (प्रॉम्प्ट लीकेज) है। इसका प्रमाण मानक सूचना-सैद्धांतिक असमानताओं पर आधारित है:

$Cap \leq H(c^*)$ म्यूचुअल इंफॉर्मेशन की परिभाषा से प्राप्त होता है।
$Sec \leq I(p; \tilde{p})$ डेटा प्रोसेसिंग इनइक्वेलिटी (Data Processing Inequality - DPI) का अनुसरण करता है, यह मानते हुए कि जनरेशन $c_\pi$ और $\tilde{c}_\pi$ प्रॉम्प्ट जोड़ी $(p, \tilde{p})$ के दिए गए होने पर सशर्त रूप से स्वतंत्र (conditionally independent) हैं।

मॉडल के आंतरिक प्रशिक्षण डेटा तक पहुँच प्राप्त किए बिना इस सीमा को क्रियाशील बनाने के लिए, लेखक $H(c^*)$ के लिए एक क्लोज्ड-फॉर्म, मॉडल-अज्ञेय (model-agnostic) साथी बाउंड (companion bound) व्युत्पन्न करते हैं। यह बाउंड सोर्स कोड की संपीड़नीयता (compressibility) का उपयोग करता है:
$H(c^*) \leq \min(L_{max} \log V, |c^*|_{gz})$
जहाँ $L_{max}$ अधिकतम टोकन लंबाई है, $V$ वोकैबुलरी का आकार है, और $|c^*|_{gz}$ कैनोनिकल समाधानों की अपेक्षित gzip-कंप्रेस्ड लंबाई है।

अनुभवजन्य सत्यापन (Empirical Validation)
लेखक कोरोलरी 1 (Corollary 1) (एम्बेडेड-वेरिएबल बाउंड) को एक आउटपुट-ओनली एम्बेडिंग प्रोटोकॉल का उपयोग करके मान्य करते हैं। आवश्यक मार्कोव चेन ( $z_\pi \to p \to \tilde{p} \to \tilde{z}_\pi$ ) को बनाए रखने के लिए, एम्बेडिंग $E$ को केवल उत्पन्न कोड पर लागू किया जाता है, प्रॉम्प्ट कॉन्टेक्स्ट को छोड़कर।

मॉडल और डेटासेट: प्रयोग HumanEval और MBPP-संशोधित (sanitized) डेटासेट्स पर CodeLlama-7B और Qwen2.5-Coder-7B पर किए गए।
एस्टिमेटर्स (Estimators): म्यूचुअल इंफॉर्मेशन का अनुमान अंतिम-टोकन हिडन स्टेट्स (PCA द्वारा कम किए गए) पर MINE (Mutual Information Neural Estimation) और KSG (Kraskov-Stögbauer-Grassberger) एस्टिमेटर्स का उपयोग करके लगाया गया।
परिवर्तन (Perturbations): 23 परिवर्तनों के एक पूल का उपयोग किया गया, जिसमें समानार्थी शब्द बदलना (synonym swaps), निषेध (negation), कमेंट इंजेक्शन (सिक्योरिटी-एंटी कमेंट्स सहित), और आइडेंटिफायर का नाम बदलना शामिल है।

प्रमुख परिणाम (Key Results)

बाउंड संतुष्टि (Bound Satisfaction): छह व्यक्तिगत सत्यापन कॉन्फ़िगरेशन (विभिन्न मॉडल, डेटासेट, परिशुद्धता और एम्बेडिंग एब्लेशन के साथ) में, एम्बेडेड चेक ने असमानता को संतुष्ट किया। सैचुरेशन रेशियो $(Cap + \max_T Sec) / (H(z^*) + \max_T I(p; \tilde{p}))$ का मान 0.27 से 0.92 के बीच रहा, जिसमें पॉजिटिव थ्योरम स्लैक (2.36 से 26.94 नैट्स) देखा गया।
स्थिरता (Stability): एक थ्री-सीड स्टेबिलिटी डायग्नोस्टिक ने 0.87 का औसत सैचुरेशन दिखाया।
तनाव परीक्षण (Stress Tests): एडैप्टिव स्ट्रेस टेस्ट, जिसमें 23-परिवर्तन पूल, एक फिक्स्ड यूनिवर्सल सिक्योरिटी-एंटी सफिक्स, और एक ग्रेडिएंट-आधारित PGD अटैक शामिल था, सभी ने पॉजिटिव स्लैक दिखाया, जिससे पुष्टि होती है कि आक्रामक परिवर्तन रणनीतियों के तहत भी बाउंड बना रहता है।
प्रति-समस्या सिग्नल (Per-Problem Signal): हालांकि सैद्धांतिक बाउंड आउटपुट-ओनली एम्बेडिंग्स का उपयोग करता है, एक अलग कॉन्टेक्स्ट-मिक्सड एम्बेडिंग कोसाइन (प्रॉम्प्ट और कोड दोनों पर कंडीशनिंग) पाया गया जो निष्पादन-स्तर के पास@1 (जैसे, CodeLlama-HumanEval के लिए $\rho=0.36$ ) के साथ सह-संबंध रखता है, जो एक व्यावहारिक अलाइनमेंट सिग्नल के रूप में कार्य करता है।
लीकेज विश्लेषण (Leakage Analysis): अध्ययन ने पहचान की कि आइडेंटिफायर का नाम बदलना और समानार्थी प्रतिस्थापन सबसे बड़े साझा-सूचना सीलिंग (उच्च $I(p; \tilde{p})$ ) छोड़ते हैं, जबकि सुरक्षा-एंटी कमेंट्स कम प्रॉम्प्ट जानकारी लीक करते हैं लेकिन सुरक्षा के लिए अधिक खतरनाक हैं।

महत्व और दावे (Significance and Claims)
शोध पत्र का दावा है कि यह कोड जनरेशन स्थिरता के लिए एक मात्रात्मक, सूचना-सैद्धांतिक बजट प्रदान करता है। इसका महत्व निम्नलिखित में निहित है:

विघटन (Decomposition): बजट को कार्य एंट्रॉपी और प्रॉम्प्ट लीकेज में विभाजित करना, जिससे डेवलपर्स को यह समझने में मदद मिलती है कि प्रॉम्प्ट लीकेज ( $I(p; \tilde{p})$ ) को कम करने से कार्यात्मक क्षमता को बढ़ाए बिना किसी भी एडवरसरी (adversary) के लिए उपलब्ध अधिकतम चैनल को कम किया जा सकता है।
मॉडल-अज्ञेय सीलिंग (Model-Agnostic Ceiling): $H(c^*)$ पर क्लोज्ड-फॉर्म बाउंड किसी भी नए मॉडल के लिए ज्ञात कार्य सेट पर मॉडल एक्सेस या प्रशिक्षण डेटा की आवश्यकता के बिना सुरक्षा सीलिंग की गणना करने की अनुमति देता है, जो केवल टोकनाइज़र और कैनोनिकल सॉल्यूशन डिस्ट्रीब्यूशन पर निर्भर करता है।
व्यावहारिक गार्डरेल्स (Practical Guardrails): लेखकों का तर्क है कि प्रोग्रामिंग-सहायक गार्डरेल्स का मूल्यांकन केवल पास@1 द्वारा नहीं, बल्कि उस प्रॉम्प्ट-परिवर्तन सूचना द्वारा किया जाना चाहिए जो वे एक एडवरसरी के लिए उपलब्ध छोड़ते हैं। बाउंड प्रॉम्प्ट हार्डनिंग (prompt hardening) के लिए एक परीक्षण प्रदान करता है: $I(p; \tilde{p})$ को कम करने से सुरक्षा बजट को कड़ा (tighten) किया जाना चाहिए।

लेखक विनम्र बने हुए हैं, यह नोट करते हुए कि योगदान इन अवधारणाओं का इंस्टेंशिएशन (इन अवधारणाओं को कोड जनरेशन के लिए लागू करना) है, न कि कोई नया डेटा-प्रोसेसिंग थ्योरम। वे सीमाओं को स्वीकार करते हैं, जिसमें MI एस्टिमेटर्स की संवेदनशीलता (जहाँ MINE सीमाओं के पास ओवरएस्टिमेट कर सकता है) और यह तथ्य शामिल है कि बाउंड उपलब्ध उपलब्ध स्थिरता बजट को चित्रित करता है, न कि यह सिद्ध करता है कि वास्तविक एडवरसरी हमेशा इसे संतृप्त (saturate) करेंगे।