🤖 AI

An Empirical Audit of k-NAF Budget Accounting for Anchored Decoding

यह शोध पत्र स्थिर और अनुकूलन योग्य वर्कलोड के माध्यम से एंकोर्ड डिकोडिंग (Anchored Decoding) में k-NAF बजट-लेखांकन तंत्र का अनुभवजन्य रूप से ऑडिट करता है, जिसमें यह पाया गया है कि संचयी KL व्यय लगातार अनुक्रम-स्तर के बजटों से काफी नीचे रहता है और स्पष्ट बजट समाप्ति के मामले तंत्र की वास्तविक विफलताओं के बजाय प्रॉक्सी आर्टिफैक्ट्स (proxy artifacts) के कारण होते हैं।

मूल लेखक: J. Vijayavallabh

प्रकाशित 2026-05-28✓ Author reviewed ⓘ

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: J. Vijayavallabh

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही सख्त लाइब्रेरियन (जिसे "सेफ मॉडल" कहा जाता है) और एक रचनात्मक, थोड़े शरारती कहानीकार (जिसे "रिस्की मॉडल" कहा जाता है) है। कहानीकार एक कहानी सुनाना चाहता है, लेकिन एक नियम है: वह लाइब्रेरियन की किताब से बहुत अधिक नकल नहीं कर सकता। यदि वह लाइब्रेरियन के सटीक शब्दों के बहुत करीब आता है, तो वह अपना बजट "खर्च" कर रहा है।

आपने जो पेपर प्रदान किया है वह एक विशिष्ट नियम पुस्तिका का एक ऑडिट (एक विस्तृत जांच) है जिसे "एंकोर्ड डिकोडिंग" (विशेष रूप से k-NAF सिस्टम) कहा जाता है, जिसे कहानीकार को नियंत्रण में रखने के लिए डिज़ाइन किया गया है। लक्ष्य यह देखना था कि क्या यह नियम पुस्तिका वास्तव में अपना वादा निभाती है जब कहानीकार को उनकी सीमाओं तक धकेला जाता है।

यहाँ शोधकर्ताओं ने क्या पाया, इसका सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. सेटअप: "खर्च करने" का नियम

कहानीकार के बजट को एक ईंधन टैंक के रूप में सोचें।

सीमा: नियम पुस्तिका कहती है, "आप अपनी पूरी कहानी पर कुल K यूनिट ईंधन खर्च कर सकते हैं।"
मीटर: सिस्टम यह ट्रैक करने की कोशिश करता है कि कहानीकार द्वारा लिखे गए प्रत्येक शब्द (टोकन) पर कितना ईंधन उपयोग किया गया है।
लक्ष्य: यह सुनिश्चित करना कि कहानी खत्म होने से पहले कहानीकार कभी भी ईंधन खत्म न कर दे, और इससे भी महत्वपूर्ण बात यह है कि वह गलती से लाइब्रेरियन की किताब से बहुत अधिक "चोरी" (नकल) न कर ले।

2. पहला परीक्षण: "निश्चित कार्यभार" (दैनिक दिनचर्या)

शोधकर्ताओं ने सबसे पहले कहानीकार को छह अलग-अलग शैलियों (जैसे "तटस्थ तथ्य," "रचनात्मक कथा," या "हमले वाले प्रॉम्प्ट") में 8,500 विभिन्न कहानियाँ लिखने के लिए कहा। उन्होंने सिस्टम को धोखा देने की कोशिश नहीं की; वे बस यह देखना चाहते थे कि यह सामान्य रूप से कैसे व्यवहार करता है।

परिणाम: कहानीकार अविश्वसनीय रूप से रूढ़िवादी (conservative) था। उसने अपने कुल ईंधन टैंक का केवल 15% से 30% ही उपयोग किया।
उपमा: यह एक ऐसी कार चलाने जैसा है जिसमें 100 गैलन का टैंक है, लेकिन आप रुकने से पहले केवल 20 मील ही चलते हैं। आपके पास बहुत सारा "स्लैक" (अतिरिक्त जगह) है।
जांच: उन्होंने यह भी जांचा कि क्या कहानियाँ लाइब्रेरियन की किताब जैसी लग रही थीं। ओवरलैप बहुत कम था (जैसे समुद्र तट में दो समान रेत के कणों को ढूंढना)।
निष्कर्ष: सामान्य, रोजमर्रा के उपयोग में, सिस्टम पूरी तरह से काम करता है और बहुत सुरक्षित है।

3. दूसरा परीक्षण: "एडवर्सरियल सर्च" (तनाव परीक्षण)

इसके बाद, शोधकर्ताओं ने सिस्टम को "तोड़ने" की कोशिश की। उन्होंने एक स्मार्ट कंप्यूटर प्रोग्राम (एक ऑप्टिमाइज़र) का उपयोग करके हजारों ट्रिकी प्रॉम्प्ट तैयार किए, जिससे वे वह एक कहानी ढूंढ सकें जो कहानीकार को अपना पूरा ईंधन टैंक खर्च करने के लिए मजबूर कर दे। वे सिस्टम को "ओवरस्पेंडिंग" (जरूरत से ज्यादा खर्च) करने के लिए धोखा देना चाहते थे।

परिणाम: वे बहुत करीब पहुँच गए! उन्हें ऐसे प्रॉम्प्ट मिले जहाँ "खर्च करने का अनुपात" (spending ratio) ऐसा दिखा जैसे कि इसने सीमा के 98.8% तक पहुँच लिया हो।
"उल्लंघन": कुछ विशिष्ट मामलों में, गणित ने कहा कि कहानीकार ने 100% से अधिक ईंधन खर्च कर दिया था (1 से अधिक का अनुपात)। यह एक विफलता की तरह लग रहा था।

4. ट्विस्ट: "छोटा नमूना" भ्रम (Small Sample Illusion)

यहाँ पेपर का सबसे महत्वपूर्ण हिस्सा है। शोधकर्ताओं ने महसूस किया कि "उल्लंघन" इसलिए नहीं हुआ क्योंकि कहानीकार ने वास्तव में नियमों को तोड़ा था। यह एक गणितीय भ्रम था जो बहुत कम डेटा देखने के कारण हुआ था।

उपमा: कल्पना कीजिए कि आप एक बास्केटबॉल टीम की औसत ऊंचाई का अनुमान लगाने की कोशिश कर रहे हैं।
- परिदृश्य A: आपने 4 खिलाड़ियों को मापा। उनमें से एक औसत से थोड़ा लंबा है। क्योंकि आपका नमूना (sample) बहुत छोटा है, इसलिए आपका "सुरक्षा मार्जिन" (सांख्यिकीय बफर) बहुत बड़ा है। आपकी गणना कह सकती है कि "औसत 7 फीट है!" भले ही वास्तविक औसत 6'5" हो।
- परिदृश्य B: आपने 20 खिलाड़ियों को मापा। औसत स्थिर होकर वास्तविक संख्या, 6'5" पर आ जाता है।
पेपर में क्या हुआ:
- सिस्टम ने केवल 4 कहानियों (एक छोटा नमूना आकार) के बाद ट्रिकी प्रॉम्प्ट का मूल्यांकन करना बंद कर दिया।
- क्योंकि नमूना बहुत छोटा था, गणित के फॉर्मूले में "सुरक्षा मार्जिन" बहुत बड़ा हो गया, जिससे खर्च सीमा से अधिक दिखाई देने लगा (एक "उल्लंघन")।
- जब शोधकर्ताओं ने उन्हीं प्रॉम्प्ट्स को 20 कहानियों (एक बड़ा नमूना आकार) के साथ मूल्यांकित करने के लिए मजबूर किया, तो "उल्लंघन" गायब हो गया। खर्च करने का अनुपात वापस सुरक्षित 26%–40% पर आ गया।

5. अंतिम निर्णय

पेपर दो मुख्य निष्कर्ष निकालता है:

सिस्टम काम करता है: "एंकोर्ड डिकोडिंग" नियम पुस्तिका अपना काम कर रही है। कहानीकार वास्तव में ईंधन टैंक नहीं जला रहा है या लाइब्रेरियन की किताब की नकल नहीं कर रहा है। वास्तव में, वे बहुत सावधान हैं।
गणित को ट्यून-अप की जरूरत है: जो उपकरण खर्च को मापने के लिए उपयोग किया जाता है (प्रॉक्सी), वह भ्रमित हो जाता है जब उसके पास पर्याप्त डेटा नहीं होता है। जब वह केवल कुछ उदाहरण देखता है, तो वह बहुत जोर से अलार्म बजा देता है।

सिफारिश:
लेखक सुझाव देते हैं कि यदि आप इस सिस्टम का परीक्षण कर रहे हैं, तो आपको केवल 4 कहानियों के बाद नहीं रुकना चाहिए। आपको स्पष्ट तस्वीर पाने के लिए कम से कम 20 कहानियों तक इंतजार करना चाहिए। यदि आप ऐसा करते हैं, तो "गलत अलार्म" (false alarms) चले जाते हैं, और आप देख सकते हैं कि सिस्टम वास्तव में बहुत सुरक्षित है।

संक्षेप में: "गार्ड डॉग" (सिस्टम) बहुत अच्छा काम कर रहा है। "अलार्म सिस्टम" (गणितीय उपकरण) को बस अधिक सबूत मिलने तक इंतजार करने की आवश्यकता है।

तकनीकी सारांश: एंकोर्ड डिकोडिंग के लिए k-NAF बजट अकाउंटिंग का एक अनुभवजन्य ऑडिट (An Empirical Audit of k-NAF Budget Accounting for Anchored Decoding)

समस्या विवरण (Problem Statement)
यह शोध पत्र एंकोर्ड डिकोडिंग (Anchored Decoding) की अनुभवजन्य वैधता (empirical validity) को संबोधित करता है, जो जनरेटिव मॉडल्स में "निकट एक्सेस-फ्रीनेस" (k-NAF) को लागू करने के लिए डिज़ाइन किया गया एक तंत्र है। एंकोर्ड डिकोडिंग का मुख्य उद्देश्य एक नियंत्रित डिकोडर (जो संभावित रूप से कॉपीराइट डेटा पर प्रशिक्षित है) और एक निर्दिष्ट सुरक्षित संदर्भ मॉडल (जिसे बिना ऐसे डेटा के प्रशिक्षित किया गया है) के बीच विचलन (divergence) को सीमित करना है। इसे एक अनुक्रम-स्तरीय क्लैब बैक-रिवर (KL) बजट, $K = kT_{max}$ , को स्थानीय, प्रति-टोकन बाधाओं के संयोजन के माध्यम से लागू करके संचालित किया जाता है।

जांच किया गया केंद्रीय प्रश्न यह है कि क्या इस तंत्र का एक ठोस कार्यान्वयन वास्तविक वर्कलोड और प्रतिकूल परिस्थितियों (adversarial stress) के तहत इच्छित अकाउंटिंग व्यवहार को वास्तव में साकार करता है, या क्या अकाउंटिंग तंत्र (विशेष रूप से खर्च का अनुमान लगाने के लिए उपयोग किया जाने वाला अनुभवजन्य बर्नस्टीन-शैली का प्रॉक्सी) छोटे-नमूना (small-sample) स्थितियों में विश्वसनीय रूप से व्यवहार करता है।

कार्यप्रणाली (Methodology)
यह ऑडिट एक दो-चरणीय डिज़ाइन का उपयोग करता है जो डिफरेंशियल प्राइवेसी ऑडिटिंग में उपयोग किए जाने वाले टेस्टर/फाइंडर पृथक्करण (tester/finder separation) को दर्शाता है:

चरण 1: फिक्स्ड-वर्कलोड डायग्नोस्टिक इवैल्यूएशन (Fixed-Workload Diagnostic Evaluation)
- दायरा: छह प्रॉम्प्ट क्लासों (न्यूट्रल, वैलिडेशन, टेस्ट, अटैक ट्रेनिंग, फैक्टुअल, क्रिएटिव) में लगभग 8,500 रैंडमाइज्ड निष्पादन, प्रति-टोकन बजट पैरामीटर $k \in \{3, 5\}$ के दो मानों (के साथ $T_{max}=200$ ) का उपयोग करते हुए।
- मेट्रिक्स: अध्ययन प्रति-स्टेप KL व्यय को लॉग करता है और संचयी व्यय प्रॉक्सी, UEBB (अपर एम्पिरिकल बर्नस्टीन बाउंड) की गणना करने के लिए इसे एकत्रित करता है। यह प्रॉक्सी सैंपल मीन, एक वेरिएंस टर्म और प्रभावी रेंज ( $R_{eff}$ ) तथा सैंपल साइज ( $M$ ) पर निर्भर एक नियतात्मक (deterministic) टर्म को जोड़ती है।
- नियंत्रण: प्रोटोकॉल-निर्भर डायग्नोस्टिक्स सुनिश्चित करने के लिए निष्पादनों में कॉमन-रैंडम-नंबर्स बैचिंग का उपयोग किया जाता है। सतह-रूप की नकल (surface-form copying) को मापने के लिए उपलब्ध संदर्भों के विरुद्ध ओवरलैप डायग्नोस्टिक्स (ROUGE-L और 5-gram Jaccard) की गणना की जाती है।
चरण 2: एडेप्टिव एडवरसेरियल सर्च (Adaptive Adversarial Search)
- लक्ष्य: प्रॉक्सी स्पेंड रेशियो $\rho = \text{UEBB} / B_{eff}$ को अधिकतम करना, जहाँ $B_{eff}$ प्रभावी शेष बजट है।
- प्रक्रिया: एक ऑप्टिमाइज़र मॉडल उम्मीदवार प्रॉम्प्ट प्रस्तावित करता है, जिन्हें एक सीखे गए सरोगेट (Sentence-T5 एम्बेडिंग + TF-IDF पर MLP) द्वारा रैंक किया जाता है। खोज मल्टी-फिडेलिटी मूल्यांकन का उपयोग करती है: प्रॉम्प्ट्स को $N=4$ ट्रैजेक्टरीज के न्यूनतम आवंटन के साथ शुरू किया जाता है। एक "सर्वाइवर टेस्ट" यह निर्धारित करने के लिए कि क्या प्रॉम्प्ट्स को बड़े आवंटन (अधिकतम $N=20$ या $30$ तक) में "टॉप-अप" किया जाना चाहिए, यह जांचता है कि क्या उनका वर्तमान UEBB बजट के एक थ्रेशोल्ड से नीचे रहता है।
- स्ट्रेस टेस्टिंग: सर्च प्रक्रिया चार पीढ़ियों (generations) तक चलती है ताकि उन प्रॉम्प्ट्स की पहचान की जा सके जो प्रॉक्सी रेशियो को 1 के करीब या उससे ऊपर ले जाते हैं।

प्रमुख योगदान (Key Contributions)

फिक्स्ड-वर्कलोड ऑडिट: यह प्रदर्शित करता है कि एक निश्चित, क्लास-स्ट्रैटिफाइड वर्कलोड के तहत, औसत संचयी KL व्यय कॉन्फ़िगर किए गए अनुक्रम-स्तरीय बजटों ( $K \in \{600, 1000\}$ ) से काफी नीचे रहता है, जो आमतौर पर केवल $\approx 30\%$ बजट का उपयोग करता है। अनुभवजन्य बर्नस्टीन प्रॉक्सी सभी क्लासों के लिए $K$ से नीचे रहती है, और सरफेस-ओवरलैप मेट्रिक्स कम हैं।
एडेप्टिव सर्च परिणाम: सर्च प्रक्रिया सफलतापूर्वक प्रॉक्सी स्पेंड रेशियो को $k=3$ पर $\rho \approx 0.988$ और $k=5$ पर $\rho \approx 0.760$ तक बढ़ा देती है। हालांकि, सर्च प्रति-ट्रैजेक्टरी के संदर्भ में बजट को स्पष्ट रूप से समाप्त करने वाले प्रॉम्प्ट्स उत्पन्न नहीं करती है।
प्रॉक्सी आर्टिफैक्ट्स का डायग्नोस्टिक: पेपर यह पहचानता है कि $k=3$ $k = 3$ पर एक होल्ड-आउट कॉपीराइट-डोमेन वर्कलोड में देखे गए स्पष्ट "उल्लंघन" (जहाँ $\rho > 1$ $ρ > 1$ है) छोटे-नमूना आकार ( $N=4$ $N = 4$ ) पर अनुभवजन्य बर्नस्टीन प्रॉक्सी के आर्टिफैक्ट्स हैं।
- $N=4$ पर, बर्नस्टीन बाउंड में नियतात्मक टर्म गणना पर हावी हो जाता है, जिससे औसत व्यय कम होने के बावजूद UEBB का अनुमान बढ़ जाता है।
- उन्हीं प्रॉम्प्ट्स को बड़े आवंटन ( $N=20$ ) या उच्च बजट ( $k=5$ ) के साथ पुन: मूल्यांकित करने पर, रेशियो $\rho \in [0.26, 0.40]$ में गिर जाता है, जिससे पुष्टि होती है कि डिकोडर ने वास्तव में अपना बजट पार नहीं किया था।

परिणाम (Results)

बजट स्लैक (Budget Slack): फिक्स्ड वर्कलोड में, औसत व्यय लगातार $\lesssim 0.3K$ रहता है। एक रूढ़िवादी रेंज पैरामीटर के साथ भी, UEBB $K$ से नीचे रहता है।
सरफेस ओवरलैप: ROUGE-L स्कोर $\le 0.20$ और 5-gram Jaccard स्कोर $\le 0.05$ हैं, जो फिक्स्ड वर्कलोड में सीमित वर्बेटिम कॉपी को दर्शाते हैं।
"उल्लंघन" आर्टिफैक्ट: होल्ड-आउट सेट में तीन प्रॉम्प्ट्स ने $k=3$ $k = 3$ पर $\rho > 1$ $ρ > 1$ दिखाया। विश्लेषण से पता चला कि:
- औसत व्यय $\approx 180-200$ था (जो $K=600$ से बहुत कम है)।
- $N=4$ पर प्रभावी बजट के 71–97% हिस्से के लिए केवल नियतात्मक बर्नस्टीन टर्म ही जिम्मेदार था।
- $N$ को बढ़ाकर 20 करने या $K$ को $k=5$ तक दोगुना करने से "उल्लंघन" हल हो गया, जिससे $\rho < 0.5$ प्राप्त हुआ।
सर्च सीमाएँ: एडवरसेरियल सर्च ने प्रारंभिक सीड प्रॉम्प्ट्स में महत्वपूर्ण सुधार नहीं किया। $k=3$ के लिए आर्काइव मैक्सिमम पहली पीढ़ी में ही सेट हो गया था और स्थिर रहा, जिससे पता चलता है कि सरोगेट संतृप्त (saturated) था और सर्च सीड की गुणवत्ता द्वारा संचालित थी न कि अनुकूलन (optimization) द्वारा।

महत्व और दावे (Significance and Claims)
पेपर निष्कर्ष निकालता है कि एंकोर्ड डिकोडिंग कार्यान्वयन अपने कॉन्फ़िगर किए गए बजट के सापेक्ष पर्याप्त स्लैक (slack) प्रदर्शित करता है और परीक्षण की गई स्थितियों के तहत विफल नहीं होता है। इस कार्य का प्राथमिक महत्व इसके ऑडिट पद्धति का डायग्नोस्टिक है:

प्रॉक्सी बनाम मैकेनिज्म: अध्ययन डिकोडिंग मैकेनिज्म के व्यवहार और उसे ऑडिट करने के लिए उपयोग किए जाने वाले सांख्यिकीय प्रॉक्सी के व्यवहार के बीच अंतर करता है। "उल्लंघन" बजट की समाप्ति का प्रमाण नहीं थे, बल्कि छोटे-नमूना आवंटन ( $N=4$ ) के तहत प्रॉक्सी की टाइटनेस (tightness) की विफलता थे।
प्रोटोकॉल सिफारिशें: लेखक भविष्य के ऑडिट में ऐसे आर्टिफैक्ट्स को रोकने के लिए विशिष्ट प्रोटोकॉल संशोधनों का प्रस्ताव करते हैं:
1. उच्च प्रारंभिक स्पेंड रेशियो वाले प्रॉम्प्ट्स के लिए न्यूनतम सैंपल साइज फ्लोर (जैसे, $N \ge 20$ ) लागू करें।
2. अनिश्चितता का संकेत देने के लिए पॉइंट एस्टीमेट के साथ बर्नस्टीन बाउंड की चौड़ाई (width) की रिपोर्ट करें।
3. रूढ़िवादी वर्स्ट-केस बाउंड के बजाय डेटा-डिपेंडेंट रेंज पैरामीटर्स ( $R_{eff}$ ) का उपयोग करें।
4. मेमोरीज़ेशन डाइवर्जेंस के साथ क्षमता अंतराल (capability gap) को मिलाने से बचने के लिए सेफ एंकर और रिस्की टारगेट के बीच कैपेबिलिटी मैचिंग सुनिश्चित करें।

लेखक स्पष्ट रूप से कहते हैं कि यह एक अनुभवजन्य ऑडिट है, न कि औपचारिक सत्यापन (formal verification), और इसके परिणाम अनुकूलित सैंपलिंग के तहत सुरक्षा तंत्रों का मूल्यांकन करते समय सावधानीपूर्वक प्रॉक्सी अंशांकन (proxy calibration) की आवश्यकता को रेखांकित करते हैं।

1. सेटअप: "खर्च करने" का नियम

2. पहला परीक्षण: "निश्चित कार्यभार" (दैनिक दिनचर्या)

3. दूसरा परीक्षण: "एडवर्सरियल सर्च" (तनाव परीक्षण)

4. ट्विस्ट: "छोटा नमूना" भ्रम (Small Sample Illusion)

5. अंतिम निर्णय

इसी तरह के और पेपर