तकनीकी सारांश: ऑटोरेग्रेसिव, फिर भी परिवर्तनीय: सुरक्षित कोड जनरेशन के लिए डिकोडिंग रिवीज़न में

1. समस्या का निरूपण

मानक लार्ज लैंग्वेज मॉडल (LLM) कोड जनरेशन को एक सख्ती से मोनोटोनिक ऑटोरेग्रेसिव प्रक्रिया के रूप में तैयार किया जाता है। इस प्रतिमान (paradigm) में, टोकन एक अपरिवर्तनीय प्रीफिक्स (prefix) के साथ रैखिक रूप से जोड़े जाते हैं, जिसका अर्थ है कि एक बार जब कोई टोकन जेनरेट हो जाता है, तो उसे उसी फॉरवर्ड पास के भीतर बदला नहीं जा सकता। यह "केवल जोड़ने" (append-only) का प्रतिबंध प्रोग्रामिंग की संज्ञानात्मक प्रक्रिया के साथ एक मौलिक बेमेल पैदा करता है, जो स्वाभाविक रूप से फॉरवर्ड जनरेशन और ऑन-द-फ्लाई रिवीज़न (on-the-fly revision) के बीच इंटरलीव्ड होती है।

लेखक मानक ऑटोरेग्रेसिव बाधा के दो प्राथमिक सीमाओं की पहचान करते हैं:

• अपरिवर्तनीयता का प्रतिबंध (The Immutability Constraint): वास्तविक दुनिया के प्रशिक्षण कॉर्पोरा में विविध भेद्यता पैटर्न (vulnerability patterns) होते हैं। एक बार जब मॉडल एक असुरक्षित टोकन का नमूना लेता है, तो वह एक अपरिवर्तनीय संदर्भ का हिस्सा बन जाता है, जो भविष्य की सभी संभावनाओं को प्रभावित करता है। मॉडल के पास इस त्रुटि को वापस लेने का कोई मूल तंत्र नहीं है।
• प्रतिबद्धता का जाल (The Commitment Trap): जब एक मॉडल एक असुरक्षित स्पैन (span) जेनरेट करता है, तो ऑटोरेग्रेसिव उद्देश्य तार्किक निरंतरता बनाए रखने के लिए इस त्रुटि को 'ग्राउंड ट्रुथ' मानने के लिए मजबूर करता है। फलस्वरूप, मॉडल इस गलती पर "डबल डाउन" करने के लिए विवश होता है, जिससे स्थानीय दोष व्यवस्थित विफलताओं (systemic failures) में बदल जाते हैं।

मौजूदा समाधान बाहरी घटकों, जैसे कि पोस्ट-हॉक एजेंटों या स्टैटिक एनालाइज़र का उपयोग करके इस अंतर को पाटने का प्रयास करते हैं। हालाँकि, ये दृष्टिकोण उच्च विलंबता (multiple inference rounds के कारण), महत्वपूर्ण टोकन ओवरहेड (पूर्ण संदर्भ को पुनः एनकोड करना), या उन बाहरी उपकरणों पर निर्भरता से ग्रस्त हैं जो मॉडल की अंतर्निहित सिमेंटिक रीजनिंग क्षमताओं का लाभ उठाने में विफल रहते हैं।

2. कार्यप्रणाली: रिवीज़न की धारा (Stream of Revision)

यह शोध पत्र Stream of Revision का प्रस्ताव करता है, जो एक प्रतिमान परिवर्तन है जो कोड जनरेशन को एक मोनोटोनिक स्ट्रीम से एक गतिशील, स्व-सुधारात्मक प्रक्षेपवक्र (trajectory) में बदल देता है। मुख्य नवाचार डिकोडिंग प्रक्रिया के भीतर ही रिवीज़न लूप को आंतरिक बनाना है, जिससे मॉडल को एक ही फॉरवर्ड पास के भीतर अपने इतिहास को पीछे हटने (backtrack) और संपादित करने की अनुमति मिलती है।

2.1. प्रतिनिधित्व प्रिमिटिव्स: वर्चुअल कर्सर (The Virtual Cursor)

यह ढांचा मॉडल की शब्दावली ($V_{code}$) को परिचालन टोकन ($V_{edit}$) के एक सेट के साथ संवर्धित करता है, जिससे एक संवर्धित शब्दावली $V = V_{code} \cup V_{edit}$ बनती है। ये टोकन एक "वर्चुअल कर्सर" के लिए निष्पादन योग्य नियंत्रण निर्देश के रूप में कार्य करते हैं। सुरक्षित कोड जनरेशन के लिए, रिवीज़न प्रक्रिया को तीन-चरणीय एपिसोड के रूप में संचालित किया जाता है:

1. भेद्यता का पता लगाना (Vulnerability Detection - Action Trigger): एक विशेष टोकन ($\tau_{trig}$) एक अंतर्निहित डिटेक्शन सिग्नल के रूप में कार्य करता है। जब मॉडल इस टोकन की भविष्यवाणी करता है, तो यह मानक जनरेशन से "रिवीज़न एपिसोड" में परिवर्तित हो जाता है, जो यह संकेत देता है कि वर्तमान कोड प्रीफिक्स में संभवतः एक असुरक्षित पैटर्न है।
2. भेद्यता का स्थानीयकरण (Vulnerability Localization - Content-Addressable Scope): ट्रिगर होने पर, मॉडल स्कोप डेलीमिटर्स (जैसे, <scope>s</scope>) के भीतर घिरे कोड सेगमेंट को दोहराकर असुरक्षित स्पैन ($s$) को निर्दिष्ट करता है। मतिभ्रम (hallucination) को रोकने के लिए, फ्रेमवर्क डायनेमिक लॉजिट मास्किंग के माध्यम से एक स्ट्रिक्ट सबस्ट्रिंग इनवेरिएंट (Strict Substring Invariant) लागू करता है। यह सुनिश्चित करता है कि जेनरेट किया गया स्कोप हमेशा पहले से जेनरेट किए गए प्रीफिक्स का एक वैध सबस्ट्रिंग हो ($s \sqsubseteq y_{<t}$)।
3. भेद्यता की मरम्मत (Vulnerability Repair - Explicit Patch Synthesis): मॉडल पैच डेलीमिटर्स (जैसे, <patch>s'</patch>) के भीतर एक सुधारात्मक पैच ($s'$) का संश्लेषण करता है। यह प्रतिनिधित्व स्थानीयकृत असुरक्षित कोड पर मरम्मत को स्पष्ट रूप से केंद्रित करता है।

एक रिवीज़न एपिसोड को इस प्रकार क्रमबद्ध किया जाता है: $E = \tau_{trig} \oplus \langle scope \rangle s \langle /scope \rangle \oplus \langle patch \rangle s' \langle /patch \rangle$।

2.2. नियतक रेंडरर (The Deterministic Renderer)

Raw आउटपुट प्रक्षेपवक्र ($T$) कोड टोकन और रिवीज़न आर्टिफ़ेक्ट्स को इंटरलीव करता है और सीधे निष्पादन योग्य नहीं होता है। एक नियतक रेंडरर ($\Phi$) एक स्ट्रीम इंटरप्रेटर के रूप में कार्य करता है:

• स्ट्रीम पारदर्शिता (Stream Transparency): मानक जनरेशन के दौरान, टोकन एक यूजर-फेसिंग बफर में जोड़े जाते हैं।
• ओपेक रिपेयरिंग (Opaque Repairing): जब एक रिवीज़न एपिसोड का पता चलता है, तो स्थानीयकरण और पैच टोकन को आंतरिक रूप से बफ़र किया जाता है और यूजर आउटपुट से दबा दिया जाता है।
• परमाणु प्रतिबद्धता (Atomic Commitment): क्लोजिंग पैच टोकन को देखते ही, रेंडरर इन-प्लेस स्प्लिस (in-place splice) करता है, जिससे स्थानीयकृत स्पैन $s$ के दाहिने-मोस्ट (right-most) घटकों को पैच $s'$ के साथ बदल दिया जाता है। अंतिम प्रोग्राम $Y = \Phi(T)$ है।

2.3. प्रशिक्षण रणनीति

• सिमेंटिक एम्बेडिंग इनिशियलाइजेशन (Semantic Embedding Initialization): नए टोकन की कोल्ड-स्टार्ट समस्या को कम करने के लिए, लेखक उनके प्राकृतिक-भाषा सिमेंटिक विवरणों (जैसे, "Triggers a backtracking operation") के भारित औसत का उपयोग करके विशेष टोकन के एम्बेडिंग्स को इनिशियलाइज़ करते हैं।
• सुपरवाइज्ड फाइन-ट्यूनिंग (SFT): मॉडल को वास्तविक दुनिया के CVE रिकॉर्ड्स से प्राप्त संवर्धित प्रक्षेपवक्रों पर प्रशिक्षित किया जाता है। प्रशिक्षण डेटा में असुरक्षित फंक्शन और उनके पैच किए गए संस्करणों के जोड़े शामिल हैं, जिन्हें रिवीज़न प्रक्षेपवस्यों में लीनियराइज़ किया गया है।
• डेटा दक्षता: लेखक प्रदर्शित करते हैं कि मॉडल उच्च डेटा दक्षता के साथ स्व-सुधार व्यवहार सीख सकता है, जिसे मजबूत रिवीज़न व्यवहार उत्पन्न करने के लिए केवल ~1,000 सकारात्मक उदाहरणों की आवश्यकता होती है।

3. प्रमुख योगदान

1. डिकोडिंग समय पुनर्गठन (Decoding Time Reformulation): Stream of Revision का प्रस्ताव, जो आउटपुट स्पेस को निष्पादन योग्य रिवीज़न टोकन के साथ संवर्धित करता है और जेनरेट किए गए प्रक्षेपवक्र को एक नियतक रेंडरर के माध्यम से अंतिम प्रोग्राम में संकलित करता है।
2. सुरक्षित कोडिंग का संचालन (Operationalization of Secure Coding): सुरक्षित कोडिंग रिवीज़न को एक संरचित तीन-चरणीय एपिसोड (डिटेक्शन, सख्त बाधाओं के तहत स्थानीयकरण, और स्पष्ट पैच संश्लेषण) के रूप में परिभाषित करना जो डिकोडिंग प्रक्रिया के लिए नेटिव है।
3. अनुभवजन्य सत्यापन (Empirical Validation): यह प्रदर्शन करना कि स्व-सुधार डेटा-कुशल है और यह सामान्य कोडिंग उपयोगिता को बनाए रखते हुए CyberSecEval 2 बेंचमार्क पर सुरक्षा में महत्वपूर्ण सुधार करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने Qwen2.5 और CodeLlama जैसे मॉडलों का उपयोग करके सुरक्षा के लिए CyberSecEval 2 (CSE2) बेंचमार्क और सामान्य उपयोगिता के लिए HumanEval पर Stream of Revision का मूल्यांकन किया।

• सुरक्षा प्रभावशीलता: लक्षित डोमेन (C और C++) में, Stream of Revision ने सिक्योरिटी पास रेट (SPR) में वैनिला LLMs की तुलना में 9.55%–14.92% बेहतर प्रदर्शन किया। इसने SafeCoder और ProSec जैसे विशिष्ट बेसलाइन के मुकाबले भी बेहतर या तुलनीय प्रदर्शन दिखाया।
• जीरो-शॉट जनरलाइजेशन (Zero-Shot Generalization): केवल C/C++ डेटा पर प्रशिक्षित होने के बावजूद, इस पद्धति ने आउट-ऑफ-डिस्ट्रीब्यूशन भाषाओं (Python, Java, JavaScript, C#) में उल्लेखनीय ज़ीरो-शॉट ट्रांसफर दिखाया, जो सुझाव देता है कि मॉडल सिंटैक्स के बजाय भाषा-अज्ञेय (language-agnostic) सुरक्षा पैटर्न सीखता है।
• उपयोगिता संरक्षण (Utility Preservation): इस पद्धति ने HumanEval पर Pass@1 और Pass@10 स्कोर को बनाए रखा या थोड़ा सुधारा, जो दर्शाता है कि रिवीज़न तंत्र सामान्य कोडिंग प्रवीणता को कम नहीं करता है।
• दक्षता: पोस्ट-हॉक एजेंट बेसलाइन की तुलना में, Stream of Revision ने तुलनीय सुरक्षा प्रदर्शन के साथ इनपुट टोकन खपत में 6.5x की कमी हासिल की। जबकि पोस्ट-हॉक एजेंट $O(L)$ ओवरहेड (पूरे संदर्भ को पुनः एनकोड करना) का सामना करते हैं, Stream of-revision स्थानीय पैच के लिए निरंतर ओवरहेड $O(1)$ का सामना करता है, क्योंकि यह प्रारंभिक पास के दौरान हस्तक्षेप करता है।

5. महत्व और दावे

यह शोध पत्र दावा करता है कि Stream of Revision सिंगल-पास जनरेशन की गति और एजेंटिक रिपेयर की सटीकता के बीच के अंतर को पाटता है। "ड्राफ्ट-एंड-रिवाइज़" प्रक्रिया को आंतरिक बनाकर, यह ढांचा मॉडलों को एंड-यूज़र को यांत्रिकी (mechanics) दिखाए बिना या पुनरावृत्त एजेंट वर्कफ़्लो की अत्यधिक विलंबता का भार उठाए बिना जस्ट-इन-टाइम रिवीज़न करने में सक्षम बनाता है।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण वेट-लेवल अलाइनमेंट विधियों (जैसे DPO या ProSec) के ऑर्थोगोनल (orthogonal) है। जबकि अलाइनमेंट असुरक्षित होने की संभावना को कम करने के लिए ग्लोबल डिस्ट्रीब्यूशन को बदलता है, Stream of Revision जब भी वे उत्पन्न होते हैं, भेद्यता को रोकने के लिए एक रनटाइम सेफ्टी गार्ड प्रदान करता है। दोनों विधियों का संयोजन सहक्रियात्मक (synergistic) प्रदर्शन लाभ प्रदान करता है।

यह कार्य मानक ऑटोरेग्रेसिव डिकोडिंग की मोनोटोनिक कठोरता को चुनौती देता है, यह प्रस्तावित करता है कि कोड जनरेशन को एक स्थिर अनुक्रम के बजाय एक गतिशील प्रक्षेपवक्र ($Y = \Phi(T)$) के रूप में देखा जाना चाहिए। लेखक दावा करते हैं कि यह दृष्टिकोण न्यूनतम इन्फरेंस ओवरहेड के साथ कमजोरियों को काफी कम करता है, जिससे यह वास्तविक दुनिया के सॉफ्टवेयर विकास वर्कफ़्लो में सुरक्षित कोड जनरेशन के लिए एक व्यावहारिक समाधान बन जाता है।