PuzzleMark: Implicit Jigsaw Learning for Robust Code Dataset Watermarking in Neural Code Completion Models

यहाँ शोध पत्र "PuzzleMark: Neural Code Completion Models के लिए Robust Code Dataset Watermarking के लिए Implicit Jigsaw Learning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

उच्च गुणवत्ता वाले कोड डेटासेट मूल्यवान बौद्धिक संपदा (IP) हैं जिन्हें क्यूरेट करने के लिए महत्वपूर्ण संसाधनों की आवश्यकता होती है। हालाँकि, उन्हें उन हमलावरों से गंभीर जोखिमों का सामना करना पड़ता है जो Neural Code Completion Models (NCCMs) को प्रशिक्षित करने के लिए इनका अनधिकृत उपयोग करते हैं। जबकि डिजिटल वॉटरमार्किंग स्वामित्व सत्यापन के लिए एक post-hoc तंत्र प्रदान करती है, कोड डेटासेट के मौजूदा तरीके दो महत्वपूर्ण खामियों से ग्रस्त हैं:

• भंगुर वाहक चयन (Fragile Carrier Selection): पिछले कार्यों (जैसे, CoProtector, CodeMark) में अक्सर वॉटरमार्क वाहकों (कोड स्निपेट्स) को यादृच्छिक रूप से या कठोर बाधाओं (जैसे, Semantics-Preserving Transformations) के आधार पर चुना जाता है। यह कोड की अंतर्निहित "स्वाभाविकता" (naturalness) की उपेक्षा करता है। वाहक के रूप में चुने गए जटिल या अप्राकृतिक कोड स्निपेट्स को वॉटरमार्किंग से पहले ही स्वचालित पहचान उपकरणों (जैसे, DeCoMa या KillBadCode) द्वारा आसानी से पहचाना जा सकता है, जिससे एक्सपोजर का उच्च जोखिम बढ़ जाता है।
• कमजोर वॉटरमार्क पैटर्न (Vulnerable Watermark Patterns): मौजूदा तरीके सह-घटना पैटर्न (co-occurrence patterns) (निश्चित trigger-target जोड़े) पर निर्भर करते हैं। हालिया शोध (DeCoMa) ने प्रदर्शित किया है कि ये पैटर्न उच्च-आवृत्ति वाले आउटलेर्स (high-frequency outliers) बनाते हैं जिन्हें आसानी से पहचाना और हटाया जा सकता है, जिसके परिणामस्वरूप लगभग 100% डिटेक्शन रेट और हटाने के हमलों (removal attacks) के विरुद्ध नगण्य मजबूती (robustness) प्राप्त होती है।

2. कार्यप्रणाली: PuzzleMark

PuzzleMark एक मजबूत वॉटरमार्किंग फ्रेमवर्क पेश करता है जिसमें तीन मुख्य चरण शामिल हैं: Carrier Selection, Watermark Embedding, और Model Validation।

A. वॉटरमार्क वाहक चयन (एक्सपोजर से बचना)

यादृच्छिक चयन के बजाय, PuzzleMark यह मूल्यांकन करता है कि कोड स्निपेट्स "संदिग्ध" के रूप में पहचाने जाने की संभावना के आधार पर वाहक के रूप में सेवा करने के लिए कितने उपयुक्त हैं।

• विशेषता निष्कर्षण (Feature Extraction): यह Abstract Syntax Tree (AST) से 10 जटिलता विशेषताओं (5 संरचनात्मक: जैसे, cyclomatic complexity, NLOC; 5 अर्थपूर्ण: जैसे, unique function calls, expression diversity) को निकालता है।
• विशेषता प्रक्षेपण (Feature Projection): Principal Component Analysis (PCA) से प्रेरित एक तंत्र का उपयोग करते हुए, यह इन विशेषताओं को एक principal component दिशा पर प्रोजेक्ट करता है ताकि एक suitability score उत्पन्न किया जा सके।
• फिल्टरिंग (Filtering): कम suitability score वाले (उच्च जटिलता/स्वाभाविकता संबंधी समस्या वाले) कोड स्निपेट्स को बाहर कर दिया जाता है। केवल उच्च suitability score वाले (कम पहचान जोखिम वाले) स्निपेट्स को ही एम्बेडिंग के लिए उम्मीदवारों के रूप में चुना जाता है।

B. वॉटरमार्क एम्बेडिंग (The "Jigsaw" Pattern)

PuzzleMark पारंपरिक सह-घटना पैटर्न को एक नवीन concatenation pattern से बदल देता है, जो एक "जिग्सॉ पहेली" (jigsaw puzzle) की तरह कार्य करता है जहाँ टुकड़े गतिशील रूप से एक साथ फिट होते हैं।

• तंत्र (Mechanism): यह कोड के भीतर दो वेरिएबल नामों को जोड़कर (concatenate करके) वॉटरमार्क एम्बेड करता है (उदाहरण के लिए, prefix + suffix $\rightarrow$ prefix_suffix)।
• दो रणनीतियाँ (Two Strategies):
  1. Fixed-Trigger Strategy: एक उपयोगकर्ता-निर्धारित वेरिएबल नाम (जैसे, key) को एक निश्चित prefix के रूप में उपयोग करता है। suffix को कोड से अनुकूल रूप से (adaptively) चुना जाता है, और target इन दोनों का संयोजन होता है।
  2. Universal Watermark Strategy: हमलावरों को एक निश्चित trigger की पहचान करने से रोकने के लिए, prefix भी अनुकूल (adaptive) होता है (जैसे, कोड में पहला वेरिएबल)। यह ट्रिगर को गतिशील बनाता है और इसे regex या pattern matching के माध्यम से पहचानना कठिन बनाता है।
• अनुकूली विक्षोभ (Adaptive Perturbation): यह विधि उस कोड में एम्बेडिंग को प्राथमिकता देती है जहाँ trigger prefix स्वाभाविक रूप से पहले से मौजूद है ताकि कोड के विक्षोभ (perturbation) को न्यूनतम किया जा सके। यदि prefix अनुपस्थित है, तो यह इसे केवल तभी पेश करता है जब आवश्यक हो, ताकि embedding rate thresholds को पूरा किया जा सके।

C. संदिग्ध मॉडल सत्यापन (Suspicious Model Validation)

यह सत्यापित करने के लिए कि क्या किसी मॉडल को वॉटरमार्क किए गए डेटासेट पर प्रशिक्षित किया गया है (Black-Box सेटिंग):

• इनपुट निर्माण (Input Construction): दो प्रकार के इनपुट सेट बनाए जाते हैं: एक जिसमें trigger suffix को एक अर्थहीन टोकन (जैसे, unknown_token) से बदल दिया जाता है और एक बिना बदलाव के।
• सांख्यिकीय परीक्षण (Statistical Testing): मॉडल के आउटपुट का विश्लेषण यह देखने के लिए किया जाता है कि क्या वह विशिष्ट concatenated target वेरिएबल की भविष्यवाणी करता है। सत्यापन के लिए Fisher's Exact Test का उपयोग किया जाता है (t-tests के बजाय), जो trigger और target output के बीच संबंध की सांख्यिकीय सार्थकता निर्धारित करने के लिए $p$-value प्रदान करता है।

3. प्रमुख योगदान

1. Suitability Evaluation: एक्सपोजर जोखिम को कम करने के लिए कोड जटिलता के आधार पर वॉटरमार्क वाहकों का मूल्यांकन और चयन करने वाला पहला मात्रात्मक तंत्र।
2. Concatenation Pattern: कोड डेटासेट वॉटरमार्किंग के लिए सह-घटना (co-occurrence) के स्थान पर concatenation pattern प्रस्तावित और लागू करने वाला पहला तरीका, जो पहचान के विरुद्ध मजबूती को काफी बढ़ाता है।
3. Dual Strategies: वेरिएबल नाम के संयोजन (concatenation) के माध्यम से Fixed-Trigger और Universal Watermark दोनों रणनीतियों का कार्यान्वयन, जो डिज़ाइन की सरलता और उच्च अदृश्यता (imperceptibility) के बीच संतुलन बनाता है।
4. व्यापक मूल्यांकन: विधि की प्रभावशीलता, हानिरहितता (harmlessness), अदृश्यता और मजबूती को सिद्ध करने के लिए व्यापक प्रयोग।

4. प्रयोगात्मक परिणाम

लेखकों ने तीन NCCMs (Qwen2.5, StarCoderBase, DeepSeek-Coder) का उपयोग करके Python और Java डेटासेट्स (CodeSearchNet) पर PuzzleMark का मूल्यांकन किया।

• प्रभावशीलता (Effectiveness): सभी मॉडलों और भाषाओं में 100% सत्यापन सफलता दर और 0% false positive rate प्राप्त किया।
• हानिरहितता (Harmlessness): मॉडल प्रदर्शन पर नगण्य प्रभाव। BLEU स्कोर ने वॉटरमार्क किए गए और बिना वॉटरमार्क वाले मॉडलों के बीच कोई सांख्यिकीय रूप से महत्वपूर्ण अंतर नहीं दिखाया ($p > 0.05$, Cohen's $d < 0.2$)।
• अदृश्यता (Imperceptibility):
  • मानव (Human): औसत संदिग्ध दर $\le 0.24$ (CodeMark के तुलनीय)।
  • मशीन (Machine): अत्याधुनिक डिटेक्टरों (SS, AC, KillBadCode, DeCoMa) के विरुद्ध बेसलाइन की तुलना में काफी बेहतर प्रदर्शन किया। DeCoMa द्वारा औसत रिकॉल घटकर $\le 30.41\%$ रह गया (जबकि बेसलाइन के लिए यह ~100% था)।
• मजबूती (Robustness):
  • हटाने के हमले (Removal Attacks): चार अलग-अलग स्वचालित उपकरणों द्वारा पहचाने गए नमूनों को हटाने के बाद भी सत्यापन क्षमता बनाए रखी ($p < 0.05$)।
  • तनुकरण हमले (Dilution Attacks): जब वॉटरमार्क एम्बेडिंग दर को 0.1% तक कम (dilute) कर दिया गया, तब भी यह प्रभावी रहा (हालाँकि Universal Watermarks के लिए थोड़ी उच्च दरों की आवश्यकता थी)।
• स्केलेबिलिटी (Scalability): प्रोजेक्ट-स्तरीय IP को सफलतापूर्वक सुरक्षित किया, हालांकि बहुत छोटे प्रोजेक्ट्स (<100 functions) पर सिग्नल डेंसिटी की कमी के कारण प्रदर्शन सीमित था।

5. महत्व

PuzzleMark वर्तमान कोड डेटासेट वॉटरमार्किंग तकनीकों की महत्वपूर्ण भेद्यता (vulnerability) को संबोधित करता है। स्थिर सह-घटना पैटर्न (static co-occurrence patterns) से गतिशील संयोजन (dynamic concatenation) की ओर बढ़कर और "स्टील्थी" (stealthy) वाहकों का कड़ाई से चयन करके, यह एक ऐसा वॉटरमार्क बनाता है जो:

• पहचानने में कठिन है: मानव निरीक्षण और उन्नत स्वचालित पहचान उपकरणों दोनों से बचता है।
• हटाने में कठिन है: क्योंकि वॉटरमार्क अनुकूल रूप से वितरित है और यह उच्च-आवृत्ति वाले आउटलेर्स पर निर्भर नहीं है।
• व्यावहारिक है: यह वाणिज्यिक AI कोडिंग असिस्टेंट को प्रशिक्षित करने के लिए उपयोग किए जाने वाले उच्च-मूल्य वाले कोड डेटासेट की बौद्धिक संपदा की रक्षा करने के लिए एक व्यवहार्य समाधान प्रदान करता है।

लेख का निष्कर्ष है कि PuzzleMark बड़े भाषा मॉडलों (LLMs) के युग में मजबूत, अदृश्य और प्रभावी डेटासेट वॉटरमार्किंग के लिए एक नया मानक स्थापित करता है।