तकनीकी सारांश: निर्णय से निदान तक: पुल रिक्वेस्ट का उत्तरदायी सुरक्षा समीक्षा (Attributable Security Review)

1. समस्या की परिभाषा: निर्णय-निदान (Verdict–Diagnosis - VD) अंतराल

वर्तमान स्वचालित कोड समीक्षक मुख्य रूप से दुर्भावनापूर्ण पुल रिक्वेस्ट (PRs) के लिए "ब्लॉकिंग" निर्णय (verdict) जारी करने की अपनी क्षमता पर आंका जाते हैं। हालाँकि, यह शोध पत्र इस मूल्यांकन प्रतिमान (paradigm) में एक महत्वपूर्ण दोष की पहचान करता है: एक समीक्षक गलत कारण से किसी PR को ब्लॉक कर सकता है (भले ही वह सही निर्णय हो)। एक ब्लॉक किसी असंबंधित समस्या (जैसे, फॉर्मेटिंग त्रुटि या गैर-महत्वपूर्ण चेतावनी) के कारण ट्रिगर हो सकता है, न कि उस विशिष्ट भेद्यता (vulnerability) के कारण जो PR को असुरक्षित बनाती है।

इस विसंगति को निर्णय-निदान (Verdict–Diagnosis - VD) अंतराल कहा जाता है।

• निर्णय (Verdict): PR को स्वीकृत या ब्लॉक करने का निर्णय।
• निदान (Diagnosis): भेद्यता की विशिष्ट पहचान और उसका समर्थन करने वाले साक्ष्य।
• अंतराल (The Gap): एक सही ब्लॉकिंग निर्णय के साथ गलत या अपुष्ट निदान। ऐसे मामलों में, सुधार के प्रयास गलत दिशा में चले जाते हैं, जिससे वास्तविक भेद्यता अनसुलझी रह जाती है।

यह शोध पत्र तर्क देता है कि मौजूदा बेंचमार्क और मूल्यांकन मेट्रिक्स एक ऐसे सिस्टम के बीच अंतर करने में विफल रहते हैं जो केवल "ब्लॉक" करता है और एक ऐसे सिस्टम के बीच जो वास्तव में अंतर्निहित सुरक्षा दोष का सही ढंग से "निदान" करता है। इसके अलावा, कई भेद्यताएँ (विशेष रूप से "अनुपस्थिति-प्रकार" के दोष जहाँ एक आवश्यक गार्ड गायब है) के लिए रिपॉजिटरी के अपरिवर्तित हिस्सों से साक्ष्य की आवश्यकता होती है, जिसे मानक डिफ-आधारित (diff-based) विश्लेषण अक्सर चूक जाता है।

2. कार्यप्रणाली (Methodology)

2.1 MALPR-BENCH: एक तंत्र-आधारित बेंचमार्क

VD अंतराल को मापने के लिए, लेखक MALPR-BENCH पेश करते हैं, जो तीन अलग-अलग आयामों को अलग-अलग मूल्यांकन करने के लिए डिज़ाइन किया गया है:

1. निर्णय शुद्धता (Verdict Correctness - V): क्या सिस्टम ने PR को ब्लॉक किया?
2. लक्ष्य भेद्यता पहचान (Target Vulnerability Identification - I): क्या सिस्टम ने विशिष्ट भेद्यता तंत्र की सही पहचान की?
3. साक्ष्य सत्यापन (Evidence Validation - E): क्या सिस्टम ने अपने निदान को ठोस, ऑडिट योग्य रिपॉजिटरी तथ्यों (कोड स्थान, अपरिवर्तित फ़ाइलें, आदि) पर आधारित किया?

निर्माण:

• पैमाना (Scale): 44 रिपॉजिटरी और आठ भाषा परिवारों में 89 दुर्भावनापूर्ण PR और 50 सौम्य (benign) नियंत्रण।
• स्रोत:
  • माइनड हिस्ट्री (Mined History): प्रोजेक्ट इतिहास से अधूरे सुधारों (incomplete fixes) को पुनः प्राप्त करना।
  • एडवाइजरी-व्युत्पन्न (Advisory-Derived): सार्वजनिक सुरक्षा सलाह (Public Security Advisories) से दुर्भावनापूर्ण अवस्थाओं का निर्माण (Pool A: अधूरा सुधार; Pool B: रिवर्स एनफोर्समेंट)।
  • वास्तविक-विश्व खोज (Real-World Discovery): लेखकों के टूल द्वारा खोजी गई पहले से अज्ञात भेद्यताएँ।
• ग्राउंड ट्रुथ (Ground Truth): प्रत्येक मामले में एक "फ्रोजन रूब्रिक" शामिल है जो लक्ष्य भेद्यता, आवश्यक साक्ष्य श्रृंखला और स्वीकृत विवरण निर्दिष्ट करता है। यह सटीक रूप से ग्रेडिंग करने की अनुमति देता है कि क्या एक समीक्षा "उत्तरदायी" (attributable) है (अर्थात, $A = V \land I \land E$)।
• दोष वर्गीकरण: मामलों को प्रेजेंट-टाइप (असुरक्षित व्यवहार डिफ में दिखाई देता है) या एब्सेंस-टाइप (आवश्यक सुरक्षा प्रवर्तन गायब है) के रूप में वर्गीकृत किया गया है। साक्ष्य स्थानों को L0 (केवल डिफ) से L2b (असंबंधित फ़ाइलों में सिमेंटिक पत्राचार) तक वर्गीकृत किया गया है।

2.2 PRGUARD: एक उत्तरदायी सुरक्षा समीक्षक

VD अंतराल को संबोधित करने के लिए, लेखक PRGUARD प्रस्तावित करते हैं, जो भेद्यता पहचान को साक्ष्य सत्यापन से अलग करता है। डिफ से सीधे निर्णय तक जाने वाले एंड-टू-एंड मॉडल के विपरीत, PRGUARD एक चरणबद्ध पाइपलाइन के माध्यम से कार्य करता है:

• चरण 0 (संरचनात्मक संग्रह - Structural Collection): किसी भी मॉडल रीजनिंग से पहले बदले हुए कोड के आसपास संरचनात्मक संदर्भ (कॉलर्स, कैलीज़, इम्पोर्ट्स) को नियत रूप से एकत्र करता है।
• चरण 1 (परिवर्तन लक्षण वर्णन - Change Characterization): मॉडल किसी विशिष्ट भेद्यता का प्रस्ताव दिए बिना, परिवर्तन के सुरक्षा-प्रासंगिक व्यवहार का वर्णन करता है।
• चरण 2 और 2.5 (साक्ष्य अधिग्रहण - Evidence Acquisition):
  • पथ 1 (ज्ञान-निर्देशित - Knowledge-Directed): विकास मामलों से प्राप्त 'मैकेनिज्म नॉलेज बेस' (KB) का उपयोग करके टाइप किए गए संबंधों (जैसे, SIBLING-ENDPOINT) के माध्यम से विशिष्ट रिपॉजिटरी साक्ष्य प्राप्त करता है।
  • पथ 2 (कोड-निर्देशित - Code-Directed): बदले हुए कोड की संरचना के आधार पर रिपॉजिटरी पथों की एक कार्यसूची (worklist) बनाता है, जो KB से स्वतंत्र है।
• चरण 3 (उम्मीदवार निर्माण - Candidate Construction): एकत्र किए गए साक्ष्यों के आधार पर ठोस संभावित भेद्यताओं का सूत्रपात करता है।
• चरण 4 (साक्ष्य सत्यापन - Evidence Validation): एक अलग मॉडल इनवेाकेशन (invocation) उम्मीदवारों का रिपॉजिटरी साक्ष्यों के विरुद्ध परीक्षण करता है। यह सुरक्षा-महत्वपूर्ण धारणाओं (हमलावर नियंत्रण, पहुंच, गायब गार्ड) को सत्यापित करता है। उम्मीदवारों को VALIDATED (सत्यापित), DOWNGRADED (कम श्रेणीबद्ध), या REJECTED (अस्वीकृत) के रूप में चिह्नित किया जाता है।
• चरण 5 (समीक्षा संश्लेषण - Review Synthesis): एक नियत नीति (deterministic policy) सत्यापन परिणामों को निर्णय (Block, Comment, Approve) में मैप करती है और एक ऐसी समीक्षा तैयार करती है जो विशिष्ट कोड स्थानों के साथ सत्यापित निष्कर्षों की व्याख्या करती है।

3. प्रमुख योगदान

1. VD अंतराल का सूत्रण: यह पेपर एक सही ब्लॉकिंग निर्णय और एक सही निदान के बीच के अंतर को परिभाषित और अभिलक्षणित करता है, और तर्क देता है कि वर्तमान मूल्यांकन मेट्रिक्स इस विफलता मोड को छिपा देते हैं।
2. MALPR-BENCH: एक व्यवस्थित मूल्यांकन ढांचा और बेंचमार्क जो निर्णय की शुद्धता को भेद्यता पहचान और साक्ष्य सत्यापन से अलग करता है, जिसमें ग्राउंड ट्रुथ के लिए प्री-कमिटेड रूब्रिक्स का उपयोग किया गया है।
3. PRGUARD: एक उत्तरदायी (attributable) PR सुरक्षा समीक्षक आर्किटेक्चर जो हाइपोथेसिस जनरेशन (परिकल्पना निर्माण) को साक्ष्य सत्यापन से अलग करता है और डिफ से परे संदर्भ प्राप्त करता है।
4. अनुभवजन्य सत्यापन (Empirical Validation): यह प्रदर्शन करना कि पहचान और सत्यापन को अलग करने से सुरक्षा निष्कर्षों की उत्तरदायित्वता (attribution) में सुधार होता है, विशेष रूप से अनुपस्थिति-प्रकार के दोषों के लिए।

4. परिणाम

4.1 कॉमन-कवरेज चैलेंज सेट पर प्रदर्शन

CodeRabbit (एक व्यापक रूप से तैनात वाणिज्यिक AI समीक्षक) के विरुद्ध 31 होल्ड-आउट दुर्भावनापूर्ण PRs (19 सेल्फ-जनरलाइजेशन + 12 डिस्कवरी केस) पर मूल्यांकन:

• ब्लॉकिंग प्रदर्शन: दोनों सिस्टम समान ब्लॉकिंग दर प्राप्त करते हैं (CodeRabbit: 24/31; PRGUARD/DeepSeek: 22/31)।
• भेद्यता पहचान (I): PRGUARD/DeepSeek ने CodeRabbit की तुलना में 1.38× अधिक लक्ष्य भेद्यताओं की पहचान की (22 बनाम 16)।
• अनुपस्थिति-प्रकार के दोष (Absence-Type Defects): 14 मामलों में जहाँ एक आवश्यक गार्ड गायब था, दोनों सिस्टम ने 9 PRs को ब्लॉक किया। हालाँकि, PRGUARD/DeepSeek ने 9/14 मामलों में लक्ष्य भेद्यता की पहचान की, जबकि CodeRabbit ने इसे केवल 3/14 मामलों में पहचाना (एक 3× का अंतर)।
• उत्तरदायी ब्लॉक्स (Attributable Blocks - A): PRGUARD/DeepSeek ने 19/31 उत्तरदायी ब्लॉक्स प्राप्त किए, जबकि CodeRabbit ने 16/31 प्राप्त किए।
• साक्ष्य स्थान: CodeRabbit उन 0/7 मामलों में लक्ष्य की पहचान करने में विफल रहा जिनमें छूटी हुई फ़ाइलों से बाहर के साक्ष्य (L2a/L2b) की आवश्यकता थी, जबकि PRGUARD अधिकांश में सफल रहा।

4.2 पूर्ण पाइपलाइन मूल्यांकन

63 होल्ड-आउट दुर्भावनापूर्ण मामलों (बायस से बचने के लिए डिस्कवरी टियर को छोड़कर) पर:

• Pool B (Reversed Enforcement): दोनों बैकएंड (GPT-5.5 और DeepSeek) ने सभी 37 लक्ष्य भेद्यताओं की पहचान की (I=37/37)। हालाँकि, साक्ष्य सत्यापन (E) भिन्न था (GPT-5.5 के लिए 26/37, DeepSeek के लिए 34/37), जो यह दर्शाता है कि पहचान का अर्थ वैध साक्ष्य ग्राउंडिंग की गारंटी नहीं है।
• सौम्य नियंत्रण (Benign Controls): PRGUARD ने कम फाल्स-पॉजिटिव दर (50 सौम्य नियंत्रणों पर 4–5 ब्लॉक) दिखाई, जो CodeRabbit (6 नियंत्रणों के एक उपसमूह पर 0 ब्लॉक) के तुलनीय है।

4.3 वास्तविक-विश्व खोज (Real-World Discovery)

प्रोडक्शन रिपॉजिटरी पर लागू होने पर, PRGUARD ने पांच व्यापक रूप से उपयोग किए जाने वाले प्रोजेक्ट्स में 12 पहले से अज्ञात, प्रूफ-ऑफ-कॉन्सेप्ट-बैकड भेद्यताओं को उजागर किया।

• PRGUARD और CodeRabbit दोनों ने इस डिस्कवरी टियर में 10/12 PRs को ब्लॉक किया।
• हालाँकि, PRGUARD ने 10/12 उत्तरदायी ब्लॉक्स दिए, जबकि CodeRabbit ने केवल 4/12 दिए, जो यह दर्शाता है कि समान निर्णय संख्या नैदानिक गुणवत्ता (diagnostic quality) में 2.5× के अंतर को छिपा सकती है।

5. महत्व और दावे

यह शोध पत्र दावा करता है कि निर्णय-निदान (Verdict–Diagnosis) अंतराल वर्तमान स्वचालित सुरक्षा समीक्षा की एक मौलिक सीमा है। एक "सफल" ब्लॉक पर्याप्त नहीं है यदि यह सही ढंग से भेद्यता की पहचान और पुष्टि नहीं करता है, क्योंकि इससे अप्रभावी सुधार (remediation) होता है।

• उत्तरदायित्व (Attributability) ही कुंजी है: लेखक तर्क देते हैं कि सुरक्षा समीक्षाओं को उत्तरदायी होना चाहिए—निर्णय को विशिष्ट रिपॉजिटरी साक्ष्य पर आधारित होना चाहिए जो पहचाने गए तंत्र को सत्यापित करता हो।
• चिंताओं का पृथक्करण (Separation of Concerns): परिणाम बताते हैं कि उम्मीदवार भेद्यता की पहचान और साक्ष्य के विरुद्ध उसके सत्यापन के कार्यों को अलग करने से निदान की विश्वसनीयता में सुधार होता है, विशेष रूप से जटिल दोषों के लिए जिनमें क्रॉस-फ़ाइल संदर्भ की आवश्यकता होती है।
• सीमाएँ: पेपर स्वीकार करता है कि PRGUARD कोई रामबाण (silver bullet) नहीं है। यह प्रॉम्प्ट इंजेक्शन और जजमेंट त्रुटियों को अवशिष्ट हमले के सतह (residual attack surfaces) के रूप में मानता है। वास्तविक दुनिया की भेद्यताओं की खोज क्षमता को प्रदर्शित करती है, लेकिन यह मनमाने PRs पर रिकॉल रेट का अनुमान लगाने का दावा नहीं करती है, क्योंकि कैंडिडेट स्ट्रीम को मैन्युअल सत्यापन के लिए फ़िल्टर किया गया था।

संक्षेप में, यह कार्य मूल्यांकन के फोकस को "क्या इसने ब्लॉक किया?" से बदलकर "क्या इसने सही कारण से ब्लॉक किया, और प्रमाण के साथ?" की ओर ले जाता है, जो गलत निदान वाली सुरक्षा समीक्षाओं के जोखिमों को मापने और कम करने के लिए एक कार्यप्रणाली और टूलसेट पेश करता है।