Repairing vulnerabilities without invisible hands. A differentiated replication study on LLMs

तकनीकी सारांश: स्वचालित भेद्यता मरम्मत (Automated Vulnerability Repair) के लिए LLMs पर एक विभेदित प्रतिकृति अध्ययन (Differentiated Replication Study)

समस्या विवरण (Problem Statement)
लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग करके स्वचालित भेद्यता मरम्मत (Automated Vulnerability Repair - AVR) ने हाल ही में पारंपरिक परीक्षण-आधारित प्रोग्राम रिपेयर विधियों से बेहतर परिणाम प्रदर्शित किए हैं। हालांकि, लेखक तर्क देते हैं कि ये "असाधारण" परिणाम तीन "अदृश्य हाथों" (invisible hands) द्वारा संचालित हो सकते हैं:

1. कोड लीकेज (Code Leakage): LLMs को उन्हीं बेंचमार्क डेटासेट्स पर प्रशिक्षित किया गया हो सकता है जिनका उपयोग मूल्यांकन (जैसे, Vul4J, PrimeVul) के लिए किया जाता है, जिससे वे सामान्यीकरण करने के बजाय सुधारों (fixes) को याद कर लेते हैं।
2. प्रॉम्प्ट डिज़ाइन (पूर्णता बनाम पैचिंग - Completion vs. Patching): कई अध्ययन मरम्मत को एक 'कोड पूर्णता' कार्य के रूप में फ्रेम करते हैं जहाँ भेद्य कोड को एक प्लेसहोल्डर द्वारा बदल दिया जाता है। यदि मॉडल ने सुधार को याद कर लिया है, तो वह केवल पैटर्न को पूरा करता है।
3. पूर्ण दोष स्थानीयकरण (Perfect Fault Localization): अध्ययन अक्सर भेद्यता की सटीक लाइन संख्या प्रदान करते हैं। कोड पूर्णता प्रॉम्प्ट्स के साथ मिलकर, यह मॉडल को अंतर्नि adelante तर्क को समझे बिना ही ज्ञात सुधार को पुनरुत्पादित करने की अनुमति देता है।

मुख्य परिकल्पना यह है कि यदि LLMs वास्तव में सामान्यीकरण (generalizing) कर रहे हैं, तो दोष स्थानीयकरण (fault localization) में त्रुटियां पेश करने से प्रदर्शन में गिरावट आनी चाहिए। इसके विपरीत, यदि वे केवल स्मृति (memorization) के माध्यम से "चीटिंग" कर रहे हैं, तो वे स्थानीयकरण त्रुटियों को अनदेखा कर देंगे और प्रॉम्प्ट की सटीकता के बावजूद ज्ञात सुधार को पुनरुत्पादित करेंगे।

कार्यप्रणाली (Methodology)
लेखक Vul4J और VJTrans (परिवर्तित/पुनर्गठित) बेंचमार्क पर एक विभेदित पाइपलाइन का उपयोग करके एक "संदेहपूर्ण प्रतिकृति अध्ययन" (skeptical replication study) प्रस्तावित करते हैं। कार्यप्रणाली में शामिल है:

• नियंत्रित त्रुटि इंजेक्शन (Controlled Error Injection): पूर्ववर्ती कार्यों के विपरीत, जो पूर्ण स्थानीयकरण प्रदान करते हैं, यह पाइपलाइन जानबूझकर प्रॉम्प्ट में दोष स्थानीयकरण को ग्राउंड ट्रुथ से $n$ लाइनों (विशेष रूप से 2, 4, और 8 लाइनों के सकारात्मक और नकारात्मक ऑफसेट) द्वारा विस्थापित करती है।
• प्रॉम्प्ट विविधताएं (Prompt Variations): अध्ययन चार प्रॉम्प्ट टेम्पलेट्स (P1–P4) का उपयोग करता है जो प्रदान की गई जानकारी में भिन्न होते हैं:
  • सामान्य जानकारी + केवल फंक्शन।
  • फंक्शन + लाइन-स्तरीय स्थानीयकरण मार्कर।
  • फंक्शन + भेद्यता प्रकार का विवरण।
  • फंक्शन + लाइन-स्तरीय मार्कर और भेद्यता प्रकार दोनों।
• दो-चरणीय LLM पाइपलाइन (Two-Stage LLM Pipeline):
  1. जेनेरेटर (Generator): एक प्रारंभिक LLM (संभावित रूप से त्रुटिपूर्ण) प्रॉम्प्ट के आधार पर एक पैच उत्पन्न करता है।
  2. रिव्यूअर (Reviewer): दूसरा LLM उत्पन्न पैच की समीक्षा करता है, और यदि वह सही प्रतीत होता है तो "TRUE" या यदि वह विफल रहता है तो "FALSE" आउटपुट देता है।
• सत्यापन (Validation): उत्पन्न पैच को निम्नलिखित के माध्यम से सत्यापित किया जाता है:
  • रिग्रेशन टेस्टिंग (Regression Testing): यह सुनिश्चित करना कि कार्यक्षमता बनी रहे।
  • भेद्यता का प्रमाण (Proof of Vulnerability - PoV) परीक्षण: यह सुनिश्चित करना कि भेद्यता वास्तव में ठीक हो गई है।
  • मैनुअल ऑडिट (Manual Audit): स्वचालित परीक्षणों को पास करने वाले पैच के एक नमूने का मैन्युअल निरीक्षण किया जाता है ताकि उन्हें "सही (Correct)", "आंशिक रूप से सही (Partially Correct)", या "गलत (Wrong)" के रूप में वर्गीकृत किया जा सके।
• सांख्यिकीय विश्लेषण (Statistical Analysis): अध्ययन सांख्यिकीय अंतर की कमी के बजाय सांख्यिकीय तुल्यता (statistical equivalence) को सिद्ध करने के लिए TOST (Two One-Sided Tests) का उपयोग करता है। इसका उपयोग यह परीक्षण करने के लिए किया जाता है कि क्या स्थानीयकरण त्रुटियों के बावजूद प्रदर्शन स्थिर रहता है (जो स्मृति/memorization परिकल्पना का समर्थन करता है)। मैनुअल ऑडिट परिणामों के लिए कॉन्फिडेंस इंटरवल की गणना करने के लिए Agresti-Coull-Wilson पद्धति का उपयोग किया जाता है।

प्रमुख योगदान (Key Contributions)

1. विभेदित प्रतिकृति (Differentiated Replication): यह पेपर केवल प्रतिकृति बनाने से आगे बढ़कर LLM-आधारित AVR के परीक्षण के लिए एक नियंत्रित चर (दोष स्थानीयकरण) पेश करके आगे बढ़ता है।
2. स्मृति का अलगाव (Isolation of Memorization): VJTrans (नाम बदले हुए पहचानकर्ताओं और परिवर्तित नियंत्रण प्रवाह वाले पुनर्गठित भेद्यताएं) का उपयोग करके, यह अध्ययन मॉडल के सामान्यीकरण को डेटा स्मृति से अलग करने का प्रयास करता है, क्योंकि इन रूपांतरित मामलों के लिए सटीक डेवलपर सुधार उपलब्ध नहीं है।
3. तुल्यता के लिए सांख्यिकीय ढांचा (Statistical Framework for Equivalence): लेखक यह वैज्ञानिक रूप से मान्य करने के लिए कि क्या "चीटर" मॉडल (स्मृति आधारित) परिवर्तित स्थितियों के तहत पूर्ण स्थितियों के समान प्रदर्शन करते हैं, तुल्यता परीक्षण (TOST) का उपयोग करने का प्रस्ताव करते हैं।
4. "अदृश्य हाथों" का आलोचनात्मक विश्लेषण: यह अध्ययन पूर्ण स्थानीयकरण और कोड पूर्णता फ्रेमिंग के माध्यम से वर्तमान AVR बेंचमार्क की वैधता को स्पष्ट रूप से चुनौती देता है।

परिणाम और अपेक्षित परिणाम (Results and Expected Outcomes)
नोट: चूंकि यह एक अध्ययन के प्रस्ताव/योजना के रूप में है, इसलिए पेपर अंतिम अनुभवजन्य परिणाम प्रस्तुत नहीं करता है, बल्कि उन परिकल्पनाओं और प्रयोगात्मक डिजाइन को प्रस्तुत करता है जिनका उपयोग परीक्षण के लिए किया जाना है।

पेपर अपेक्षित परिणामों के संबंध में विशिष्ट परिकल्पनाओं को रेखांकित करता है:

• स्मृति पर परिकल्पना (Hypothesis on Memorization): यदि LLMs स्मृति पर निर्भर हैं, तो पूर्ण स्थानीयकरण वाले प्रॉम्प्ट और शिफ्ट किए गए स्थानीयकरण वाले प्रॉम्प्ट के बीच प्रदर्शन में सांख्यिकीय रूप से महत्वपूर्ण तुल्यता होगी। मॉडल त्रुटि को अनदेखा करेगा और ज्ञात सुधार को आउटपुट करेगा।
• सामान्यीकरण पर परिकल्पना (Hypothesis on Generalization): यदि LLMs सामान्यीकरण कर रहे हैं, तो जब स्थानीयकरण शिफ्ट किया जाता है, तो प्रदर्शन में काफी गिरावट आनी चाहिए, क्योंकि मॉडल गलत कोड को ठीक करने का प्रयास करता है।
• रिव्यूअर व्यवहार (Reviewer Behavior): यदि "चीटर" परिकल्पना सही साबित होती है, तो दूसरा LLM (रिव्यूअर) भी स्मृति पर निर्भर होगा। वह "प्लासिबल" (स्मृतिबद्ध) पैच को पहचान लेगा, भले ही प्रॉम्प्ट में स्थानीयकरण गलत हो, जबकि वह पुनर्गठित (अनदेखे) भेद्यताओं के लिए सही पैच को पहचानने में विफल हो सकता है।
• ऑफसेट संवेदनशीलता (Offset Sensitivity): लेखकों को उम्मीद है कि यदि मॉडल चीटिंग कर रहा है, तो छोटे ($\le 2$) और बड़े ($>3$) विस्थापन के बीच कोई सार्थक प्रदर्शन अंतर नहीं होगा, क्योंकि मॉडल प्रॉम्प्ट के स्थान संकेत (location hint) को पूरी तरह से अनदेखा कर देता है।

महत्व (Significance)
यह पेपर दावा करता है कि यह LLM-आधारित सॉफ्टवेयर इंजीनियरिंग में व्याप्त पुनरुत्पादकता संकट (reproducibility crisis) को संबोधित करने में महत्वपूर्ण है। वर्तमान उच्च सफलता दरों को डेटा लीकेज और पूर्ण स्थानीयकरण के कृत्रिम प्रभाव के रूप में प्रदर्शित करके, इस अध्ययन का उद्देश्य है:

• AVR टूल्स के मूल्यांकन के लिए एक अधिक कठोर आधार (baseline) प्रदान करना।
• उन मॉडलों के बीच अंतर करना जो वास्तव में भेद्यता पैटर्न को समझते हैं और वे जो केवल प्रशिक्षण डेटा को याद रखते हैं।
• एक ऐसी कार्यप्रणाली (त्रुटि इंजेक्शन + तुल्यता परीक्षण) स्थापित करना जिसे भविष्य के अध्ययनों में यह सुनिश्चित करने के लिए लागू किया जा सके कि रिपोर्ट किए गए प्रोग्राम रिपेयर वास्तविक सामान्यीकरण हैं न कि स्मृति के प्रभाव।

लेखक निष्कर्ष निकालते हैं कि बिना ऐसे नियंत्रणों के, क्षेत्र सुरक्षा-महत्वपूर्ण कार्यों में LLMs की क्षमताओं का अत्यधिक आकलन करने का जोखिम उठाता है।