तकनीकी सारांश: HSR-APR फ्रेमवर्क

समस्या विवरण (Problem Statement)

मौजूदा ऑटोमेटेड प्रोग्राम रिपेयर (APR) सिस्टम, विशेष रूप से लार्ज लैंग्वेज मॉडल्स (LLMs) का लाभ उठाने वाले, चार महत्वपूर्ण सीमाओं का सामना करते हैं:

1. कार्यात्मक परीक्षण (Functional Testing) पर अत्यधिक निर्भरता: अधिकांश दृष्टिकोण केवल कार्यात्मक टेस्ट केस के माध्यम से पैच को मान्य करते हैं, जो सभी प्रोग्राम व्यवहारों में सुरक्षा या शुद्धता की गारंटी देने में विफल रहता है।
2. एकीकृत सुरक्षा का अभाव: सुरक्षा को अक्सर एक अलग चिंता के रूप में माना जाता है न कि रिपेयर पाइपलाइन के अभिन्न अंग के रूप में, जिससे ऐसे पैच बनते हैं जो कार्यात्मक रूप से तो सही होते हैं लेकिन कमजोरियां (जैसे, कमांड इंजेक्शन, असुरक्षित API उपयोग) पेश करते हैं।
3. पारंपरिक विश्लेषण का अपर्याप्त एकीकरण: कई LLM-आधारित सिस्टम आइसोलेशन में काम करते हैं, जिनमें स्टेटिक एनालिसिस, फॉल्ट लोकलाइजेशन और रिट्रीवल मैकेनिज्म के साथ गहरा एकीकरण नहीं होता है जो संरचित संदर्भ (structured context) प्रदान कर सके।
4. विफलता से सीखने में अक्षमता: पारंपरिक पुनरावृत्ति (iterative) रिपेयर सिस्टम अक्सर असफल प्रयासों से प्राप्त जानकारी को हटा देते हैं, जिससे एजेंट बिना किसी व्यवस्थित मेमोरी या आत्म-चिंतन (self-reflection) के बार-बार असफल रणनीतियों को खोजने में लगा रहता है।

कार्यप्रणाली (Methodology)

यह शोध पत्र HSR-APR (हाइब्रिड सिक्योर रिफ्लेक्टिव ऑटोमेटेड प्रोग्राम रिपेयर) का प्रस्ताव करता है, जो एक एकीकृत फ्रेमवर्क है जिसे APR को एक सिंगल-स्टेप जनरेशन प्रक्रिया से बदलकर एक पुनरावृत्त (iterative), संदर्भ-जागरूक और सुरक्षा-सचेत चक्र में बदलने के लिए डिज़ाइन किया गया है। यह फ्रेमवर्क निम्नलिखित घटकों को एकीकृत करता है:

1. हाइब्रिड विश्लेषण और संदर्भ प्राप्ति (Hybrid Analysis and Context Retrieval)

• स्टेटिक एनालिसिस और फॉल्ट लोकलाइजेशन: पैच जनरेशन से पहले, फ्रेमवर्क रिपॉजिटरी का विश्लेषण करने के लिए Pylint (कोड गुणवत्ता), Bandit, और Semgrep (सुरक्षा) जैसे टूल्स का उपयोग करता है। एक फॉल्ट लोकलाइजेशन मॉड्यूल बग रिपोर्ट्स, टेस्ट फेलियर्स और स्टेटिक एनालिसिस को जोड़कर संदिग्ध कोड क्षेत्रों को सटीक रूप से पहचानता है, जिससे LLM के लिए सर्च स्पेस कम हो जाता है।
• रिट्रीवल-ऑगमेंटेड जनरेशन (RAG): Sentence Transformers और FAISS का उपयोग करके, सिस्टम सिमेंटिक रूप से प्रासंगिक रिपॉजिटरी संदर्भ (सोर्स कोड, डॉक्यूमेंटेशन, ऐतिहासिक फिक्सेस) को प्राप्त करता है ताकि LLM के प्रॉम्प्ट को समृद्ध किया जा सके, जिससे यह सुनिश्चित होता है कि एजेंट के पास विशिष्ट प्रोजेक्ट नॉलेज उपलब्ध है।

2. LLM-आधारित पैच जनरेशन

रिपेयर एजेंट (GPT-5 / Qwen2.5-Coder द्वारा कार्यान्वित) एक स्ट्रक्चर्ड प्रॉम्प्ट प्राप्त करता है जिसमें बग का विवरण, लोकलाइज्ड कोड, स्टेटिक एनालिसिस के निष्कर्ष और रिट्रीव किया गया संदर्भ शामिल होता है। यह अपेक्षित व्यवहार को बनाए रखते हुए दोष को ठीक करने के इरादे से एक कैंडिडेट पैच जेनरेट करता है।

3. द्वि-चरणीय सत्यापन (Dual-Stage Validation)

मानक APR के विपरीत, HSR-APR दो-चरणीय सत्यापन प्रक्रिया को लागू करता है:

• कार्यात्मक सत्यापन (Functional Validation): कार्यात्मक शुद्धता को सत्यापित करने के लिए pytest का उपयोग करके टेस्ट सूट्स को निष्पादित करता है।
• सुरक्षा सत्यापन (Security Validation): नई कमजोरियों या असुरक्षित पैटर्न का पता लगाने के लिए Bandit और Semgrep का उपयोग करके जेनरेट किए गए पैच का स्पष्ट रूप से विश्लेषण करता है। एक पैच तभी स्वीकार किया जाता है जब वह दोनों चरणों को पार कर लेता है।

4. आत्म-चिंतन और एडेप्टिव रिफ्लेक्शन मेमोरी (ARM)

यदि कोई पैच वैलिडेशन में विफल रहता है, तो रिफ्लेक्शन मॉड्यूल विफलता (विफल टेस्ट, सुरक्षा चेतावनियाँ और स्वयं पैच) का विश्लेषण करने के लिए एक स्ट्रक्चर्ड रिफ्लेक्शन समरी तैयार करता है।

• एडेप्टिव रिफ्लेक्शन मेमोरी (ARM): यह घटक रिपेयर प्रयासों के स्ट्रक्चर्ड रिकॉर्ड को संग्रहीत करता है, जिसमें विफलता के कारण, सुरक्षा उल्लंघन और सफल रणनीतियाँ शामिल हैं।
• पुनरावृत्ति सुधार (Iterative Improvement): आगामी पुनरावृत्तियों (iterations) में, ARM से प्रासंगिक रिकॉर्ड प्राप्त किए जाते हैं और उन्हें एक सुधारे गए प्रॉम्प्ट (Improved Prompt) में शामिल किया जाता है, जिससे LLM को अपनी पिछली गलतियों से सीखने और असफल रणनीतियों को दोहराने से बचने में मदद मिलती है।

मुख्य योगदान (Key Contributions)

लेखक चार प्राथमिक योगदानों की पहचान करते हैं:

1. एकीकृत हाइब्रिड फ्रेमवर्क: स्टेटिक कोड एनालिसिस, RAG, फंक्शनल/सिक्योरिटी वैलिडेशन और LLM-आधारित जनरेशन को एक एकल पुनरावृत्ति पाइपलाइन में एकीकृत करना।
2. एडेप्टिव रिफ्लेक्शन मेमोरी (ARM): एक नवीन तंत्र जो भविष्य के रिपेयर इटरेशन को निर्देशित करने के लिए विफलता के कारणों और सफल रणनीतियों को निरंतर रिकॉर्ड करता है, जिससे सिस्टम अपने इतिहास से "सीख" पाता है।
3. सुरक्षा-जागरूक सत्यापन (Security-Aware Validation): एक ऐसी सत्यापन प्रक्रिया का डिज़ाइन जो स्वीकृति से पहले पैच को सुरक्षा मानकों के विरुद्ध स्पष्ट रूप से सत्यापित करती है, जो LLM-आधारित APR में सुरक्षा ओवरसाइट के अंतर को संबोधित करती है।
4. व्यापक मूल्यांकन: प्रत्येक घटक के प्रभाव को अलग करने के लिए बेसलाइन्स और एब्लेटेड वर्जन्स के विरुद्ध SWE-Bench Lite बेंचमार्क (300 इंस्टेंस) पर एक कठोर मूल्यांकन।

प्रयोगात्मक परिणाम (Experimental Results)

फ्रेमवर्क का मूल्यांकन चार कॉन्फ़िगरेशन का उपयोग करके SWE-Bench Lite के 300 इंस्टेंस पर किया गया: बेसलाइन LLM, हाइब्रिड APR, हाइब्रिड APR + सिक्योरिटी वैलिडेशन, और पूर्ण HSR-APR।

मेट्रिक (Metric)	बेसलाइन LLM	हाइब्रिड APR	हाइब्रिड + सिक्योरिटी	HSR-APR
रिपेयर सफलता दर	63% (189/300)	71% (213/300)	75% (225/300)	85% (255/300)
टेस्ट पास रेट	72%	81%	84%	92%
सिक्योरिटी वॉर्निंग रिडक्शन	8%	22%	68%	87%
औसत रिपेयर इटरेशन	5.8	4.6	4.2	2.9
औसत निष्पादन समय	18 मिनट	16 मिनट	17 मिनट	13 मिनट

मुख्य निष्कर्ष:

• प्रभावशीलता: HSR-APR ने बेसलाइन की तुलना में रिपेयर सफलता दर में 22 प्रतिशत अंक का सुधार किया।
• सुरक्षा: फ्रेमवर्क ने सुरक्षा चेतावनियों में 87% की कमी हासिल की, जो बेसलाइन में देखी गई 8% की कमी की तुलना में एक महत्वपूर्ण सुधार है।
• दक्षता: विश्लेषण और रिफ्लेक्शन चरणों को जोड़ने के बावजूद, HSR-APR ने औसत इटरेशन को 50% (5.8 से 2.9 तक) और निष्पादन समय को लगभग 28% (18 से 13 मिनट तक) कम कर दिया, जो यह दर्शाता है कि विफलताओं से सीखने से बार-बार प्रयास करने की आवश्यकता कम हो जाती है।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि HSR-APR "सिंगल-स्टेप पैच जनरेशन" से "पुनरावृत्ति और ज्ञान-जागरूक रिपेयर प्रक्रिया" की ओर एक बदलाव का प्रतिनिधित्व करता है। इसका महत्व यह प्रदर्शित करने में निहित है कि हाइब्रिड विश्लेषण, स्पष्ट सुरक्षा सत्यापन और एडेप्टिव मेमोरी मैकेनिज्म को संयोजित करके LLM-आधारित APR की प्रभावशीलता, सुरक्षा और दक्षता को एक साथ सुधारा जा सकता है।

लेखक नोट करते हैं कि हालांकि परिणाम उत्साहजनक हैं, लेकिन SWE-Bench Lite से परे फ्रेमवर्क की सामान्य क्षमता (generalizability), अन्य प्रोग्रामिंग भाषाओं (Java, C++, आदि) में इसकी प्रयोज्यता, और मेमोरी साइज बनाम कम्प्यूटेशनल लागत का अनुकूलन भविष्य के अनुसंधान के क्षेत्र बने हुए हैं। यह कार्य इजिप्टियन नॉलेज बैंक (EKB) और साइंस, टेक्नोलॉजी एंड इनोवेशन फंडिंग अथॉरिटी (STDF) द्वारा समर्थित है।