🤖 AI

BoostAPR: Boosting Automated Program Repair via Execution-Grounded Reinforcement Learning with Dual Reward Models

BoostAPR एक तीन-चरणीय ढांचा है जो सुपरवाइज्ड फाइन-ट्यूनिंग को निष्पादन-सत्यापित तर्क (execution-verified reasoning) और दोहरे रिवॉर्ड मॉडल के साथ जोड़कर स्वचालित प्रोग्राम रिपेयर को बढ़ाता है ताकि सुदृढीकरण शिक्षण (reinforcement learning) के दौरान सूक्ष्म, लाइन-स्तरीय क्रेडिट असाइनमेंट सक्षम किया जा सके, जिससे कई बेंचमार्क में अत्याधुनिक प्रदर्शन और मजबूत क्रॉस-लैंग्वेज सामान्यीकरण प्राप्त होता है।

मूल लेखक: Yuanhao Li, Hongbo Wang, Xiaotang Shang, Xunzhu Tang, Yiming Cao, Xuhong Chen

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuanhao Li, Hongbo Wang, Xiaotang Shang, Xunzhu Tang, Yiming Cao, Xuhong Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े अनाड़ी, प्रशिक्षु (apprentice) को एक टूटी हुई मशीन ठीक करना सिखाने की कोशिश कर रहे हैं। वह मशीन कंप्यूटर कोड का एक टुकड़ा है, और "खराबी" एक बग (bug) है जिसके कारण वह टेस्ट में फेल हो जाता है।

लंबे समय से, हमने इन प्रशिक्षुओं (AI मॉडल्स) को टूटी हुई मशीनों और उनके सुधारों के उदाहरण दिखाकर सिखाने की कोशिश की है। लेकिन एक समस्या है: जब प्रशिक्षु कोई सुधार करने की कोशिश करता है, तो या तो मशीन पूरी तरह से काम करने लगती है या वह फट जाती है। यह प्रशिक्षु को यह नहीं बताता कि उसने कौन सा विशिष्ट पेंच कसा था या कौन सा तार काटा था जिससे अंतर आया। उन्हें बस एक बाइनरी संकेत मिलता है: "अच्छा काम किया" या "बुरा काम किया।" यह सीखने की प्रक्रिया को धीमा और निराशाजनक बना देता है।

यह पेपर BOOSTAPR नामक एक नई प्रणाली पेश करता है जो इस समस्या को हल करती है। इसे एक तीन-चरणीय प्रशिक्षण शिविर (training camp) के रूप में समझें, जिसे उस अनाड़ी प्रशिक्षु को एक कुशल मैकेनिक में बदलने के लिए डिज़ाइन किया गया है।

चरण 1: "सोचो-फिर-करो" का होमवर्क (Supervised Fine-Tuning)

सबसे पहले, सिस्टम केवल प्रशिक्षु को अंतिम सुधार नहीं दिखाता। इसके बजाय, यह उन्हें एक मास्टर मैकेनिक की नोटबुक दिखाता है।

उपमा: कल्पना कीजिए कि एक मास्टर मैकेनिक आपको केवल ठीक किया हुआ इंजन ही नहीं थमाता, बल्कि पहले अपनी सोचने की प्रक्रिया भी लिख देता है: "मैंने देखा कि शोर बाईं ओर से आ रहा था, इसलिए मैंने बेल्ट की जाँच की, पाया कि वह ढीली थी, और उसे कस दिया।"
पेपर का दावा: AI को "एग्जीक्यूशन-वेरिफाइड डेमोंस्ट्रेशन" (execution-verified demonstrations) पर प्रशिक्षित किया जाता है। इसका मतलब है कि यह केवल उन उदाहरणों से सीखता है जहाँ मास्टर मैकेनिक ने वास्तव में समस्या को ठीक किया था और अपने तर्क को भी लिखा था। AI न केवल यह सीखता है कि क्या बदलना है, बल्कि यह भी कि समस्या के बारे में कैसे सोचना है।

चरण 2: दो अलग-अलग कोच को काम पर रखना (Dual Reward Models)

एक बार जब प्रशिक्षु अभ्यास करना शुरू कर देता है, तो उसे फीडबैक की आवश्यकता होती है। पुराने दिनों में, कोच केवल इतना कहता था, "यह पैच काम कर गया!" या "यह पैच विफल रहा!" पेपर कहता है कि यह बहुत अस्पष्ट है। इसलिए, वे दो विशिष्ट कोच काम पर रखते हैं:

"बड़ी तस्वीर" वाला कोच ( $R_{seq}$ ): यह कोच पूरे मरम्मत कार्य को देखता है। क्या मशीन चली? हाँ या नहीं? वे पूरे पैच के लिए एक स्कोर देते हैं।
"माइक्रोस्कोप" वाला कोच ( $R_{line}$ ): यह नया और गुप्त मंत्र है। यह कोच मरम्मत को लाइन-दर-लाइन देखता है।
- उपमा: कल्पना कीजिए कि प्रशिक्षु ने इंजन ठीक कर दिया लेकिन साथ ही कार को एक अजीब रंग में पेंट कर दिया और रेडियो स्टेशन भी बदल दिया। "बड़ी तस्वीर" वाला कोच कहता है, "यह चल रही है, इसलिए यह एक अच्छा काम है।" लेकिन "माइक्रोस्कोप" वाला कोच कहता है, "रुको, पेंटिंग और रेडियो ने इंजन ठीक करने में मदद नहीं की। केवल बेल्ट कसने ने ही मदद की। आइए सफलता का श्रेय बेल्ट को दें, न कि पेंट को।"
- पेपर का दावा: यह कोच यह पहचानने के लिए सीखता है कि कोड की कौन सी विशिष्ट लाइनें (edit spans) वास्तव में बग को ठीक करती हैं और कौन सी लाइनें केवल शोर (noise) थीं। यह "बड़ी तस्वीर" के स्कोर को लेता है और श्रेय को उन विशिष्ट लाइनों में पुनर्वितरित करता है जो वास्तव में महत्वपूर्ण थीं।

चरण 3: स्मार्ट फीडबैक के साथ अभ्यास का दौर (PPO Optimization)

अंत में, प्रशिक्षु वास्तविक समय में बग ठीक करने का अभ्यास करने के लिए एक सिमुलेशन में जाता है।

उपमा: हर बार जब प्रशिक्षु कोई कदम उठाता है, तो दोनों कोच आपस में बात करते हैं। "माइक्रोस्कोप" कोच "बड़ी तस्वीर" वाले कोच को बताता है, "सिर्फ पूरे काम के लिए अंक न दें; प्रशिक्षु को उस विशिष्ट बोल्ट को कसने के लिए अतिरिक्त अंक दें, और उनके बीच में की गई रैंडम टाइपिंग के लिए शून्य अंक दें।"
पेपर का दावा: AI अपने मस्तिष्क को अपडेट करने के लिए PPO (एक प्रकार का रीइन्फोर्समेंट लर्निंग) का उपयोग करता है। क्योंकि "माइक्रोस्कोप" कोच इतना विस्तृत फीडबैक दे रहा है, इसलिए AI सामान्य "अच्छे/बुरे" संकेत की तुलना में बहुत तेज़ी से और अधिक सटीकता से सीखता है।

परिणाम: यह कितनी अच्छी तरह काम कर गया?

लेखकों ने इस नए प्रशिक्षण शिविर का परीक्षण चार अलग-अलग "गरजों" (benchmarks) पर किया जिनमें हजारों टूटे हुए कोड के उदाहरण थे:

SWE-bench (वास्तविक दुनिया के GitHub बग्स): AI ने 40.7% बग्स को ठीक किया। यह इसी AI मॉडल के बिना, बिना इस विशेष प्रशिक्षण के, 22.9% की बड़ी छलांग है।
Defects4J (Java बग्स): भले ही AI को मुख्य रूप से पायथन (Python) पर प्रशिक्षित किया गया था, इसने सफलतापूर्वक 24.8% जावा बग्स को ठीक किया। यह दर्शाता है कि "माइक्रोस्कोप" कोच ने प्रशिक्षु को केवल पायथन-विशिष्ट ट्रिक्स के बजाय सामान्य मरम्मत कौशल सीखने में मदद की।
HumanEval-Java और QuixBugs: इसने इन विशिष्ट कोडिंग चुनौतियों पर बहुत उच्च स्कोर (84.5% और 95.0%) प्राप्त किया।

यह क्यों मायने रखता है (पेपर के अनुसार)

पेपर का तर्क है कि सबसे बड़ी सफलता यह नहीं है कि AI केवल स्मार्ट हो गया, बल्कि यह है कि वह कैसे स्मार्ट हुआ। "क्या यह काम कर गया?" (सीक्वेंस-लेवल) से हटकर "किन विशिष्ट लाइनों ने इसे काम करने योग्य बनाया?" (लाइन-लेवल) की ओर बढ़कर, उन्होंने सीखने की एक बड़ी बाधा को हल कर दिया।

"माइक्रोस्कोप" कोच ( $R_{line}$ ) ने अकेले सारा भारी काम नहीं किया; "बड़ी तस्वीर" वाले कोच ( $R_{seq}$ ) ने अधिकांश काम किया। हालाँकि, माइक्रोस्कोप कोच ने नई, कठिन समस्याओं के लिए सामान्यीकरण (generalize) करने के लिए आवश्यक अतिरिक्त बढ़ावा प्रदान किया और प्रशिक्षण प्रक्रिया को अधिक स्थिर और कुशल बनाया।

संक्षेप में: BOOSTAPR AI को विशेषज्ञ की सोच की प्रक्रिया दिखाकर, पूरे काम को ग्रेड करने के लिए एक कोच रखकर, और हर एक कसे गए पेंच को ग्रेड करने के लिए दूसरे कोच को नियुक्त करके कोड ठीक करना सिखाता है, जिससे यह सुनिश्चित होता है कि AI अगली बार ठीक से क्या करना है, यह सीख सके।

तकनीकी सारांश: BOOSTAPR

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग करके ऑटोमेटेड प्रोग्राम रिपेयर (APR) तीन मौलिक सीमाओं का सामना करता है जो प्रभावी रिइन्फोर्समेंट लर्निंग (RL) में बाधा डालती हैं:

स्पार्स एक्जीक्यूशन फीडबैक (Sparse Execution Feedback): टेक्स्ट जनरेशन के विपरीत, प्रोग्राम रिपेयर केवल बाइनरी सिग्नल (पास/फेल) प्रदान करता है। एक पैच जो एक महत्वपूर्ण टेस्ट में विफल हो जाता है, उसे एक सिंटैक्टिक रूप से गलत प्रयास के समान ही नकारात्मक सिग्नल मिलता है, जिससे आंशिक शुद्धता के लिए कोई मार्गदर्शन नहीं मिल पाता।
कोर्स सीक्वेंस-लेवल रिवार्ड्स (Coarse Sequence-Level Rewards): मानक RL पूरे जेनरेट किए गए सीक्वेंस को रिवॉर्ड असाइन करता है। जब एक मल्टी-लाइन पैच सफल या विफल होता है, तो मॉडल को इस बारे में कोई जानकारी नहीं मिलती कि कौन से विशिष्ट संपादन (edits) लाभकारी या हानिकारक थे। यह एक गंभीर क्रेडिट असाइनमेंट समस्या पैदा करता है, जिससे हाई-वेरिएंस ग्रेडिएंट अनुमान और अकुशल लर्निंग होती है।
डिस्ट्रीब्यूशन शिफ्ट (Distribution Shift): क्यूरेटेड डेटासेट्स पर प्रशिक्षित मॉडल अक्सर वास्तविक दुनिया के रिपॉजिटरीज में पाए जाने वाले विविध बग पैटर्न के अनुकूल होने में संघर्ष करते हैं।

मौजूदा दृष्टिकोण अक्सर स्पार्स सीक्वेंस-लेवल रिवार्ड्स या टोकन-लेवल रिवार्ड्स पर निर्भर करते हैं जो कोड संशोधनों के लिए या तो बहुत कोर्स (coarse) या बहुत फाइन-ग्रेन्ड (fine-grained) होते हैं (अर्थात उनमें सिमेंटिक महत्व की कमी होती है)।

कार्यप्रणाली: BOOSTAPR फ्रेमवर्क

लेखक BOOSTAPR का प्रस्ताव करते हैं, जो एक तीन-चरणीय प्रशिक्षण फ्रेमवर्क है जो एक्जीक्यूशन-वेरिफाइड लर्निंग को फाइन-ग्रेन्ड क्रेडिट असाइनमेंट के साथ जोड़ता है। यह फ्रेमवर्क Qwen2.5-Coder-32B बैकबोन पर आधारित है और विशेष रूप से SWE-Gym पर प्रशिक्षित है।

चरण I: एक्जीक्यूशन-वेरिफाइड रीजनिंग ट्रांसफर

पॉलिसी को उच्च-गुणवत्ता वाले प्रदर्शनों (demonstrations) पर सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) के माध्यम से इनिशियलाइज़ किया जाता है। मानक SFT के विपरीत, यह चरण दो सख्त मानदंडों को लागू करता है:

रीजनिंग ट्रेसेस (Reasoning Traces): प्रदर्शनों में पैच के साथ-साथ स्पष्ट डायग्नोस्टिक रीजनिंग (बग डायग्नोसिस, रूट कॉज आइडेंटिफिकेशन, फिक्स जस्टिफिकेशन) शामिल होनी चाहिए।
एक्जीक्यूशन वेरिफिकेशन (Execution Verification): केवल वे पैच जिन्हें SWE-Gym वातावरण में सभी टेस्ट पास करने वाले पैच ही रखे जाते हैं। यह सुनिश्चित करता है कि मॉडल सत्यापित समाधानों से सीखता है, जिससे संभावित लेकिन गलत आउटपुट फ़िल्टर हो जाते हैं।

चरण II: डुअल रिवॉर्ड लर्निंग

SFT पॉलिसी के एक्जीक्यूशन परिणामों का उपयोग करके दो रिवॉर्ड मॉडल्स को ऑफलाइन प्रशिक्षित किया जाता है:

सीक्वेंस-लेवल असेसर ( $R_{seq}$ ): एक मॉडल जो पैच की समग्र गुणवत्ता का अनुमान लगाता है। महत्वपूर्ण रूप से, इसे इश्यू डिस्क्रिप्शन के साथ स्प्यूरियस कोरिलेशन सीखने से रोकने के लिए केवल पैच-ओनली इनपुट्स (बिना बग कॉन्टेक्स्ट के यूनिफाइड डिफ्स) पर प्रशिक्षित किया जाता है। यह रिग्रेशन (कैलिब्रेटेड एब्सोल्यूट स्कोर के लिए) और पेयरवाइज प्रेफरेंस (सही रिलेटिव रैंकिंग के लिए) को संयोजित करने वाले एक हाइब्रिड ऑब्जेक्टिव का उपयोग करता है।
लाइन-लेवल क्रेडिट एलोकेटर ( $R_{line}$ ): एक अभिनव घटक जो पूरे सीक्वेंस या व्यक्तिगत टोकन के बजाय विशिष्ट एडिट-लाइन स्पैन को क्रेडिट असाइन करता है।
- मैकेनिज्म: यह यूनिफाइड डिफ्स को निरंतर एडिट-लाइन स्पैन में पार्स करता है।
- सुपरविजन: यह एक्जीक्यूशन-ग्राउंडेड स्टैक-ट्रेस सुपरविजन का उपयोग करता है। विफल होने वाले पैच के लिए, मॉडल फेल्योर पाथ पर स्पैन की पहचान करता है (ट्रेसबैक विश्लेषण के माध्यम से) और उन्हें नेगेटिव क्रेडिट असाइन करता है, जबकि सफल पैच सभी एडिट स्पैन को पॉजिटिव मानते हैं।
- लक्ष्य: यह सीखना कि कौन से संपादन सफलता या विफलता में सबसे अधिक योगदान देते हैं, जिससे सूचनात्मक क्षेत्रों में सीक्वेंस-लेवल रिवार्ड्स का पुनर्वितरण संभव हो सके।

चरण III: डुअल रिवार्ड्स के साथ ऑनलाइन PPO

अंतिम चरण पॉलिसी को प्रॉक्सिमल पॉलिसी ऑप्टिमाइजेशन (PPO) का उपयोग करके ऑप्टिमाइज़ करता है।

टोकन-लेवल रिवार्ड शेपिंग: $R_{seq}$ से प्राप्त सीक्वेंस-लेवल स्कोर को $R_{line}$ द्वारा सीखे गए वेट्स का उपयोग करके टोकन्स के बीच वितरित किया जाता है। हाई-स्कोरिंग एडिट स्पैन के भीतर के टोकन्स को उच्च रिवार्ड मिलता है, जबकि गैर-सूचनात्मक टोकन (हेडर्स, कॉन्टेक्स्ट) को शून्य वेट मिलता है।
फॉर्मेट पेनल्टी: यदि आउटपुट एक वैध यूनिफाइड डिफ नहीं है, तो अंतिम टोकन पर एक डिटर्मिनिस्टिक पेनल्टी लगाई जाती है।
ऑप्टिमाइजेशन: पॉलिसी को इस स्ट्रक्चर्ड क्रेडिट एलोकेशन से प्राप्त अपेक्षित रिवार्ड को मैक्सिमाइज करने के लिए अपडेट किया जाता है, जो यूनिफॉर्म सीक्वेंस-लेवल रिवार्ड्स की तुलना में ग्रेडिएंट वेरिएंस को कम करता है।

मुख्य योगदान

डुअल रिवॉर्ड आर्किटेक्चर: सीक्वेंस-लेवल क्वालिटी असेसमेंट और लाइन-लेवल एडिट-स्पैन क्रेडिट एलोकेशन को संयोजित करने वाला एक तंत्र, जो कोड एडिटिंग कार्यों के लिए फाइन-ग्रेन्ड रिवार्ड डिस्ट्रीब्यूशन का एक व्यावहारिक समाधान प्रदान करता है।
थ्री-स्टेज ट्रेनिंग पाइपलाइन: एक एकीकृत दृष्टिकोण जो एक्जीक्यूशन-वेरिफाइड SFT, हाइब्रिड रिग्रेशन-प्रेफरेंस ऑब्जेक्टिव के साथ ऑफलाइन रिवॉर्ड लर्निंग, और ऑनलाइन पॉलिसी ऑप्टिमाइजेशन को जोड़ता है।
नियंत्रित तुलनाएं: एक फिक्स्ड बैकबोन (32B) और ट्रेनिंग डेटा (SWE-Gym) के तहत कठोर मूल्यांकन, जो दर्शाता है कि डुअल रिवार्ड्स, GRPO, रिजेक्शन-सैंपलिंग RL और केवल सीक्वेंस-लेवल रिवार्ड्स वाले PPO से बेहतर प्रदर्शन करते हैं।
एब्लेशन इनसाइट्स: साक्ष्य कि जबकि सीक्वेंस-लेवल रिवार्ड्स वाला PPO प्राथमिक एक्यूरेसी गेन्स को ड्राइव करता है, लाइन-लेवल एलोकेटर ( $R_{line}$ ) आउट-ऑफ-डिस्ट्रीब्यूशन जनरलाइजेशन, ट्रेनिंग एफिशिएंसी और ग्रेडिएंट क्वालिटी में पूरक सुधार प्रदान करता है।

प्रयोगात्मक परिणाम

BOOSTAPR का मूल्यांकन पायथन और जावा में रिपॉजिटरी-लेवल और फंक्शन-लेवल रिपेयर के चार बेंचमार्क पर किया गया:

SWE-bench Verified (Python): 40.7% पास रेट हासिल किया, जो बेस मॉडल की तुलना में +22.9 पर्सेंटेज पॉइंट (pp) का सुधार है। यह SWE-RL (41.0%) के तुलनीय है लेकिन एक छोटे 32B बैकबोन का उपयोग करता है।
Defects4J v2.0 (Java): 24.8% पास रेट हासिल किया, जो बेस मॉडल के प्रदर्शन (11.3%) को दोगुने से अधिक कर देता है, बावजूद इसके कि इसमें जीरो जावा ट्रेनिंग डेटा था, जो मजबूत क्रॉस-लैंग्वेज जनरलाइजेशन को प्रदर्शित करता है। यहाँ $R_{line}$ घटक ने SWE-bench की तुलना में बड़ा रिलेटिव गेन (+5.6pp) दिया।
HumanEval-Java: 84.5% हासिल किया, जो +20.5pp का सुधार है।
QuixBugs: 95.0% हासिल किया।

नियंत्रित RL बेसलाइन्स: SWE-bench Verified पर, BOOSTAPR ने GRPO (+4.6pp) और रिजेक्शन-सैंपलिंग RL (+3.2pp) को पीछे छोड़ दिया। $R_{line}$ घटक ने SWE-bench पर स्थिर +2.4pp गेन और Defects4J पर महत्वपूर्ण +5.6pp गेन प्रदान किया।

महत्व और दावे

पेपर का दावा है कि BOOSTAPR कोड जनरेशन के लिए RL में क्रेडिट असाइजेशन समस्या को इंटरमीडिएट ग्रैनुलैरिटी (एडिट-लाइन स्पैन) पर काम करके हल करता है। इस ग्रैनुलैरिटी को "व्यावहारिक समझौता" बताया गया है जो हंक-लेवल एलोकेशन से महीन लेकिन टोकन-लेवल पार्सिंग से अधिक स्थिर है, विशेष रूप से मैलफोर्म्ड या क्रॉस-लैंग्वेज पैच के लिए।

लेखक इस बात पर जोर देते हैं कि:

एक्जीक्यूशन-ग्राउंडेड लर्निंग प्राथमिक ड्राइवर है, जिसमें सीक्वेंस-लेवल रिवार्ड्स का उपयोग करने वाला PPO अधिकांश लाभों के लिए जिम्मेदार है।
लाइन-लेवल क्रेडिट एलोकेशन केवल एक एक्जीक्यूशन रिवार्ड का प्रतिस्थापन नहीं है, बल्कि एक पूरक तंत्र है जो ऑप्टिमाइजेशन स्थिरता और आउट-ऑफ-डिस्ट्रीब्यूशन परिदृश्यों (जैसे पायथन पर प्रशिक्षित होने के बावजूद जावा कार्यों के लिए) में जनरलाइजेशन में सुधार करता है।
यह दृष्टिकोण उन AI सिस्टम की ओर बढ़ता है जो केवल सरफेस-लेवल पैटर्न मैचिंग या क्यूरेटेड डेटासेट्स पर निर्भर रहने के बजाय सीधे एक्जीक्यूशन फीडबैक से सीखने में सक्षम हैं।

पेपर सीमाओं को स्वीकार करता है, यह नोट करते हुए कि $R_{line}$ सुपरविजन आंशिक रूप से ह्यूरिस्टिक है और एडिट-लाइन स्पैन एक अनुमानित सिमेंटिक यूनिट है। यह भविष्य के कार्य का सुझाव देता है जो इसे और मजबूत फॉल्ट लोकलाइजेशन और बड़े-स्केल RL पाइपलाइन्स के साथ जोड़ सकता है।