💻 computer science

Enhancing Program Repair with Specification Guidance and Intermediate Behavioral Signals

यह शोध पत्र SpecTune प्रस्तुत करता है, जो एक विनिर्देश-निर्देशित (specification-guided) डिबगिंग फ्रेमवर्क है जो कार्यों को निष्पादन चेकपॉइंट्स (execution checkpoints) और स्थानीयकृत पोस्टकंडीशन (localized postconditions) में विभाजित करके ऑटोमेटेड प्रोग्राम रिपेयर को उन्नत करता है ताकि सटीक सूक्ष्म-स्तरीय व्यवहार संबंधी संकेत उत्पन्न किए जा सकें, जिससे केवल मोटे एंड-टू-एंड टेस्ट-सुइट परिणामों पर निर्भर रहने की सीमाओं को दूर किया जा सके।

मूल लेखक: Minh Le-Anh, Cuong Chi Le, Tien N. Nguyen

प्रकाशित 2026-04-15

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Minh Le-Anh, Cuong Chi Le, Tien N. Nguyen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक खराब टोस्टर को ठीक करने की कोशिश कर रहे हैं।

पुराना तरीका (पारंपरिक मरम्मत):
आप इसे प्लग में लगाते हैं, लीवर नीचे दबाते हैं, और कुछ नहीं होता। आप जानते हैं कि टोस्टर खराब है क्योंकि अंतिम परिणाम (टोस्ट न बनना) गलत है। लेकिन आपको यह नहीं पता कि क्यों। क्या हीटिंग एलिमेंट मर चुका है? क्या टाइमर अटक गया है? क्या स्प्रिंग टूट गया है?
कंप्यूटर कोड की दुनिया में, आज के अधिकांश "ऑटोमेटेड प्रोग्राम रिपेयर" (APR) टूल्स इसी तरह काम करते हैं। वे एक सुधार का अनुमान लगाने के लिए शक्तिशाली AI (लार्ज लैंग्वेज मॉडल्स) का उपयोग करते हैं, प्रोग्राम को चलाते हैं, और देखते हैं कि अंतिम आउटपुट सही है या नहीं। यदि आउटपुट अभी भी गलत है, तो वे फिर से अनुमान लगाते हैं। यह अंधेरे में तीर चलाने जैसा है, इस उम्मीद में कि शायद एक निशाने पर लग जाए। यह कभी-कभी काम करता है, लेकिन यह अक्षम है और अक्सर वास्तविक समस्या को पकड़ने में विफल रहता है।

नया तरीका (SpecTune):
इस पेपर के लेखक, मिन्ह ले-एन्ह (Minh Le-Anh) और उनके सहयोगियों ने महसूस किया कि मानव मैकेनिक इस तरह काम नहीं करते हैं। जब एक मैकेनिक कार ठीक करता है, तो वह केवल कार के शुरू होने का इंतज़ार नहीं करता। वह इंजन के चलने के दौरान उसकी जाँच करता है। वह पिस्टन की आवाज़ सुनता है, ईंधन के दबाव की जाँच करता है, और एक-एक करके स्पार्क प्लगों को सत्यापित करता है। वे मध्यवर्ती चेकपॉइंट्स (intermediate checkpoints) का उपयोग करते हैं।

वे SpecTune नामक एक नया टूल प्रस्तावित करते हैं जो AI को ऐसा ही करने के लिए प्रशिक्षित करता है।

SpecTune कैसे काम करता है: "चेकपॉइंट" का उदाहरण

कल्पना कीजिए कि बग वाला प्रोग्राम पॉइंट A (शुरुआत) से पॉइंट B (समाप्ति) तक की एक लंबी, घुमावदार सड़क यात्रा है।

बग (Bug): कार गंतव्य तक पहुँचने से पहले ही खराब हो जाती है।
पुराना AI: केवल गंतव्य को देखता है। "हम पहुँचे नहीं! कोई दूसरा रास्ता आज़माएँ!"
SpecTune: यात्रा को पड़ावों (चेकपॉइंट्स) में विभाजित करता है। यह पूछता है: "क्या हम गैस स्टेशन से गुजरे? क्या हमने नदी पार की? क्या हमने बड़े ओक के पेड़ पर बाएं मोड़ लिया?"

यहाँ SpecTune की चरण-दर-चरण प्रक्रिया दी गई है, जिसे सरल रूप में समझाया गया है:

1. "परिकल्पना" (विशिष्टताएँ उत्पन्न करना)

सबसे पहले, AI कोड और समस्या के विवरण को देखता है। यह एक जासूस की तरह कार्य करता है, कोड को छोटे-छोटे हिस्सों में तोड़ता है। प्रत्येक खंड के लिए, यह पूछता है: "यहाँ क्या होना चाहिए?"

उदाहरण: "इस लूप के बाद, संख्याओं की सूची सॉर्ट की हुई (क्रम में) होनी चाहिए।"
इसे पोस्टकंडीशन (Postcondition) कहा जाता है। यह एक वादा है कि उस विशिष्ट क्षण में कोड कैसा दिखना चाहिए।

2. "झूठ पकड़ने वाला यंत्र" (दो संकेत)

यहाँ पेचीदा हिस्सा है: AI एक गलत वादा बना सकता है (hallucination)। शायद वह कहता है, "सूची सॉर्ट की हुई होनी चाहिए," लेकिन वास्तव में, कोड अनसॉर्टेड होने के लिए है। यदि हम एक गलत वादे पर भरोसा करते हैं, तो हम गलत चीज़ को ठीक कर देंगे।

इसे हल करने के लिए, SpecTune दो "झूठ पकड़ने वाले" परीक्षणों का उपयोग करता है, जिन्हें लेखक सिग्नल अल्फा ( $\alpha$ ) और सिग्नल बीटा ( $\beta$ ) कहते हैं।

सिग्नल अल्फा ( $\alpha$ ) - "निरंतरता" की जाँच:
- परीक्षण: AI उन टेस्ट केसेस पर कोड चलाता है जो पहले से ही काम कर रहे हैं (पास होने वाले टेस्ट)।
- प्रश्न: "जब कोड सही ढंग से काम कर रहा हो, तो क्या आपका वादा सच साबित होता है?"
- परिणाम: यदि AI कहता है "सूची सॉर्ट की हुई होनी चाहिए," लेकिन काम करने वाला कोड वास्तव में एक अनसॉर्टेड सूची देता है, तो अल्फा कहता है, "यह वादा एक झूठ है! इसे फेंक दें।" यह खराब अनुमानों को फ़िल्टर करता है।
सिग्नल बीटा ( $\beta$ ) - "जासूसी" की जाँच:
- परीक्षण: AI उन टेस्ट केसेस पर कोड चलाता है जो विफल होते हैं (फेल होने वाले टेस्ट)।
- प्रश्न: "क्या आपका वादा गलती को पकड़ पाता है?"
- परिणाम: यदि AI कहता है "सूची सॉर्ट की हुई होनी चाहिए," और टूटा हुआ कोड गलती से एक सॉर्ट की हुई सूची देता है, तो वादा गलती को पकड़ नहीं पाया। बीटा कहता है, "यह वादा बहुत कमजोर है; यह मददगार नहीं है।"
- लक्ष्य: हम एक ऐसा वादा चाहते हैं जो कोड के टूटने पर उल्लंघन (violated) किया जाए। यदि टूटा हुआ कोड वादे को तोड़ देता है, तो बीटा कहता है, "बहुत बढ़िया! यह वादा हमें बग खोजने में मदद करता है!"

3. "सुधार" (लक्षित मरम्मत)

एक बार जब SpecTune झूठ और कमजोर अनुमानों को फ़िल्टर कर देता है, तो उसके पास कुछ उच्च गुणवत्ता वाले "वादे" बच जाते हैं जो हैं:

सच जब कोड काम करता है।
टूटे हुए जब कोड विफल होता है।

इसके बाद यह AI को बताता है: "हे, कोड के इस विशिष्ट भाग को देखो। आपने वादा किया था कि सूची यहाँ सॉर्ट की हुई होगी, लेकिन यह नहीं है। इस विशिष्ट भाग को ठीक करो।"

यह क्यों महत्वपूर्ण है

इसे चिकित्सा निदान की तरह सोचें:

पुरानी विधि: रोगी मृत है। डॉक्टर कहता है, "कोई दूसरी दवा आज़माएँ।" (बहुत अस्पष्ट)।
SpecTune: डॉक्टर हृदय गति, फिर रक्तचाप, फिर तापमान की जाँच करता है। "आह, हृदय गति सामान्य है, लेकिन रक्तचाप शून्य है। समस्या हार्ट पंप में है।" (सटीक)।

परिणाम

पेपर ने सैकड़ों कोडिंग समस्याओं पर SpecTune का परीक्षण किया।

बेहतर सटीकता: इसने पुराने तरीकों की तुलना में अधिक बग्स को ठीक किया।
बेहतर लोकलाइजेशन (Localization): यह पूरे प्रोग्राम का अनुमान लगाने के बजाय ठीक उसी लाइन की ओर इशारा करने में बहुत बेहतर था जहाँ कोड टूटा हुआ था।
दक्षता (Efficiency): इसने बेतरतीब ढंग से सुधारों का अनुमान लगाने में समय बर्बाद नहीं किया; बल्कि यह उन विशिष्ट क्षेत्रों पर ध्यान केंद्रित किया जहाँ तर्क (logic) टूट गया था।

सारांश

SpecTune AI को कोड ठीक करने का एक नया तरीका सिखाता है। केवल अंतिम परिणाम को देखने के बजाय, यह AI को यात्रा के हर चरण में अपना काम जाँचने के लिए प्रशिक्षित करता है। बुरे विचारों को फ़िल्टर करने के लिए "निरंतरता जाँच" (consistency check) का उपयोग करके और वास्तविक त्रुटियों को खोजने के लिए "जासूसी जाँच" (detective check) का उपयोग करके, यह AI को एक मानव इंजीनियर की तरह कार्य करने में मदद करता है: व्यवस्थित, तार्किक और सटीक।

यहाँ शोध पत्र "Enhancing Program Repair with Specification Guidance and Intermediate Behavioral Signals" (SpecTune) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

स्वचालित प्रोग्राम रिपेयर (APR) का लक्ष्य सॉफ़्टवेयर दोषों (defects) को स्वचालित रूप से खोजना और उन्हें ठीक करना है। हालांकि लार्ज लैंग्वेज मॉडल्स (LLMs) ने APR में महत्वपूर्ण प्रगति की है, वर्तमान LLM-आधारित दृष्टिकोण एक गंभीर सीमा से ग्रस्त हैं: वे मुख्य रूप से मैक्रो-लेवल डिबगिंग सिग्नल्स पर निर्भर करते हैं।

सीमा (The Limitation): मौजूदा विधियाँ उम्मीदवार पैच (candidate patches) का मूल्यांकन केवल अंतिम टेस्ट-सूट परिणामों (पास/फेल) के आधार पर करती हैं। यह एक मोटा (coarse-grained) सिग्नल प्रदान करता है जो यह तो बताता है कि प्रोग्राम टूटा हुआ है, लेकिन यह बहुत कम जानकारी देता है कि आंतरिक तर्क (internal logic) इच्छित व्यवहार से कहाँ विचलित हो रहा है।
अंतराल (The Gap): मानव डेवलपर्स केवल अंतिम आउटपुट की जाँच करके डिबग नहीं करते; वे प्रोग्राम को छोटे क्षेत्रों में विभाजित करते हैं, मध्यवर्ती प्रोग्राम अवस्थाओं (intermediate program states) के बारें में तर्क करते हैं, और स्थानीयकृत एसेर्शन (postconditions) का उपयोग करके परिकल्पनाओं को सत्यापित करते हैं। वर्तमान APR सिस्टम इस संरचित, मध्यवर्ती तर्क प्रक्रिया का अनुकरण करने में विफल रहते हैं।
चुनौती (The Challenge): बग वाले प्रोग्रामों में शायद ही कभी स्पष्ट मध्यवर्ती विनिर्देश (specifications) होते हैं। इसके अलावा, जबकि LLMs विश्वसनीय विनिर्देश उत्पन्न कर सकते हैं, ये जनरेट किए गए पोस्टकंडीशन्स अक्सर अविश्वसनीय, मतिभ्रम (hallucinated), या तुच्छ (trivial) होते हैं, जिससे यदि सीधे उपयोग किया जाए तो गलत फॉल्ट लोकलाइजेशन हो सकता है।

2. कार्यप्रणाली: SpecTune फ्रेमवर्क (Methodology: SpecTune Framework)

लेखक SpecTune प्रस्तावित करते हैं, जो एक विनिर्देश-निर्देशित (specification-guided) डिबगिंग फ्रेमवर्क है जो मैक्रो-लेवल टेस्ट परिणामों और माइक्रो-लेवल मानव तर्क के बीच के अंतर को पाटता है। यह फ्रेमवर्क तीन-चरणीय वर्कफ़्लो के माध्यम से कार्य करता है:

A. विनिर्देश पीढ़ी (चेकपॉइंट अपघटन) [Specification Generation (Checkpoint Decomposition)]

अपघटन (Decomposition): एक बग वाले प्रोग्राम और उसके समस्या विवरण को देखते हुए, एक LLM कोड को संदिग्ध क्षेत्रों (suspicious regions) में विभाजित करता है, जो मध्यवर्ती चेकपॉइंट्स द्वारा अलग किए जाते हैं।
पोस्टकंडीशन व्युत्पत्ति (Postcondition Derivation): प्रत्येक चेकपॉइंट के लिए, LLM एक स्थानीयकृत पोस्टकंडीशन (एक निष्पादन योग्य एसेर्शन) उत्पन्न करता है जो समस्या के अर्थशास्त्र (semantics) के आधार पर उस बिंदु पर अपेक्षित प्रोग्राम अवस्था का प्रतिनिधित्व करता है।
- उदाहरण: एक ऐरे (array) को पुनर्गठित करने वाले लूप में, एक पोस्टकंडीशन यह दावा कर सकता है कि एक विशिष्ट इटरेशन पर व्युत्पन्न (derived) और मूल ऐरे के बीच XOR संबंध बना रहता है।

B. दोहरी-सिग्नल सत्यापन ( $\alpha$ - $\beta$ एल्गोरिदम) [Dual-Signal Validation ( $\alpha$ - $\beta$ Algorithm)]

LLM-जनरेटेड विनिर्देशों की अविश्वसनीयता को दूर करने के लिए, SpecTune टेस्ट सूट के विरुद्ध बग वाले प्रोग्राम को चलाने से प्राप्त दो पूरक सिग्नल्स का उपयोग करके एक फ़िल्टरिंग तंत्र पेश करता है:

संगति सिग्नल ( $\alpha$ ) [Consistency Signal ( $\alpha$ )]:
- उद्देश्य: यह सत्यापित करना कि क्या एक जनरेट किया गया पोस्टकंडीशन इच्छित व्यवहार के साथ सुसंगत है।
- तंत्र: यह उन पास होने वाले टेस्ट केसेस के अनुपात की गणना करता है जो चेकपॉइंट पर पोस्टकंडीशन को संतुष्ट करते हैं।
- तर्क: यदि पास होने वाले टेस्ट्स द्वारा पोस्टकंडीशन का उल्लंघन होता है (कम $\alpha$ ), तो यह संभवतः मतिभ्रम (hallucinated) या गलत है और इसे हटा दिया जाता है।
- थ्रेशोल्ड: यदि $\alpha \geq \theta$ है, तो इसे बनाए रखें।
विभेदक सिग्नल ( $\beta$ ) [Discriminative Signal ( $\beta$ )]:
- उद्देश्य: यह सत्यापित करना कि क्या एक पोस्टकंडीशन बग का पता लगाने के लिए पर्याप्त सूचनात्मक है।
- तंत्र: यह उन फेल होने वाले टेस्ट केसेस के अनुपात की गणना करता है जो अभी भी पोस्टकंडीशन को संतुष्ट करते हैं।
- तर्क: यदि पोस्टकंडीशन फेल होने वाले टेस्ट्स द्वारा संतुष्ट होता है (उच्च $\beta$ ), तो यह "तुच्छ" (जैसे, true == true) है या त्रुटि को पकड़ने में विफल रहता है। यह कोई डिबगिंग मूल्य प्रदान नहीं करता है।
- थ्रेशोल्ड: यदि $\beta < \gamma$ है, तो इसे बनाए रखें (अर्थात, फेल होने वाले टेस्ट्स द्वारा पोस्टकंडीशन का उल्लंघन होता है)।

C. निर्देशित रिपेयर (Guided Repair)

परिष्कृत उच्च-गुणवत्ता वाले विनिर्देशों ( $\hat{S}$ ) को वापस LLM रिपेयर मॉडल में फीड किया जाता है। मॉडल इन सत्यापित मध्यवर्ती बाधाओं (constraints) का उपयोग निम्नलिखित के लिए करता है:

फॉल्ट लोकलाइजेशन (Locate Faults): यह पहचानना कि कौन सा विशिष्ट क्षेत्र सत्यापित पोस्टकंडीशन का उल्लंघन करता है।
पैच जनरेशन (Generate Patches): ऐसे कोड फिक्स सिंथेसाइज करना जो केवल अंतिम आउटपुट के आधार पर अनुमान लगाने के बजाय, मध्यवर्ती व्यवहारिक बाधाओं को संतुष्ट करते हों।

3. प्रमुख योगदान (Key Contributions)

SpecTune फ्रेमवर्क: एक अभिनव APR फ्रेमवर्क जो मरम्मत प्रक्रिया में मध्यवर्ती व्यवहारिक तर्क (माइक्रो-लेवल सिग्नल्स) को एकीकृत करता है, जो सरल एंड-टू-एंड टेस्ट वैलिडेशन से आगे जाता है।
माइक्रो बनाम मैक्रो सिग्नल्स: मध्यवर्ती डिबगिंग सिग्नल्स (माइक्रो-लेवल सिग्नल्स) बनाम मैक्रो-लेवल सिग्नल्स (अंतिम टेस्ट परिणाम) का एक औपचारिक अंतर और उपयोग, जो दर्शाता है कि मध्यवर्ती तर्क खोज स्थान (search space) को महत्वपूर्ण रूप से कम करता है।
$\alpha$ - $\beta$ फ़िल्टरिंग एल्गोरिदम: केवल अवलोकन योग्य निष्पादन ट्रेसेस (execution traces) का उपयोग करके असंगत (मतिभ्रम) और तुच्छ (सूचनाहीन) पोस्टकंडीशन्स को फ़िल्टर करके स्वचालित रूप से जनरेट किए गए विनिर्देशों का सुरक्षित उपयोग करने वाला एक दोहरा-सिग्नल तंत्र।
अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोग जो दिखाते हैं कि SpecTune सिंगल-पास और इटरेटिव रिफाइनमेंट दोनों सेटिंग्स में फॉल्ट लोकलाइजेशन सटीकता और रिपेयर सफलता दर में सुधार करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने डेटा लीकेज से बचने के लिए Kimi-K2-Instruct और DeepSeek-V3.1 जैसे बैकबोन मॉडल्स का उपयोग करते हुए एक सिंथेटिक डेटासेट (LiveCodeBench) पर SpecTune का मूल्यांकन किया।

प्रोग्राम रिपेयर प्रदर्शन (Pass@1):
- शुद्ध LLM सेटिंग (Pure LLM Setting): SpecTune ने बेस मॉडल्स की तुलना में Kimi के लिए +4.04% और DeepSeek के लिए +5.83% Pass@1 में सुधार किया।
- इटरेटिव फ्रेमवर्क्स (Iterative Frameworks): जब अत्याधुनिक इटरेटिव फ्रेमवर्क्स (ChatRepair और REx) के साथ एकीकृत किया गया, तो SpecTune ने निरंतर लाभ प्रदान किया, जहाँ DeepSeek-V3.1 + SpecTune ने REx पर 98.35% Pass@1 प्राप्त किया (एक +4.09% का सुधार)।
फॉल्ट लोकलाइजेशन (FL):
- LLM-as-a-judge प्रतिमान का उपयोग करते हुए, SpecTune के लोकलाइजेशन प्रेडिक्शंस बेस LLM की तुलना में ~53-57% मामलों में पसंद किए गए, जो बेसलाइन से काफी बेहतर प्रदर्शन करते हैं।
- मानव मूल्यांकन ने उच्च सहमति ( $\kappa \approx 0.7$ ) की पुष्टि की, जो लोकलाइजेशन सुधारों की विश्वसनीयता को प्रमाणित करता है।
फ़िल्टरिंग की प्रभावशीलता (Effectiveness of Filtering):
- विश्लेषण से पता चला कि ~45% LLM-जनरेटेड विनिर्देश "तुच्छ" थे और ~43% "गैर-सुसंगत" (non-consistent) थे।
- एब्लेशन स्टडी (Ablation Study): $\alpha$ या $\beta$ सिग्नल्स को हटाने से प्रदर्शन में काफी गिरावट आई (Pass@1 क्रमशः ~4.76% और ~2.87% गिर गया), जो यह सिद्ध करता है कि निम्न-गुणवत्ता वाले विनिर्देशों द्वारा LLM को गुमराह होने से रोकने के लिए फ़िल्टरिंग तंत्र आवश्यक है।

5. महत्व और प्रभाव (Significance and Impact)

प्रतिमान परिवर्तन (Paradigm Shift): SpecTune, APR को "जनरेट-एंड-वैलिडेट" प्रतिमान (अंतिम आउटपुट पर निर्भर) से "विशिष्टता-निर्देशित तर्क" (specification-guided reasoning) प्रतिमान में बदल देता है जो मानव डिबगिंग वर्कफ़्लो की नकल करता है।
मजबूती (Robustness): $\alpha$ - $\beta$ एल्गोरिदम विनिर्देश पीढ़ी में LLM मतिभ्रम (hallucination) की महत्वपूर्ण समस्या को हल करता है, जिससे APR सिस्टम स्वचालित रूप से अनुमानित मध्यवर्ती बाधाओं का सुरक्षित रूप से उपयोग कर सकते हैं।
सामान्यीकरण (Generalizability): यह दृष्टिकोण मॉडल-अज्ञेइक (model-agnostic) है और मौजूदा इटरेटिव रिपेयर रणनीतियों का पूरक है, जो सुझाव देता है कि यह भविष्य के LLM-आधारित डिबगिंग टूल्स के लिए एक मानक मॉड्यूल बन सकता है।
दक्षता (Efficiency): विनिर्देशों को उत्पन्न करने और मान्य करने के ओवरहेड के बावजूद, लागत में वृद्धि न्यूनतम है (DeepSeek के लिए लगभग $0.005 प्रति बग), जबकि रिपेयर सटीकता में लाभ पर्याप्त है।

निष्कर्षतः, SpecTune प्रदर्शित करता है कि LLMs को मध्यवर्ती व्यवहारिक विनिर्देशों और संरचित सत्यापन संकेतों से लैस करने से कोड लॉजिक के बारे में तर्क करने की उनकी क्षमता में उल्लेखनीय वृद्धि होती है, जिससे अधिक सटीक फॉल्ट लोकलाइजेशन और उच्च-गुणवत्ता वाले स्वचालित रिपेयर प्राप्त होते हैं।