Bug Report Specification Refinement with Trajectory Guidance for Automated Program Repair

तकनीकी सारांश: TrajSpec – प्रक्षेपवक्र-निर्देशित बग रिपोर्ट विनिर्देश परिशोधन (Trajectory-Guided Bug Report Specification Refinement)

समस्या विवरण

रिपॉजिटरी-स्तरीय ऑटोमेटेड प्रोग्राम रिपेयर (APR) एजेंट कार्य विनिर्देश के रूप में बग रिपोर्टों पर निर्भर करते हैं। हालाँकि, मानक बग रिपोर्ट अक्सर केवल देखे गए विफलता लक्षणों का वर्णन करती हैं और महत्वपूर्ण मरम्मत-प्रासंगिक जानकारी को छोड़ देती है, जैसे कि अंतर्निहित विफलता तंत्र (failure mechanism), विशिष्ट व्यवहार संबंधी आवश्यकताएं, और पूर्ण कार्यान्वयन का दायरा (implementation scope)। इसके परिणामस्वरूप, APR एजेंट अप्रासंगिक कोड का निरीक्षण कर सकते हैं, गलत आवश्यकताओं का अनुमान लगा सकते हैं, या ऐसे पैच उत्पन्न कर सकते हैं जो रिपोर्ट किए गए लक्षण को तो संबोधित करते हैं लेकिन इच्छित रिपॉजिटरी व्यवहार को बहाल नहीं करते हैं। जबकि पिछले कार्यों ने एजेंट खोज रणनीतियों, स्थानीयकरण (localization), या प्रॉम्प्ट इंजीनियरिंग में सुधार करने पर ध्यान केंद्रित किया है, ये दृष्टिकोण अक्सर यह मान लेते हैं कि इनपुट रिपोर्ट एक पर्याप्त विनिर्देश प्रदान करती है। एक ऐसा अंतराल है जहाँ डाउनस्ट्रीम रिपेयर प्रक्रिया शुरू होने से पहले लापता विनिर्देश विवरणों को रिपॉजिटरी से एकत्र करके रिपोर्ट को स्पष्ट रूप से परिष्कृत करने की आवश्यकता है।

कार्यप्रणाली: TrajSpec

लेखक रिपॉजिटरी-समर्थित विनिर्देश परिशोधन के लिए एक प्रक्षेपवक्र-निर्देशित दृष्टिकोण TrajSpec का प्रस्ताव करते हैं। यह प्रणाली एक मूल बग रिपोर्ट ($b$) और एक प्री-फिक्स रिपॉजिटरी स्नैपशॉट ($R_c$) पर निम्नलिखित पाइपलाइन के माध्यम से कार्य करती है:

1. अपुष्ट प्रक्षेपवक्र संग्रह (Unverified Trajectory Collection):
   TrajSpec केवल $b$ और $R_c$ का उपयोग करके एक प्रक्षेपवक्र-संग्रह एजेंट (trajectory-collection agent) को निष्पादित करता है। यह एजेंट रिपॉजिटरी का अन्वेषण करता है, कोड का निरीक्षण करता है, और समस्या के बारे में तर्क देता है। महत्वपूर्ण बात यह है कि यह रन अपुष्ट (unverified) है: TrajSpec इस चरण के दौरान उत्पन्न किसी भी उम्मीदवार पैच को मान्य नहीं करता है। किसी भी उम्मीदवार पैच को हटा दिया जाता है, और केवल निष्पादन प्रक्षेपवक्र ($\tau$) — जो विचार-क्रिया-अवलोकन (thought-action-observation) टुपल्स का एक अनुक्रम है — को बनाए रखा जाता है। यह प्रक्षेपवक्र रिपॉजिटरी-समर्थित साक्ष्य के स्रोत के रूप में कार्य करता है, भले ही एजेंट का अंतिम पैच गलत क्यों न हो।

2. श्रेणीबद्ध साक्ष्य अमूर्तीकरण (Hierarchical Evidence Abstraction):
   कच्चे प्रक्षेपवक्र अक्सर शोर युक्त और लंबे होते हैं। TrajSpec $b$ और $\tau$ से तीन आयामों पर ध्यान केंद्रित करते हुए उम्मीदवार निष्कर्षों को निकालता है:

   • विफलता तंत्र (Failure Mechanism): वह स्रोत-कोड व्यवहार जो लक्षण की व्याख्या करता है।
   • व्यवहार संबंधी आवश्यकता (Behavioral Requirement): वह व्यवहार जो बना रहना चाहिए।
   • कार्यान्वयन का दायरा (Implementation Scope): शामिल कोड स्थान।

   इन निष्कर्षों को तीन स्तरों के विवरण के साथ एक श्रेणीबद्ध प्रतिनिधित्व ($M$) में व्यवस्थित किया जाता है:

   • उच्च-स्तरीय (High-level): एक उम्मीदवार विनिर्देश निष्कर्ष।
   • मध्य-स्तरीय (Mid-level): नैदानिक तर्क और संबंध (जैसे, कोड पथ, निर्भरताएँ)।
   • निम्न-स्तरीय (Low-level): ठोस रिपॉजिटरी अवलोकन (जैसे, विशिष्ट फ़ाइलें, फ़ंक्शन, चर)।

3. ड्राफ्ट पीढ़ी और रिपॉजिटरी-आधारित समीक्षा:
   $b$ और $M$ का उपयोग करके, एक LLM एक निश्चित स्कीमा (शीर्षक, विवरण, RootCause, StepsToReproduce, ExpectedBehavior, ObservedBehavior) का पालन करते हुए एक ड्राफ्ट परिष्कृत रिपोर्ट ($\hat{b}$) उत्पन्न करता है।

   एक रिपॉजिटरी-आधारित समीक्षा चरण फिर $R_c$ के विरुद्ध $\hat{b}$ को मान्य करता है। एक समीक्षक एजेंट यह आकलन करता है कि क्या ड्राफ्ट में किए गए दावे $M$ में मौजूद साक्ष्यों और वास्तविक स्रोत कोड द्वारा समर्थित हैं। यह असमर्थ दावों को हटा देता है, अनिश्चित कथनों को संशोधित करता है, लापता रिपॉजिटरी-समर्थित विवरण जोड़ता है, और यह सुनिश्चित करता है कि कार्यान्वयन का दायरा उचित रूप से सीमित है। आउटपुट अंतिम परिष्कृत रिपोर्ट ($\hat{b}_f$) है, जो डाउनस्ट्रीम रिपेयर एजेंट के लिए कार्य विनिर्देश के रूप में कार्य करती है।

मुख्य योगदान

• प्रारूपण (Formulation): यह शोध पत्र रिपॉजिटरी-स्तरीय APR के लिए बग रिपोर्ट संवर्धन को "रिपॉजिटरी-समर्थित विनिर्देश परिशोधन" के रूप में प्रारूपित करता है, जिसका लक्ष्य विफलता तंत्र, व्यवहार संबंधी आवश्यकता और कार्यान्वयन के दायरे को स्पष्ट करना है।
• TrajSpec फ्रेमवर्क: एक ऐसी विधि का परिचय जो एक अपुष्ट प्रक्षेपवक्र-संग्रह रन से विनिर्देश साक्ष्य को निकालती है और श्रेणीबद्ध रूप से व्यवस्थित करती है, साक्ष्यों की स्रोत कोड के विरुद्ध समीक्षा करती है, और उम्मीदवार पैच के सही होने का अनुमान लगाए बिना एक परिष्कृत रिपोर्ट उत्पन्न करती है।
• व्यापक मूल्यांकन: Mini-SWE-Agent V2 का उपयोग करके सभी 300 SWE-Bench Lite इंस्टेंस पर मूल्यांकन, जो महत्वपूर्ण प्रदर्शन सुधार प्रदर्शित करता है।
• सामान्यीकरण (Generalization): यह प्रदर्शन कि TrajSpec के लाभ विभिन्न डाउनस्ट्रीम रिपेयर एजेंटों (Agentless और AutoCodeRover) में सामान्य होते हैं।
• घटक विश्लेषण: एब्लेशन अध्ययन (Ablation studies) पुष्टि करते हैं कि श्रेणीबद्ध साक्ष्य प्रतिनिधित्व और रिपॉजिटरी-आधारित समीक्षा दोनों ही प्रदर्शन लाभ के लिए महत्वपूर्ण हैं।

मूल्यांकन परिणाम

लेखकों ने 300 SWE-Bench Lite इंस्टेंस पर TrajSpec का मूल्यांकन किया:

• प्राथमिक रिपेयर एजेंट (Mini-SWE-Agent V2):

  • GPT-5-mini के साथ, Pass@1 41.00% (मूल रिपोर्ट) से सुधरकर 59.67% हो गया।
  • MiniMax M2.5 के साथ, Pass@1 54.67% से सुधरकर 64.33% हो गया।
  • TrajSpec ने दोनों सेटिंग्स में एक बेसलाइन "एजेंटिक-बेस" (जो प्रक्षेपवक्र डेटा का उपयोग करता है लेकिन श्रेणीबद्ध अमूर्तीकरण और रिपॉजिटरी समीक्षा का अभाव है) को पछाड़ दिया।
  • सुधार 12 अलग-अलग रिपॉजिटरी में व्यापक रूप से वितरित थे, जिसमें TrajSpec ने मूल रिपोर्टों द्वारा पहले से ठीक किए गए लगभग सभी इंस्टेंस को सुरक्षित रखते हुए मरम्मत कवरेज का विस्तार किया।

• क्रॉस-एजेंट सामान्यीकरण (100 इंस्टेंस का स्तरीकृत नमूना):

  • Agentless: Pass@1 41.00% से सुधरकर 71.00% हो गया।
  • AutoCodeRover: Pass@1 47.00% से सुधरकर 72.00% हो गया।

• एब्लेशन अध्ययन (Ablation Studies):

  • रिपॉजिटरी-आधारित समीक्षा को हटाने से Pass@1 59.67% से घटकर 48.00% रह गया।
  • श्रेणीबद्ध साक्ष्य प्रतिनिधित्व को हटाने से Pass@1 घटकर 47.67% रह गया।
  • यह पुष्टि करता है कि साक्ष्यों को संरचित करना और दावों को रिपॉजिटरी के विरुद्ध सत्यापित करना दोनों ही आवश्यक हैं।

• लागत विश्लेषण:

  • जबकि TrajSpec रिपोर्ट पीढ़ी के लिए अतिरिक्त लागत (GPT-5-mini के साथ लगभग $0.083 प्रति इंस्टेंस) लेता है, यह डाउनस्ट्रीम रिपेयर इनपुट टोकन उपयोग को ~24% कम करता है और रिपेयर रन की मौद्रिक लागत को कम करता है। कुल एंड-टू-एंड लागत महत्वपूर्ण सफलता लाभों के सापेक्ष मामूली बनी रहती है।

महत्व और दावे

शोध पत्र का दावा है कि TrajSpec अपूर्ण बग रिपोर्टों में निहित "विशिष्टीकरण समस्या" को संबोधित करके रिपॉजिटरी-स्तरीय रिपेयर में सुधार के लिए एक आशाजनक दिशा प्रदान करता है। लेखक जोर देते हैं कि:

1. प्रक्षेपवक्र पैच पीढ़ी से परे पुन: प्रयोज्य हैं: भले ही अपुष्ट प्रक्षेपवक्र में विफलता तंत्र और कोड के दायरे के बारे में मूल्यवान साक्ष्य होते हैं जिन्हें कार्य विनिर्देश को बेहतर बनाने के लिए निकाला और संरचित किया जा सकता है।
2. सत्यापन महत्वपूर्ण है: केवल प्रक्षेपवक्र डेटा का उपयोग करना पर्याप्त नहीं है; शोर को फ़िल्टर करने और यह सुनिश्चित करने के लिए कि दावे प्री-फिक्स कोड में निहित हैं, एक श्रेणीबद्ध संरचना और रिपॉरी-आधारित समीक्षा चरण आवश्यक है।
3. कार्य विनिर्देश मायने रखता है: इनपुट विनिर्देश (बग रिपोर्ट) में सुधार करना स्वयं रिपेयर एजेंट को बेहतर बनाने जितना ही महत्वपूर्ण है। TrajSpec प्रदर्शित करता है कि एजेंटों को कार्रवाई योग्य, रिपॉजिटरी-समर्थित संदर्भ प्रदान करने से विभिन्न मॉडलों और एजेंट आर्किटेक्चर में रिपेयर प्रदर्शन में लगातार सुधार होता है।

लेखक एक मध्यम रुख बनाए रखते हैं, यह नोट करते हुए कि उनका मूल्यांकन SWE-Bench Lite में पायथन रिपॉजिटरी तक सीमित है और अन्य भाषाओं या बेंचमार्क के लिए प्रभावशीलता भविष्य का कार्य है। वे यह भी स्वीकार करते हैं कि जबकि परिष्कृत रिपोर्टें स्वचालित रिपेयर मेट्रिक्स में सुधार करती हैं, अध्ययन का ध्यान APR के लिए उपयोगिता पर है न कि मानव-अनुभूत रिपोर्ट गुणवत्ता पर।