← नवीनतम पेपर
💻 computer science

SCOPE: Leveraging Subgoal Critiques for Code Generation

SCOPE एक नवीन कोड जनरेशन फ्रेमवर्क है जो लाइवकोडबेंच (LiveCodeBench) और बिगकोडबेंच (BigCodeBench) जैसे बेंचमार्क पर बेहतर तरीके से सिमेंटिक बाधाओं को संबोधित करने के लिए सुपरवाइज्ड फाइन-ट्यूनिंग और रीइन्फोर्समेंट लर्निंग के माध्यम से स्ट्रक्चर्ड फीडबैक (सबगोल्स, गैप एनालिसिस और रोबस्टनेस चेकलिस्ट) उत्पन्न करने हेतु एक प्रूवर-इनिशियलाइज्ड सबगोल क्रिटिक का लाभ उठाता है, जो रिफ्लेक्शन (Reflexion) जैसे मौजूदा बेसलाइन्स से काफी बेहतर प्रदर्शन करता है।

मूल लेखक: Yueke Zhang, Yifan Zhang, Zihan Fang, Kevin Leach, Wei Zhang, Yu Huang

प्रकाशित 2026-07-08
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Yueke Zhang, Yifan Zhang, Zihan Fang, Kevin Leach, Wei Zhang, Yu Huang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "SCOPE: Leveraging Subgoal Critiques for Code Generation" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करके किया गया स्पष्टीकरण दिया गया है।

बड़ी समस्या: "दिखने में सही पर गलत" कोड

कल्पना कीजिए कि आपने एक बहुत ही प्रतिभाशाली, लेकिन थोड़े ख्याली पुख्ता (daydreaming) आर्किटेक्ट को एक घर का ब्लूप्रिंट बनाने के लिए कहा। वे आपको एक सुंदर चित्र थमा देते हैं। यह एकदम सही दिखता है, रेखाएं सीधी हैं, और कमरे सही जगहों पर हैं। लेकिन यदि आप ध्यान से देखें, तो आपको एहसास होता है कि वे किचन में दरवाज़ा लगाना भूल गए हैं, या उन्होंने सीढ़ियों को दूसरी मंजिल के बजाय एक दीवार की ओर ले जाते हुए बना दिया है।

यह AI कोड जनरेटर (Large Language Models) के साथ वर्तमान समस्या है। वे ऐसा कोड लिखने में माहिर हैं जो सही दिखता है और तुरंत क्रैश नहीं होता। हालाँकि, वे अक्सर उपयोगकर्ता के अनुरोध के छिपे हुए "नियमों" को मिस कर देते हैं। वे शायद ऐसा टूल बना दें जो अस्तित्व में ही नहीं है, या किसी विशिष्ट शर्त को भूल जाएं (जैसे "संख्या शून्य से शुरू न करें")।

पुराना तरीका: "अनुमान लगाओ और जाँचो" (Guess and Check)

पहले, जब AI कोड विफल हो जाता था, तो शोधकर्ता इसे ठीक करने के लिए AI को एरर मैसेज (error message) पढ़ने और फिर से प्रयास करने के लिए कहते थे।

  • उपमा (Analogy): कल्पना कीजिए कि आर्किटेक्ट एक घर बनाता है, आप इशारा करते हैं कि सीढ़ियाँ गलत हैं, और आर्किटेक्ट कहता है, "ओह, मैं समझ गया," और फिर पूरे घर को शुरू से फिर से बनाता है, इस उम्मीद में कि नया वाला बेहतर होगा।
  • खामी: यह अक्षम (inefficient) है। AI अक्सर बिना सोचे-समझे भटक जाता है, उन चीजों को बदलने लगता है जो टूटी नहीं थीं, जबकि उस विशिष्ट चीज़ को मिस कर देता है जो गलत थी। यह पूरे घर को खोजने के बजाय उस कोट की जेब को चेक करने जैसा है जहाँ आपने आखिरी बार अपनी चाबी देखी थी।

नया समाधान: SCOPE (एक "प्रूफ-रीडर" आर्किटेक्ट)

शोधकर्ताओं ने SCOPE नामक एक सिस्टम बनाया। AI को केवल अनुमान लगाने देने के बजाय, उन्होंने एक दूसरा AI जोड़ा जो एक सख्त प्रूफ-रीडर (Proof-Reader) या प्रोजेक्ट मैनेजर की तरह काम करता है।

यह प्रूफ-रीडर विशेष है क्योंकि इसे मूल रूप से गणितीय प्रमाण (math proofs) करने के लिए प्रशिक्षित किया गया था (विशेष रूप से "Lean" नामक टूल का उपयोग करके, जो गणितज्ञों के लिए एक सुपर-स्ट्रिक्ट लॉजिक चेकर है)। शोधकर्ताओं ने इस प्रूफ-रीडर को अपनी नौकरी बदलने के लिए सिखाया: गणित चेक करने के बजाय, अब यह कोड चेक करता है।

SCOPE कैसे काम करता है (तीन-चरणीय प्रक्रिया)

जब मुख्य AI ( "कोडर") एक ड्राफ्ट लिखता है, तो SCOPE केवल यह नहीं कहता कि "यह गलत है।" यह समस्या को तीन विशिष्ट, संरचित भागों में तोड़ देता है:

  1. सबगोल्स (The Subgoals - चेकलिस्ट):

    • उपमा: केवल यह कहने के बजाय कि "सीढ़ियाँ ठीक करो," प्रूफ-रीडर कहता है: "नियम 1: सीढ़ियाँ दूसरी मंजिल तक जानी चाहिए। नियम 2: सीढ़ियाँ किचन से शुरू नहीं होनी चाहिए।"
    • यह अस्पष्ट अनुरोध को स्पष्ट, क्रमांकित दायित्वों की सूची में बदल देता है।

  2. गैप एनालिसिस (The Gap Analysis - "कमी की रिपोर्ट"):

    • उपमा: प्रूफ-रीडर कोडर के चित्र की चेकलिस्ट के विरुद्ध तुलना करता है। वह बताता है: "आपने नियम 1 का पालन किया, लेकिन आपने नियम 2 को पूरी तरह से अनदेखा कर दिया। सीढ़ियाँ किचन में हैं।"
    • यह कोडर को बिल्कुल सटीक बताता है कि क्या गायब है, बजाय इसके कि केवल यह कहे कि "यह टूटा हुआ है।"

  3. रोबस्टनेस चेकलिस्ट (The Robustness Checklist - सुरक्षा जाल):

    • उपमा: "हे, कोनों को चेक करना मत भूलना। क्या होगा अगर कोई एक विशाल पियानो लेकर सीढ़ियाँ चढ़ने की कोशिश करे? सुनिश्चित करें कि सीढ़ियाँ पर्याप्त चौड़ी हों।"
    • यह उन 'एज केसेस' (edge cases) को उजागर करता है जिन्हें आसानी से मिस किया जा सकता है।

प्रशिक्षण: SCOPE ने एक अच्छा आलोचक बनना कैसे सीखा

आप सिर्फ एक मैथ AI से कोड की आलोचना करने के लिए नहीं कह सकते; उसे कोड के बारे में बात करना सीखना होगा। शोधकर्ताओं ने इसे दो चरणों में सिखाया:

  1. सुपरवाइज्ड फाइन-ट्यूनिंग (The Internship - इंटर्नशिप): उन्होंने AI को अच्छे आलोचनाओं के हजारों उदाहरण दिखाए ताकि वह फॉर्मेट सीख सके। उसने सीखा कि हमेशा "सबगोल्स," "गैप एनालिसिस," और "चेकलिस्ट" को उसी विशिष्ट क्रम में आउटपुट करना है।
  2. रीइन्फोर्समेंट लर्निंग (The Performance Review - प्रदर्शन समीक्षा): यह सबसे चतुर हिस्सा है। AI को परिणामों के आधार पर पुरस्कृत किया गया।
    • डेंस रिवॉर्ड (Dense Reward): क्या आलोचना अच्छी तरह से संरचित और तार्किक थी? (जैसे सुंदर लिखावट के लिए स्टार मिलना)।
    • स्पार्स रिवॉर्ड (Sparse Reward): क्या आलोचना ने वास्तव में कोडर को कोड ठीक करने और टेस्ट पास करने में मदद की? (जैसे घर खड़ा करने के लिए बोनस मिलना)।
    • यदि प्रूफ-रीडर ने एक लंबा, सुंदर भाषण दिया लेकिन कोड ठीक करने में मदद नहीं की, तो उसे कोई अंक नहीं मिला। यदि उसने एक छोटा, सटीक नोट दिया जिसने बग को ठीक कर दिया, तो उसे उच्च स्कोर मिला।

परिणाम: यह क्यों बेहतर है

शोधकर्ताओं ने SCOPE का परीक्षण अन्य तरीकों (जैसे "Reflexion," जो ऊपर बताया गया "अनुमान लगाओ और जाँचो" तरीका है) के विरुद्ध किया।

  • अधिक सटीक: SCOPE ने अन्य तरीकों की तुलना में अधिक कोडिंग समस्याओं को सही ढंग से हल किया।
  • "सर्जरी" में बेहतर: जब SCOPE ने एक बग को ठीक किया, तो उसने छोटे, सटीक बदलाव किए (जैसे एक टूटी हुई ईंट को बदलना)। अन्य तरीके अक्सर पूरी दीवार को फिर से बनाने की कोशिश करते थे।
  • कम क्रैश: SCOPE उन "छिपे हुए नियमों" को पकड़ने में बेहतर था जिनके कारण बाद में कोड क्रैश हो जाता है।

निष्कर्ष (The Bottom Line)

SCOPE यह साबित करता है कि आपको एक ऐसे रोबोट की आवश्यकता नहीं है जो कोड लिखे और उसे पूरी तरह से सत्यापित भी करे। इसके बजाय, आप एक विशेषज्ञ "प्रूफ-रीडर" रोबोट रख सकते हैं जो बिखरे हुए, अस्पष्ट मानवीय निर्देशों को लेता है और उन्हें एक सख्त, तार्किक चेकलिस्ट में बदल देता है। यह चेकलिस्ट फिर मुख्य कोडर को ठीक वही चीज़ ठीक करने के लिए मार्गदर्शन करती है जो गलत है, जिससे पूरी प्रक्रिया तेज़, अधिक विश्वसनीय और "दिखने में सही पर टूटे हुए" कोड की संभावना कम हो जाती है।

संक्षेप में: SCOPE एक अस्पष्ट "इसे काम करने दो" अनुरोध को एक विशिष्ट "इन तीन चीजों को ठीक करो" निर्देश में बदल देता है, जिससे AI को बिना सोचे-समझे भटकने से बचाया जा सकता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💻 cs →