Feedback Over Form: Why Execution Feedback Matters More Than Pipeline Topology in 1-3B Code Generation

तकनीकी सारांश: फॉर्म पर फीडबैक (Feedback Over Form)

शीर्षक: फीडबैक ओवर फॉर्म: 1-3B कोड जनरेशन में पाइपलाइन टोपोलॉजी की तुलना में निष्पादन फीडबैक (Execution Feedback) क्यों अधिक महत्वपूर्ण है
लेखक: चार्ल्स जुनिची मैकएंड्र्यूज (अप्रैल 2026)

1. समस्या विवरण (Problem Statement)

1–3B पैरामीटर रेंज वाले स्मॉल लैंग्वेज मॉडल्स (SLMs) स्थानीय, ऑन-डिवाइस परिनियोजन के लिए अत्यधिक व्यावहारिक हैं, लेकिन वे जटिल कार्यों जैसे कि कोड जनरेशन के लिए बड़े मॉडल्स (70B+) जैसी तर्क क्षमता (reasoning capabilities) की कमी रखते हैं। जबकि बड़े मॉडल्स के शोध से पता चलता है कि कई मॉडल्स को "पाइपलाइन्स" या "एजेंट्स" में संयोजित करने से प्रदर्शन में सुधार होता है, यह स्पष्ट नहीं है कि क्या यह संयोजन छोटे पैमाने पर भी प्रभावी है। विशेष रूप से, यह शोध जांच करता है कि क्या पाइपलाइन आर्किटेक्चर की जटिलता (topology) बढ़ाना या बाहरी निष्पादन फीडबैक (external execution feedback) प्रदान करना, SLMs के प्रदर्शन में सुधार का प्राथमिक चालक है।

2. कार्यप्रणाली (Methodology)

यह अध्ययन दो बेंचमार्क: HumanEval और Sanitized MBPP पर पायथन कोड जनरेशन के लिए मॉडल संयोजन का परीक्षण करने हेतु एक व्यवस्थित दृष्टिकोण अपनाता है।

• पाइपलाइन आर्किटेक्चर: शोधकर्ताओं ने एक नियंत्रित रैखिक पाइपलाइन डिजाइन की जिसमें शामिल थे:
  • जेनेरेटर (Generator): प्रारंभिक कोड उत्पन्न करता है।
  • एक्सेक्यूटर (Executor): एक सैंडबॉक्स में कोड चलाता है और पास/फेल स्थिति और ट्रेसबैक (tracebacks) वापस करता है।
  • एनालाइजर (Analyzer - वैकल्पिक): प्राकृतिक भाषा का उपयोग करके त्रुटियों का निदान करता है।
  • रिफाइनर (Refiner): फीडबैक के आधार पर कोड को ठीक करने का प्रयास करता है।
• इवोल्यूशनरी सर्च (NEAT-प्रेरित): मैन्युअल डिजाइन के बजाय, लेखकों ने एक संशोधित न्यूरोइवोल्यूशन ऑफ ऑगमेंटिंग टोपोलॉजीज (NEAT) एल्गोरिदम का उपयोग करके पाइपलाइन कॉन्फ़िगरेशन को विकसित किया। सर्च स्पेस में मॉडल चयन (Gemma3:1B, Qwen2.5:1.5B, और Llama3.2:3B के पूल से), रिफाइनमेंट चरणों की संख्या, एनालाइजर की उपस्थिति, प्रॉम्प्ट चयन, टेम्परेचर और इटरेशन काउंट शामिल थे।
• मूल्यांकन प्रोटोकॉल: LLMs की स्टोकेस्टिक प्रकृति को ध्यान में रखते हुए, सांख्यिकीय महत्व सुनिश्चित करने के लिए परिणाम 5-रन मीन (5-run means) के रूप में रिपोर्ट किए गए। लेखकों ने अर्ली स्टॉपिंग (early stopping) भी लागू की, जो कोड टेस्ट पास होते ही पाइपलाइन को तुरंत रोक देती है।

3. प्रमुख योगदान (Key Contributions)

• "लोड-बियरिंग मैकेनिज्म" की पहचान: यह पेपर सिद्ध करता है कि निष्पादन फीडबैक (execution feedback) (ट्रेसबैक) वह आवश्यक घटक है जो छोटे-मॉडल संयोजन को सफल बनाता है।
• अर्ली स्टॉपिंग का विरोधाभास (The Early Stopping Paradox): अध्ययन में पहचान की गई कि अर्ली स्टॉपिंग के बिना, रिफाइनमेंट "नेट-नेगेटिव" है क्योंकि रिफाइनर्स अक्सर उस कोड को भी खराब कर देते हैं जो पहले से ही सही होता है।
• टोपोलॉजी बनाम क्षमता (Topology vs. Capability): शोध प्रदर्शित करता है कि 1–3B स्केल पर, नोड्स (nodes) की विशिष्ट व्यवस्था (topology) उतनी महत्वपूर्ण नहीं है जितनी कि रिफाइनर के रूप में कार्य करने वाले मॉडल की क्षमता।
• मूल्यांकन शोर का परिमाणीकरण (Quantification of Evaluation Noise): लेखक LLM अनुसंधान के लिए एक महत्वपूर्ण चेतावनी प्रदान करते हैं, यह दिखाते हुए कि सिंगल-रन मूल्यांकन परिणामों को 5–7% तक बढ़ा सकते हैं, जिससे संभावित रूप से इवोल्यूशनरी सर्च "अच्छे" के बजाय "भाग्यशाली" कॉन्फ़िगरेशन को चुन सकता है।

4. मुख्य परिणाम (Key Results)

• फीडबैक के माध्यम से महत्वपूर्ण लाभ: एकल जनरेशन की तुलना में निष्पादन फीडबैक के साथ सेल्फ-रिफाइनमेंट ने दोनों बेंचमार्क पर >4σ (मानक विचलन) का सुधार किया।
• त्रुटि वर्गीकरण (The "Fixability" Gap):
  • रनटाइम एरर (Runtime Errors) (जैसे, NameError, SyntaxError) में उच्च फिक्स रेट होता है क्योंकि ट्रेसबैक स्पष्ट और कार्रवाई योग्य संकेत प्रदान करते हैं।
  • लॉजिक एरर (Logic Errors) (जैसे, AssertionError) में कम फिक्स रेट होता है क्योंकि फीडबैक केवल लक्षण (गलत उत्तर) बताता है, बिना मूल कारण को समझाए।
• रिफाइनर > जेनेरेटर: सामान्य-उद्देश्य वाले पूल में, 1.5B जेनेरेटर के साथ 3B रिफाइनर ने उतना ही प्रदर्शन किया जितना कि 3B मॉडल ने दोनों भूमिकाएं निभाने में किया, जो यह सुझाव देता है कि रिफाइनर की क्षमता ही मुख्य बाधा (bottleneck) है।
• इवोल्यूशनरी कन्वर्जेंस (Evolutionary Convergence): NEAT सर्च ने मुख्य रूप से सरल "Generate $\rightarrow$ Execute $\rightarrow$ Refine" लूप्स को ही पुनः खोजा। "NEAT चैंपियन" ने मैन्युअल बेसलाइन की तुलना में केवल मामूली (गैर-महत्वपूर्ण) सुधार प्रदान किया, जो बताता है कि जटिल टोपोलॉजी इस स्तर पर मॉडल की सीमाओं की भरपाई नहीं कर सकती।
• विशेषज्ञता की जीत (Specialization Wins): कोड-विशेषज्ञ मॉडल (जैसे, Qwen2.5-Coder) सभी सामान्य-उद्देश्य वाले पाइपलाइन कॉन्फ़िगरेशन से काफी बेहतर प्रदर्शन करते हैं, जो दर्शाता है कि मॉडल ट्रेनिंग/विशेषज्ञता, आर्किटेक्चरल जटिलता की तुलना में अधिक प्रभावशाली है।

5. महत्व (Significance)

यह पेपर SLM अनुसंधान के फोकस को आर्किटेक्चरल जटिलता से बदलकर सिग्नल की गुणवत्ता पर स्थानांतरित करता है। यह निष्कर्ष निकालता है कि छोटे मॉडल्स के लिए, प्रदर्शन को बढ़ाने का सबसे प्रभावी तरीका विस्तृत मल्टी-एजेंट वर्कफ़्लो बनाना नहीं है, बल्कि यह सुनिश्चित करना है कि मॉडल के पास उच्च-गुणवत्ता वाला, स्पष्ट और मशीन-वेरिफिएबल फीडबैक (जैसे कंपाइलर या टेस्ट ट्रेसबैक) उपलब्ध हो। यह डेवलपर्स के लिए एक स्पष्ट रोडमैप प्रदान करता है जो स्थानीय, संसाधन-बाधित AI बना रहे हैं: जटिल एजेंटिक टोपोलॉजी के बजाय विशेषज्ञ मॉडल्स और मजबूत निष्पादन-फीडबैक लूप्स को प्राथमिकता दें।