💬 NLP

Evaluating and Achieving Controllable Code Completion in Code LLM

यह शोध पत्र कोड LLMs में निर्देश-अनुपालन मूल्यांकन की कमी को दूर करने के लिए कंट्रोलेबल कोड कंप्लीशन बेंचमार्क (C3-Bench) प्रस्तुत करता है, ओपन-सोर्स और प्रोप्रायटरी मॉडल्स के बीच महत्वपूर्ण प्रदर्शन अंतराल को उजागर करता है, और एक डेटा सिंथेसिस पाइपलाइन प्रस्तावित करता है जो एक फाइन-ट्यून्ड मॉडल को इस नए बेंचमार्क पर अत्याधुनिक परिणाम प्राप्त करने में सक्षम बनाता है।

मूल लेखक: Jiajun Zhang, Zeyu Cui, Lei Zhang, Jian Yang, Jiaxi Yang, Qiang Liu, Zilei Wang, Binyuan Hui, Liang Wang, Junyang Lin

प्रकाशित 2026-01-23

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jiajun Zhang, Zeyu Cui, Lei Zhang, Jian Yang, Jiaxi Yang, Qiang Liu, Zilei Wang, Binyuan Hui, Liang Wang, Junyang Lin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक मास्टर शेफ (AI) हैं जो एक व्यस्त रसोई में काम कर रहे हैं। लंबे समय तक, इन शेफ्स को परखने का तरीका सरल था: हमने उन्हें एक आधा पका हुआ व्यंजन दिया (गायब हिस्से से पहले का कोड) और उसके बाद का एक आधा पका हुआ व्यंजन (गायब हिस्से के बाद का कोड), और उनसे बीच का हिस्सा भरने के लिए कहा। यदि अंतिम व्यंजन स्वादिष्ट बना (यूनिट टेस्ट पास किया), तो शेफ को एक गोल्ड स्टार मिला।

समस्या: "रेसिपी" गायब थी
इस पेपर के लेखक तर्क देते हैं कि यह पुराना तरीका दोषपूर्ण है। वास्तविक दुनिया में, एक हेड शेफ केवल यह नहीं कहता, "बीच का हिस्सा भरें।" वे कहते हैं, "बीच का हिस्सा भरें, लेकिन केवल शाकाहारी सामग्री का उपयोग करें," या "बीच का हिस्सा भरें, लेकिन इसे ठीक तीन पंक्तियों का बनाएं," या "बीच का हिस्सा भरें, लेकिन एक विशिष्ट प्रकार के चाकू का उपयोग करें।"

वर्तमान AI मॉडल व्यंजन को स्वादिष्ट बनाने में माहिर हैं, लेकिन वे अक्सर इस बात के विशिष्ट निर्देशों को अनदेखा कर देते हैं कि उसे कैसे बनाया जाए। वे मांस का उपयोग कर सकते हैं जब आपने सब्जियों के लिए कहा था, या एक सिंगल लाइन के बजाय एक पैराग्राफ लिख सकते हैं। पुराने टेस्ट इन्हें नहीं पकड़ पाते थे क्योंकि वे केवल यह देखते थे कि भोजन खाने योग्य है या नहीं, न कि यह कि क्या शेफ ने ऑर्डर का पालन किया।

समाधान: C3-Bench ("निर्देशों का पालन करने वाला" टेस्ट)
इसे ठीक करने के लिए, टीम ने C3-Bench नामक एक नया टेस्ट बनाया (कंट्रोलेबल कोड कंप्लीशन बेंचमार्क)। इसे एक नई, बहुत अधिक सख्त कुकिंग प्रतियोगिता के रूप में समझें।

केवल कोड का एक गायब हिस्सा मांगने के बजाय, C3-Bench में प्रत्येक टेस्ट के साथ एक विशिष्ट, सूक्ष्म निर्देश आता है। उन्होंने इन निर्देशों को दो मुख्य श्रेणियों में विभाजित किया है:

"कैसे करें" वाले निर्देश (इम्प्लीमेंटेशन-कंट्रोल):
- उपमा: "एक पुल बनाएं, लेकिन आपको सस्पेंशन डिजाइन का उपयोग करना होगा, न कि बीम डिजाइन का।"
- AI को ऐसा कोड लिखना होगा जो काम भी करे और एक विशिष्ट शैली, एल्गोरिदम या संरचना का पालन भी करे। उदाहरण के लिए, "एक विशिष्ट सॉर्टिंग विधि का उपयोग करके इस लिस्ट को सॉर्ट करें" या "इस विशिष्ट तरीके से त्रुटियों (errors) को हैंडल करें।"
"आकार" वाले निर्देश (स्केल-कंट्रोल):
- उपमा: "एक वाक्य लिखें जो ठीक 10 शब्दों का हो," या "एक पैराग्राफ लिखें जो ठीक 3 वाक्यों का हो।"
- AI को ऐसा कोड जेनरेट करना होगा जो एक सख्त आकार सीमा में फिट हो, जैसे कि ठीक 5 लाइन का कोड या एक विशिष्ट लॉजिक ब्लॉक, न इससे कम और न इससे ज्यादा।

उन्होंने क्या पाया
टीम ने 40 से अधिक विभिन्न AI मॉडल्स (फ्री, ओपन-सोर्स और महंगे, क्लोज्ड-सोर्स दोनों) का इस नए टेस्ट पर परीक्षण किया। यहाँ उन्होंने क्या खोजा:

"अति-आत्मविश्वासी" ओपन-सोर्स मॉडल्स: पुराने टेस्ट पर, कई फ्री, ओपन-सोर्स AI मॉडल्स महंगे, टॉप-टियर मॉडल्स के समान ही प्रदर्शन कर रहे थे। हालांकि, इस नए C3-Bench पर, वे काफी संघर्ष करते हैं। यह पता चला कि उन्होंने पुराने टेस्ट को "रट" लिया था लेकिन वे वास्तव में जटिल निर्देशों का पालन करना नहीं जानते थे। वे उन छात्रों की तरह थे जिन्होंने उत्तर कुंजी रट ली है लेकिन ट्विस्ट वाली नई समस्या को हल नहीं कर सकते।
द अंतर (The Gap): उन मॉडल्स के बीच एक बड़ा अंतर है जो केवल "कोड को काम करने लायक" बना सकते हैं और उन मॉडल्स के बीच जो "कोड को ठीक वैसे ही काम करने लायक" बना सकते जैसा आपने मांगा था। यहाँ तक कि कुछ सबसे स्मार्ट, महंगे मॉडल्स को भी "साइज" निर्देशों (जैसे कि लाइनों की सही संख्या लिखना) के साथ कठिनाई हुई।
सुधार: लेखकों ने केवल समस्या की ओर इशारा नहीं किया; उन्होंने एक समाधान बनाया। उन्होंने एक पाइपलाइन बनाई जो स्वचालित रूप से हजारों नए ट्रेनिंग उदाहरण जेनरेट करती है जहाँ एक AI कोड लिखता है और एक विशिष्ट निर्देश का पालन करता है। उन्होंने इस डेटा का उपयोग अपने एक नए मॉडल को प्रशिक्षित करने के लिए किया, जिसे Qwen2.5-Coder-C3 कहा जाता है।
परिणाम: यह नया मॉडल निर्देश पालन करने में सर्वश्रेष्ठ बन गया, जिसने नए टेस्ट पर लगभग सभी को पीछे छोड़ दिया और साथ ही पुराने टेस्टों पर भी अच्छा प्रदर्शन किया।

निष्कर्ष (The Takeaway)
यह पेपर AI कोडिंग कौशल को मापने का एक नया तरीका पेश करता है जो वास्तविक दुनिया के उपयोग के लिए वास्तव में मायने रखता है: क्या AI सुन सकता है?

उन्होंने पाया कि कई वर्तमान AI मॉडल्स उन प्रतिभाशाली संगीतकारों की तरह हैं जो सही नोट्स तो बजाते हैं लेकिन कंडक्टर के टेम्पो (लय) परिवर्तनों को अनदेखा कर देते हैं। एक नया बेंचमार्क और मॉडल्स को बेहतर ढंग से सुनने के लिए प्रशिक्षित करने की विधि बनाकर, लेखक डेवलपर्स को ऐसे AI टूल्स बनाने में मदद कर रहे हैं जो केवल कोड नहीं लिखते, बल्कि उपयोगकर्ता की विशिष्ट, विस्तृत आवश्यकताओं के अनुसार सही कोड लिखते हैं। उन्होंने अपना सारा डेटा और मॉडल्स दूसरों के उपयोग और सुधार के लिए उपलब्ध करा दिया है।

तकनीकी सारांश: C3-Bench: कोड LLM में नियंत्रणीय कोड पूर्णता (Controllable Code Completion) का मूल्यांकन और उपलब्धि

समस्या विवरण

यद्यपि लार्ज लैंग्वेज मॉडल्स (LLMs) ने कोड पूर्णता क्षमताओं को महत्वपूर्ण रूप से उन्नत किया है, वर्तमान मूल्यांकन पद्धतियां व्यावहारिक सॉफ्टवेयर इंजीनियरिंग परिदृश्यों के लिए अपर्याप्त बनी हुई हैं। पारंपरिक बेंचमार्क (जैसे HumanEval, CrossCodeEval, SAFIM) मुख्य रूप से संदर्भ के आधार पर उत्पन्न कोड की कार्यात्मक शुद्धता (functional correctness) का आकलन करते हैं, जो अक्सर यूनिट टेस्ट या समानता मेट्रिक्स पर निर्भर करते हैं। हालांकि, वे कोड पूर्णता प्रक्रिया के दौरान सूक्ष्म-स्तरीय उपयोगकर्ता निर्देशों (fine-grained user instructions) का पालन करने की मॉडल की क्षमता के एक महत्वपूर्ण पहलू की अनदेखी करते हैं। वास्तविक दुनिया के विकास में, डेवलपर्स को अक्सर ऐसे मॉडल की आवश्यकता होती है जो न केवल कार्यात्मक रूप से सही कोड उत्पन्न करे, बल्कि विशिष्ट कार्यान्वयन बाधाओं, संरचनात्मक आवश्यकताओं या दायरे की सीमाओं का भी पालन करे। कोड पूर्णता में इस "निर्देश-अनुपालन" (instruction-following) क्षमता का कठोरता से मूल्यांकन करने वाले बेंचमार्क की अनुपस्थिति, बेंचमार्क प्रदर्शन और व्यावहारिक उपयोगिता के बीच एक अंतर पैदा करती है।

कार्यप्रणाली

1. नियंत्रणीय कोड पूर्णता (C3) की परिभाषा

लेखक नियंत्रणीय कोड पूर्णता (Controllable Code Completion - CCC) की अवधारणा पेश करते हैं, जो पारंपरिक टुपल $(P, S, G, T)$ (Prefix, Suffix, Ground Truth, Unit Test) को $I$ (Fine-Grained Instruction) शामिल करने के लिए विस्तारित करता है। कार्य के लिए मध्य कोड $G$ को इस प्रकार उत्पन्न करने की आवश्यकता है कि $M(P, S, I) \rightarrow G$ , जो कार्यात्मक शुद्धता (जो $T$ द्वारा सत्यापित है) और निर्देश अनुपालन (जो $I$ के साथ संरेखित है) दोनों को संतुष्ट करता हो।

2. C3-Bench का निर्माण

C3-Bench में 2,195 उच्च गुणवत्ता वाले पायथन कार्य शामिल हैं जो HumanEval और SAFIM से प्राप्त किए गए हैं, जिन्हें चार-चरणीय संश्लेषण पाइपलाइन के माध्यम से उन्नत किया गया है:

मध्य कोड निष्कर्षण (Middle Code Extraction): विविध मध्य खंडों (middle segments) को बनाने के लिए एब्स्ट्रैक्ट सिंटैक्स ट्री (AST) का उपयोग करके तार्किक रूप से पूर्ण कोड ब्लॉक निकालना और नोड्स को मास्क करना।
समतुल्य कार्यान्वयन पीढ़ी (Equivalent Implementation Generation): निर्देश अनुपालन का परीक्षण करने के लिए एक ही संदर्भ के लिए कई कार्यात्मक रूप से समतुल्य कार्यान्वयन उत्पन्न करना।
डेटा फ़िल्टरिंग (Data Filtering): कोड की पठनीयता (PEP8), उपयुक्त लंबाई और महत्वपूर्ण कार्यान्वयन विविधता सुनिश्चित करना।
निर्देश पीढ़ी (Instruction Generation):
- इम्प्लीमेंटेशन-कंट्रोल कम्पलीशन (ICC): विशिष्ट कार्यान्वयन रणनीतियों (जैसे एल्गोरिदम दृष्टिकोण, कंट्रोल फ्लो, डेटा स्ट्रक्चर) की आवश्यकता वाले कार्य। इसमें यूनिट टेस्ट के साथ 1,286 उदाहरण शामिल हैं।
- स्केल-कंट्रोल कम्पलीशन (SCC): सटीक दायरे की सीमाओं (जैसे विशिष्ट लाइन काउंट, स्टेटमेंट ब्लॉक्स) के भीतर कोड जनरेशन की आवश्यकता वाले कार्य। इसमें बिना यूनिट टेस्ट के 909 उदाहरण शामिल हैं, जो संरचनात्मक अनुरूपता पर केंद्रित हैं।

3. मूल्यांकन मेट्रिक्स

Pass@1: यूनिट टेस्टिंग के माध्यम से कार्यात्मक शुद्धता को मापता है (केवल ICC के लिए)।
इंस्ट्रक्शन-फॉलोइंग रेट (IF): विशिष्ट आवश्यकताओं के अनुपालन को मापता है, जिसका मूल्यांकन केवल कार्यात्मक रूप से सही मामलों पर किया जाता है।
एडिट सिमिलरिटी (ES): प्रारंभिक गुणवत्ता सत्यापन के लिए एक स्टैटिक एनालिसिस मेट्रिक।
स्वचालित जजिंग (Automated Judging): एक LLM-आधारित सिस्टम (Claude3.5-Sonnet का उपयोग करके) मानव विशेषज्ञों के विरुद्ध 98% सहमति के साथ निर्देश अनुपालन को मान्य करता है।

4. मॉडल प्रशिक्षण (Qwen2.5-Coder-C3)

निर्देश-पूर्णता प्रशिक्षण डेटा की कमी को दूर करने के लिए, लेखकों ने एक स्वचालित संश्लेषण पाइपलाइन विकसित की:

सीड जनरेशन (Seed Generation): 1,000 उच्च गुणवत्ता वाले सीड पेयर्स बनाने के लिए Claude3.5-Sonnet का उपयोग किया गया।
बड़े पैमाने पर संश्लेषण (Large-Scale Synthesis): GitHub रिपॉजिटरी से 200,000 निर्देश-पूर्णता पेयर्स उत्पन्न करने के लिए Qwen2.5-Coder-32B-Instruct का लाभ उठाया गया।
फाइन-ट्यूनिंग (Fine-Tuning): सिंथेसाइज्ड डेटा का उपयोग करके Qwen2.5-Coder-1.5B और 32B वेरिएंट्स पर सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) लागू की गई, जिसके परिणामस्वरूप Qwen2.5-Coder-C3 प्राप्त हुआ।

मुख्य परिणाम

1. निर्देश अनुपालन में प्रदर्शन अंतराल

40 से अधिक मुख्यधारा के LLMs (ओपन-सोर्स और प्रोप्रायटरी दोनों) के व्यापक मूल्यांकन से महत्वपूर्ण सीमाएं प्रकट होती हैं:

ओपन-सोर्स बनाम प्रोप्रायटरी: जबकि ओपन-सोर्स मॉडल अक्सर पारंपरिक कार्यात्मक शुद्धता बेंचमार्क (जैसे CrossCodeEval, RepoEval) पर प्रोप्रायटरी मॉडल्स के बराबर या उनसे बेहतर प्रदर्शन करते हैं, वे C3-Bench पर निर्देश-अनुपालन क्षमताओं में एक बड़ा प्रदर्शन अंतराल प्रदर्शित करते हैं।
निर्देश संवेदनशीलता (Instruction Sensitivity): प्रॉम्प्ट से निर्देशों को हटाने से IF दरों में महत्वपूर्ण गिरावट आती है जबकि Pass@1 काफी हद तक अपरिवर्तित रहता है, जो पुष्टि करता है कि वर्तमान मॉडल स्वाभाविक रूप से कार्यात्मक पीढ़ी के ऊपर निर्देश अनुपालन को प्राथमिकता नहीं देते हैं।
स्केल-कंट्रोल चुनौतियां: मॉडल विशेष रूप से स्केल-कंट्रोल कम्पलीशन (SCC) कार्यों के साथ संघर्ष करते हैं, जो कोड स्कोप बाधाओं के संबंध में प्रशिक्षण उद्देश्यों में सीमाओं को दर्शाता है।

2. C3-ट्यूनिंग की प्रभावशीलता

Qwen2.5-Coder-C3 मॉडल C3-Bench पर स्टेट-ऑफ-द-आर्ट (SOTA) प्रदर्शन प्राप्त करता है:

यह अपने बेस इंस्ट्रक्शन-ट्यून्ड समकक्ष की तुलना में IF दरों में पर्याप्त सुधार प्रदर्शित करता है (जैसे 32B मॉडल के लिए ICC पर +23.7% IF)।
यह पारंपरिक बेंचमार्क पर प्रतिस्पर्धी प्रदर्शन बनाए रखते हुए स्केल-कंट्रोल कार्यों में अग्रणी प्रोप्रायटरी मॉडल्स (जैसे GPT-4o, o1-series) को पछाड़ देता है।
परिणाम बताते हैं कि ओपन-सोर्स मॉडल मौजूदा कार्यात्मक बेंचमार्क पर ओवरफिट हो सकते हैं और नियंत्रणीय परिदृश्यों में सामान्यीकरण की कमी रखते हैं, लेकिन इसे लक्षित निर्देश संश्लेषण के माध्यम से सुधारा जा सकता है।

3. उन्नत क्षमताओं के साथ सहसंबंध

C3-Bench पर मॉडल रैंकिंग व्यापक संदर्भ समझ (ExecRepoBench) और मानव वरीयता मूल्यांकन (Chatbot Arena-Coding) वाले कार्यों पर प्रदर्शन के साथ मजबूत सहसंबंध दिखाती है, जो यह सुझाव देती है कि निर्देश-अनुपालन क्षमता व्यापक कोड समझ का एक प्रॉक्सी है।

महत्व और दावे

यह पेपर दावा करता है कि C3-Bench कोड पूर्णता के लिए पहला निर्देश-निर्देशित बेंचमार्क प्रदान करता है, जो वर्तमान मूल्यांकन परिदृश्य में एक महत्वपूर्ण कमी को संबोधित करता है। इसका महत्व निम्नलिखित में निहित है:

व्यवस्थित अति-मूल्यांकन को उजागर करना: यह प्रदर्शित करना कि मौजूदा बेंचमार्क व्यावहारिक, निर्देश-प्रधान विकास परिदृश्यों में मॉडल्स की क्षमताओं का व्यवस्थित रूप से अति-मूल्यांकन करते हैं।
अंतर को पाटना: यह पहचानना कि ओपन-सोर्स कोड LLMs, मजबूत कार्यात्मक प्रदर्शन के बावजूद, निर्देश अनुपालन में प्रोप्रायटरी मॉडल्स से पीछे हैं, एक ऐसा अंतर जिसे लक्षित डेटा संश्लेषण के माध्यम से भरा जा सकता है।
ओपन-सोर्स विकास को आगे बढ़ाना: निर्देश-पूर्णता डेटा को संश्लेषित करने के लिए एक सीधा, पुनरुत्पादक (reproducible) पाइपलाइन प्रदान करना, जिससे समुदाय को प्रोप्रायटरी डेटा पर निर्भर हुए बिना ओपन-सोर्स मॉडल्स को बेहतर बनाने में मदद मिले।

लेखक निष्कर्ष निकालते हैं कि भविष्य के अनुसंधान को कोड LLMs में निर्देश-अनुपालन क्षमताओं को प्राथमिकता देनी चाहिए ताकि वास्तविक दुनिया के सॉफ्टवेयर इंजीनियरिंग अनुप्रयोगों में उनकी विश्वसनीयता और नियंत्रणीयता सुनिश्चित की जा सके। आगे के अनुसंधान को सुगम बनाने के लिए सभी कोड, डेटासेट और मॉडल ओपन-सोर्स किए गए हैं।