Evaluating and Achieving Controllable Code Completion in Code LLM
यह शोध पत्र कोड LLMs में निर्देश-अनुपालन मूल्यांकन की कमी को दूर करने के लिए कंट्रोलेबल कोड कंप्लीशन बेंचमार्क (C3-Bench) प्रस्तुत करता है, ओपन-सोर्स और प्रोप्रायटरी मॉडल्स के बीच महत्वपूर्ण प्रदर्शन अंतराल को उजागर करता है, और एक डेटा सिंथेसिस पाइपलाइन प्रस्तावित करता है जो एक फाइन-ट्यून्ड मॉडल को इस नए बेंचमार्क पर अत्याधुनिक परिणाम प्राप्त करने में सक्षम बनाता है।