ComBench: A Repo-level Real-world Benchmark for Compilation Error Repair
यह शोधपत्र ComBench प्रस्तुत करता है, जो C/C++ संकलन त्रुटि सुधार (compilation error repair) के लिए पहला रिपॉजिटरी-स्तरीय वास्तविक-विश्व बेंचमार्क है, जो GitHub CI विफलताओं को खोजने और सत्यापित करने के लिए एक नवीन स्वचालित ढांचे का लाभ उठाता है, जो वर्तमान LLM-आधारित सुधार तकनीकों की सिंटैक्टिक (syntactic) और सिमेंटिक (semantic) शुद्धता के बीच महत्वपूर्ण अंतराल को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शेफ हैं जो हजारों लोगों के लिए एक विशाल, जटिल दावत बनाने की कोशिश कर रहे हैं। आपके पास एक रेसिपी (कोड) है, लेकिन हर बार जब आप चूल्हा जलाने की कोशिश करते हैं (कोड कंपाइल करना), तो रसोई में धुआं और आग के अलार्म बजने लगते हैं (कंपाइलेशन एरर)।
सॉफ्टवेयर की दुनिया में, ये "रसोई के धमाके" कंपाइलेशन एरर्स (Compilation Errors) हैं। ये पूरी प्रक्रिया को रोक देते हैं, जिससे डेवलपर्स को खाना बनाना बंद करके यह पता लगाने में घंटों बिताने के लिए मजबूर होना पड़ता है कि चूल्हा क्यों नहीं जला।
लंबे समय से, शोधकर्ता ऐसे AI शेफ (Large Language Models) बनाने की कोशिश कर रहे हैं जो इन त्रुटियों को स्वचालित रूप से ठीक कर सकें। लेकिन एक बड़ी समस्या थी: वे जिन परीक्षणों का उपयोग AI शेफ को प्रशिक्षित करने और जांचने के लिए कर रहे थे, वे एक छोटी, खाली रसोई में अभ्यास ड्रिल (practice drills) की तरह थे।
समस्या: "खिलौना रसोई" बेंचमार्क (The "Toy Kitchen" Benchmark)
कल्पना कीजिए कि आप एक शेफ को एक 50 मंजिला इमारत में टूटे हुए ओवन को ठीक करने के लिए प्रशिक्षित कर रहे हैं। लेकिन उन्हें एक ऊंची इमारत में भेजने के बजाय, आप उन्हें एक खिलौने वाली रसोई में एक टूटा हुआ टोस्टर देते हैं।
- पुराना तरीका: शोधकर्ताओं ने AI मॉडल को कोड के छोटे, अलग-थलग टुकड़े (जैसे रेसिपी की एक अकेली लाइन) दिए और उन्हें उसे ठीक करने के लिए कहा।
- वास्तविकता: वास्तविक सॉफ्टवेयर एक विशाल गगनचुंबी इमारत है। बेसमेंट में एक त्रुटि (एक फ़ाइल में) पेंटहाउस (दूसरी फ़ाइल) में टूटे हुए पाइप के कारण हो सकती है। पुराने परीक्षणों ने पूरी इमारत को नजरअंदाज कर दिया, इसलिए AI शेफ टोस्टर ठीक करना तो सीख गए लेकिन बड़ी इमारतों के सामने बुरी तरह विफल रहे।
समाधान: ComBench (द "असली गगनचुंबी इमारत" सिम्युलेटर)
इस पेपर के लेखकों ने ComBench बनाया है। इसे एक वास्तविक दुनिया के निर्माण स्थल के विशाल, वास्तविक सिम्युलेटर के रूप में समझें जहाँ AI शेफ वास्तविक, उलझी हुई, वास्तविक दुनिया की त्रुटियों को ठीक करने का अभ्यास कर सकते हैं।
यहाँ बताया गया है कि उन्होंने इसे कैसे बनाया, सरल उपमाओं का उपयोग करते हुए:
1. "ब्लैक बॉक्स" की माइनिंग (डेटा संग्रह)
नकली त्रुटियां बनाने के बजाय, टीम GitHub (सॉफ्टवेयर प्रोजेक्ट्स का एक विशाल पुस्तकालय) पर गई और निर्माण स्थलों के सीसीटीवी फुटेज (CI/CD लॉग्स) को देखा।
- उन्हें हजारों बार मिले जब वास्तविक डेवलपर्स ने सॉफ्टवेयर बनाने की कोशिश की और वह विफल रहा।
- उन्होंने केवल एरर मैसेज ही नहीं लिया; उन्होंने पूरा संदर्भ (context) भी लिया: ब्लूप्रिंट, उपयोग किए गए उपकरण, और उस सटीक क्षण के विशिष्ट मौसम की स्थिति (सर्वर एनवायरनमेंट)।
2. "जादुई समाधान" खोजना (Ground Truth)
जब कोई इमारत ढहती है, तो आपको यह जानने की आवश्यकता होती है कि इंजीनियरों ने उसे ठीक कैसे किया।
- टीम ने एक परिष्कृत "टाइम-ट्रैवल" एल्गोरिदम का उपयोग किया ताकि उस सटीक क्षण का पता लगाया जा सके जब एक डेवलवर ने एक टूटे हुए बिल्ड को ठीक किया था।
- उन्होंने केवल पूरा कमिट (जो शायद एक नई खिड़की जोड़ने या दीवार पेंट करने जैसा कुछ हो सकता है) नहीं लिया; उन्होंने केवल उस छोटे से पैच (patch) को निकालने के लिए "सर्जिकल स्कैल्पल" का उपयोग किया जिसने आग को रोका था। यह सुनिश्चित करता है कि AI सटीक सुधार सीखे, न कि केवल एक यादृच्छिक परिवर्तन।
3. "घोस्ट किचन" को फिर से बनाना (Reproducibility)
यह सबसे कठिन हिस्सा है। कभी-कभी रसोई केवल इसलिए फट जाती है क्योंकि गैस का कोई विशिष्ट ब्रांड या चूल्हे की कोई अजीब सेटिंग होती है।
- टीम ने एक टाइम-मशीन डॉकर कंटेनर (Docker container) बनाया। उन्होंने उसी वर्चुअल एनवायरनमेंट को फिर से बनाया जहाँ 6 महीने पहले वह त्रुटि हुई थी।
- उन्होंने सत्यापित किया कि:
- त्रुटि फिर से होती है (Fail)।
- AI सुधार लागू करता है।
- इमारत खड़ी रहती है और पूरी तरह से काम करती है (Pass)।
उन्होंने क्या खोजा (स्वाद परीक्षण - The Taste Test)
एक बार जब उनके पास यह वास्तविक सिम्युलेटर आ गया, तो उन्होंने 12 अलग-अलग AI शेफ (जैसे GPT-5, Claude, आदि) का परीक्षण किया कि वे वास्तविक दुनिया की त्रुटियों को ठीक करने में कितने अच्छे हैं।
यहाँ के आश्चर्यजनक परिणाम दिए गए हैं, जिन्हें रोजमर्रा की भाषा में अनुवादित किया गया है:
"दिखने में अच्छा, स्वाद में बुरा" का अंतर (The "Looks Good, Tastes Bad" Gap):
AI शेफ धुआं रोकने में बहुत अच्छे थे। 73% मामलों में, वे कोड को कंपाइल करने में सक्षम थे (चूल्हा नहीं फटा)।- लेकिन, केवल 41% समय में ही भोजन वास्तव में सही स्वाद का था (Semantic Correctness)।
- उपमा: AI शायद रेफ्रिजरेटर को अनप्लग करके चूल्हे को ठीक कर सकता है। रसोई अब शांत है (कोई त्रुटि नहीं), लेकिन आपके पास पकाने के लिए कोई भोजन नहीं है। कोड काम करता है, लेकिन प्रोग्राम खराब है।
आकार मायने रखता है, लेकिन हमेशा नहीं (Size Matters, But Not Forever):
बड़े AI मॉडल आम तौर पर बेहतर प्रदर्शन करते हैं, लेकिन एक निश्चित बिंदु के बाद, उन्हें बड़ा बनाने से ज्यादा मदद नहीं मिली। वे एक "सीलिंग" (सीमा) पर पहुंच गए क्योंकि समस्या केवल अधिक तथ्य जानने के बारे में नहीं थी; यह इस बारे में थी कि पूरी इमारत आपस में कैसे जुड़ती है।"एजेंट" बनाम "सोलो शेफ" (The "Agent" vs. The "Solo Chef"):
- सोलो शेफ (Direct Repair): आप AI को त्रुटि और फ़ाइल देते हैं। वह सुधार का अनुमान लगाता है।
- एजेंट शेफ (Iterative): आप AI को एक टूलबॉक्स देते हैं। वह इमारत के चारों ओर घूम सकता है, अन्य कमरों की जांच कर सकता है, सवाल पूछ सकता है, और तब तक विभिन्न उपकरणों को आज़मा सकता है जब तक कि उसे समाधान न मिल जाए।
- परिणाम: सबसे स्मार्ट मॉडलों के लिए "एजेंट" दृष्टिकोण बहुत बेहतर था। यह एक जासूस को केवल अपराधी का अनुमान लगाने के लिए कहने के बजाय, उसे एक आवर्धक लेंस (magnifying glass) और एक मानचित्र देने जैसा है।
"कठिन मामले" (The "Hard Cases"):
सबसे स्मार्ट AI (GPT-5) भी लगभग 30% त्रुटियों को ठीक नहीं कर सका। ये आमतौर पर "क्रॉस-फ़ाइल" रहस्य थे जहाँ समाधान के लिए उन गहरे, छिपे हुए नियमों को समझने की आवश्यकता थी जिन्हें AI नहीं जानता था।
यह क्यों मायने रखता है
ComBench से पहले, हम AI का परीक्षण खिलौना समस्याओं पर कर रहे थे और सोच रहे थे कि वे वास्तविक दुनिया के लिए तैयार हैं। यह पेपर कहता है, "रुको! चलो उन्हें वास्तविक गगनचुंबी इमारत में टेस्ट करते हैं।"
यह हमें दिखाता है कि जबकि AI सिंटैक्स (कोड की व्याकरण) को ठीक करने में बहुत अच्छा हो रहा है, यह अभी भी सिमेंटिक्स (कोड के अर्थ और तर्क) के साथ संघर्ष कर रहा है। यह एक ऐसे AI की तरह है जो उपन्यास में टाइपो (typo) को ठीक कर सकता है लेकिन कहानी को नहीं समझता।
संक्षेप में: ComBench AI कोड-फिक्सर्स के लिए नया, वास्तविक ड्राइविंग टेस्ट है। यह साबित करता है कि जबकि हमारे AI ड्राइवर स्टीयरिंग करने में बेहतर हो रहे हैं, उन्हें अभी भी वास्तविक दुनिया के सॉफ्टवेयर प्रोजेक्ट्स के जटिल ट्रैफिक को नेविगेट करना सीखना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।