SWE-QA-Pro: A Representative Benchmark and Scalable Training Recipe for Repository-Level Code Understanding
यह शोध पत्र SWE-QA-Pro प्रस्तुत करता है, जो विविध, लॉन्ग-टेल डेटा और कठिनाई अंशांकन के माध्यम से LLM मेमोराइजेशन को रोकने के लिए डिज़ाइन किया गया रिपॉजिटरी-स्तरीय कोड समझ के लिए एक कठोर बेंचमार्क है, साथ ही एक स्केलेबल दो-चरणीय प्रशिक्षण रेसिपी (SFT और RLAIF) भी प्रदान करता है जो छोटे ओपन मॉडल्स को एजेंटिक कोडबेस एक्सप्लोरेशन में GPT-4o से आगे निकलने में सक्षम बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ SWE-QA-Pro पेपर का सरल भाषा में अनुवाद दिया गया है, जिसमें रचनात्मक उपमाओं (analogies) का उपयोग किया गया है।
बड़ी समस्या: "पाठ्यपुस्तक" बनाम "वास्तविक दुनिया"
कल्पive करें कि आप एक छात्र को मास्टर डिटेक्टिव (जासूस) बनने के लिए प्रशिक्षित कर रहे हैं।
पुराना तरीका (मौजूदा बेंचमार्क):
अधिकांश पिछले टेस्ट ऐसे थे जैसे छात्र को एक पाठ्यपुस्तक देना और पूछना, "मिस्टर बॉडी की हत्या लाइब्रेरी में किसने की?" छात्र उत्तर सही दे सकता था क्योंकि उसने पाठ्यपुस्तक रट ली थी (वे "लोकप्रिय" कोड रिपॉजिटरी जिन्हें सब जानते हैं)। लेकिन वास्तविक दुनिया में, जासूस के पास कोई पाठ्यपुस्तक नहीं होती; उसे एक अनजान, उलझी हुई हवेली में जाना पड़ता है, दराजें खोलनी पड़ती हैं, कालीनों के नीचे देखना पड़ता है, और रहस्य सुलझाने के लिए गवाहों से बात करनी पड़ती है।
समस्या यह है कि वर्तमान AI मॉडल तथ्यों को याद करने में बहुत अच्छे हैं लेकिन एक नए, जटिल कोडबेस को वास्तव में एक्सप्लोर (खोजबीन) करने में बहुत खराब हैं। वे "सब कुछ जानने वाले" (know-it-alls) तो हैं, लेकिन "सब कुछ करने वाले" (do-it-alls) नहीं हैं।
समाधान: SWE-QA-Pro
लेखकों ने एक नया प्रशिक्षण मैदान बनाया जिसे SWE-QA-Pro कहा जाता है। इसे AI एजेंटों के लिए एक "सर्वाइवल रियलिटी शो" के रूप में सोचें।
1. अखाड़ा: लॉन्ग-टेल रिपॉजिटरीज़ (Long-Tail Repositories)
प्रसिद्ध, जाने-माने प्रोजेक्ट्स (जैसे हमारे उपमा में "लाइब्रेरी") पर AI का परीक्षण करने के बजाय, उन्होंने 26 अज्ञात, अजीब और जटिल सॉफ्टवेयर प्रोजेक्ट्स (जो "उलझी हुई हवेलियाँ" हैं) को चुना।
- क्यों? क्योंकि यदि एक AI किसी अजीब, अज्ञात हवेली में रहस्य सुलझा सकता है, तो यह साबित करता है कि वह वास्तव में जांच करना जानता है, न कि केवल तथ्य सुनाना।
- ट्विस्ट: उन्होंने यह सुनिश्चित किया कि हर "हवेली" पूरी तरह से बनी हुई और कार्यात्मक (functional) हो। AI वास्तव में कोड को चला सकता है, न कि केवल उसे पढ़ सकता है।
2. फ़िल्टर: नकल करने वालों को बाहर निकालना
लेखकों ने महसूस किया कि कुछ प्रश्न बहुत आसान हैं। यदि आप पूछते हैं, "print फंक्शन क्या करता है?", तो एक स्मार्ट AI बिना कोड देखे भी अपनी मेमोरी से इसका उत्तर दे सकता है। यह एक जासूसी टेस्ट में नकल करना है।
इसलिए, उन्होंने एक डिफिकल्टी फ़िल्टर (कठिनाई फ़िल्टर) बनाया:
- उन्होंने AI से कोड देखे बिना प्रश्न का उत्तर देने को कहा।
- यदि AI ने केवल अनुमान लगाकर या याद करके उत्तर सही दिया, तो उन्होंने उस प्रश्न को हटा दिया।
- उन्होंने केवल उन प्रश्नों को रखा जहाँ AI को उत्तर खोजने के लिए फाइलें खोलनी पड़ीं, फोल्डर्स में खोजना पड़ा और लॉजिक को ट्रैक करना पड़ा। यह सुनिश्चित करता है कि टेस्ट एक्सप्लोरेशन स्किल्स (खोजने के कौशल) को मापता है, न कि केवल मेमोरी को।
3. प्रशिक्षण रेसिपी: "छात्र" से "डिटेक्टिव" तक
पेपर एक नया तरीका भी पेश करता है जिससे छोटे AI मॉडल्स को विशेषज्ञ जासूस बनाया जा सके। उन्होंने दो चरणों वाला एक "जिम रूटीन" इस्तेमाल किया:
चरण 1: सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) - "क्लासरूम"
उन्होंने मॉडल को खेल के नियम सिखाए। उन्होंने उसे दिखाया कि समस्याओं को हल करने के लिए टूल्स (जैसे "Search," "View File," और "Run Command") का उपयोग कैसे किया जाता है। यह एक छात्र को आवर्धक लेंस (magnifying glass) और नोटपैड का उपयोग करना सिखाने जैसा है।चरण 2: रिनफोर्समेंट लर्निंग फ्रॉम AI फीडबैक (RLAIF) - "ड्रिल सार्जेंट"
यही असली सीक्रेट सॉस है। क्लासरूम के बाद, उन्होंने मॉडल को अपने आप समस्याओं को हल करने के लिए छोड़ दिया।- यदि मॉडल ने बिना देखे उत्तर का अनुमान लगाया, तो उसे कम स्कोर मिला।
- यदि मॉडल ने सही फाइलें खोलीं, कोड की विशिष्ट लाइन ढूंढी और अपने सबूतों का हवाला दिया, तो उसे उच्च स्कोर मिला।
- एक "AI जज" (एक बहुत ही स्मार्ट AI) ने मॉडल के काम का मूल्यांकन किया, और उसे पूरी तरह से और तथ्यात्मक होने के लिए पुरस्कृत किया।
परिणाम: अंडरडॉग की जीत
परिणाम आश्चर्यजनक थे। उन्होंने एक अपेक्षाकृत छोटा, ओपन-सोर्स मॉडल (Qwen3-8B) लिया और उसे इस नए "रियलिटी शो" तरीके से प्रशिक्षित किया।
- परिणाम: इस छोटे, प्रशिक्षित मॉडल ने उनके विशिष्ट टेस्ट पर GPT-4o (एक विशाल, महंगी, प्रोप्राइटरी मॉडल) को हरा दिया।
- सबक: यदि आपके पास सही प्रशिक्षण है, तो आपको एक विशाल दिमाग की आवश्यकता नहीं है। AI को एक्सप्लोर करना सिखाना केवल AI को बड़ा बनाने से अधिक महत्वपूर्ण है।
सारांश उपमा
- पुराने बेंचमार्क: एक छात्र को उस प्रसिद्ध फिल्म की कहानी सुनाने के लिए कहना जिसे उसने हज़ार बार देखा है।
- SWE-QA-Pro: छात्र को एक अंधेरे कमरे में एक नए, जटिल पहेली बॉक्स के साथ रखना और यह देखना कि क्या वह बटन दबाकर और नॉब घुमाकर उसे खोलने का तरीका ढूंढ सकता है।
- प्रशिक्ण: केवल छात्र को उत्तर की कुंजी देने के बजाय, उसे हर बार पुरस्कृत किया जाता है जब वह सफलतापूर्वक एक नॉब घुमाता है या एक छिपा हुआ हिस्सा ढूंढ लेता है।
संक्षेप में: पेपर कहता है, "AI को उस चीज़ पर टेस्ट करना बंद करें जो वह पहले से जानता है। इसे इस पर टेस्ट करें कि वह नई चीज़ों को कितनी अच्छी तरह सीख और एक्सप्लोर कर सकता है। और यदि आप उसे ऐसा करने के लिए प्रशिक्षित करते हैं, तो छोटे AI भी दिग्गजों को हरा सकते हैं।"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।