MARS: Multi-Specialist LLM Relay System for Competitive Programming
MARS एक प्रॉम्प्ट-ओनली, रिट्रीवल-ऑगमेंटेड मल्टी-एजेंट फ्रेमवर्क है जो प्रतिस्पर्धी प्रोग्रामिंग समाधानों को पुनरावृत्ति रूप से परिष्कृत करने के लिए रिले सिस्टम में विषय-विशिष्ट LLMs का उपयोग करता है, जिससे मौजूदा तरीकों की तुलना में काफी कम लागत और भिन्नता के साथ CodeContests पर 0.624 का पास रेट प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
प्रतिस्पर्धी प्रोग्रामिंग की उच्च-दांव वाली दुनिया में, कंप्यूटर वैज्ञानिक और छात्र दोनों ही एक अनूठी चुनौती का सामना करते हैं: सख्त समय सीमा के भीतर जटिल तर्क पहेलियों को हल करना। ये समस्याएँ केवल ऐसा कोड लिखने के बारे में नहीं हैं जो चलता हो; इनके लिए विशिष्ट गणितीय रणनीतियों की गहरी समझ की आवश्यकता होती है, जैसे कि बिंदुओं के बीच सबसे छोटा रास्ता कैसे खोजा जाए या डेटा को कुशलतापूर्वक कैसे व्यवस्थित किया जाए। वर्षों से, आर्टिफिशियल इंटेलिजेंस शोधकर्ता कंप्यूटर को इन पहेलियों में महारत हासिल करना सिखाने का प्रयास कर रहे हैं। उन्होंने ऐसी प्रणालियाँ बनाई हैं जहाँ एक एकल शक्तिशाली कंप्यूटर प्रोग्राम पूरी समस्या को एक बार में हल करने का प्रयास करता है, या जहाँ सामान्य-उद्देश्य वाले डिजिटल सहायकों की एक टीम काम को योजना बनाने, कोडिंग करने और जाँचने में विभाजित करती है। हालाँकि इन तरीकों ने सुधार किया है, लेकिन वे अक्सर तब लड़खड़ा जाते हैं जब समस्या के लिए किसी विशिष्ट, गहरी अंतर्दष्टि की आवश्यकता होती है जिसे एक सामान्यज्ञ (generalist) चूक सकता है। मुख्य कठिनाई इस तथ्य में निहित है कि एक कंप्यूटर प्रोग्राम को समाधान बनाना शुरू करने से पहले यह जानना आवश्यक है कि किस विशिष्ट गणितीय उपकरण का उपयोग किया जाना चाहिए, ठीक वैसे ही जैसे एक बढ़ई को लकड़ी काटने से पहले सही आरी चुननी चाहिए।
एक नया अध्ययन एक अलग दृष्टिकोण पेश करता है, जो इस समस्या को एक सामान्यज्ञ के कार्य के रूप में नहीं, बल्कि विशेषज्ञों की एक टीम के लिए एक रिले रेस के रूप में देखता है। शोधकर्ताओं ने, MARS नामक एक प्रणाली के साथ काम करते हुए, एक ऐसा ढांचा तैयार किया जहाँ कंप्यूटर पूरी समस्या को हल करने के लिए एक एकल मस्तिष्क पर निर्भर नहीं रहता है। इसके बजाय, जब एक कठिन प्रोग्रामिंग समस्या सामने आती है, तो प्रणाली सबसे पहले डिजिटल विशेषज्ञों के एक पुस्तकालय से परामर्श करती है, जिनमें से प्रत्येक को ज्यामिति (geometry), ग्राफ थ्योरी, या डायनेमिक प्रोग्रामिंग जैसे एक संकीर्ण क्षेत्र में प्रशिक्षित किया गया है। सिस्टम प्रत्येक विशेषज्ञ से पूछता है कि क्या समस्या उनके विशिष्ट ज्ञान के क्षेत्र में फिट बैठती है। इन उत्तरों के आधार पर, यह कार्य को एक साथ संभालने के लिए दो या तीन प्रासंगिक विशेषज्ञों की एक छोटी, कस्टम टीम बनाता है। यह विधि सुनिश्चित करती है कि शुरुआत से ही सही प्रकार के ज्ञान का अनुप्रयोग किया जाए, बजाय इसके कि इस उम्मीद में रहा जाए कि एक सामान्य मॉडल संयोग से सही रणनीति खोज लेगा।
एक बार टीम बन जाने के बाद, कार्य एक संरचित अनुक्रम में शुरू होता है। पहला विशेषज्ञ एक मानक प्रोग्रामिंग भाषा में समाधान का एक प्रारंभिक मसौदा लिखता है। इस मसौदे का परीक्षण तुरंत समस्या के साथ दिए गए सार्वजनिक उदाहरणों के एक सेट के विरुद्ध किया जाता है। इस परीक्षण के परिणामों को उसी विशेषज्ञ को वापस भेजा जाता है, जो फिर यह निर्णय लेता है कि कोड को वैसा ही रखना है, त्रुटियों को ठीक करना है, या मसौदे को टीम के अगले विशेषज्ञ को सौंपना है। यह प्रक्रिया दोहराई जाती है, जिसमें प्रत्येक विशेषज्ञ परीक्षणों से प्राप्त ठोस फीडबैक के आधार पर कार्य को परिष्कृत करता है। यदि कोई विशेषज्ञ कोड में सुधार नहीं कर पाता है या यदि समाधान पूर्ण है, तो वे इसे अगले व्यक्ति को सौंप देते हैं। सिस्टम में एक सुरक्षा तंत्र शामिल है जो प्रक्रिया को तब रोक देता है जब टीम बिना किसी प्रगति के एक लूप में फंस जाती है, जिससे यह सुनिश्चित होता है कि कंप्यूटर किसी मृत अंत (dead end) पर समय बर्बाद न करे। अंत में, एक त्वरित जाँच सुनिश्चित करती है कि कोड सही ढंग से फॉर्मेट किया गया है या नहीं, इससे पहले कि इसे सबमिट किया जाए।
इस प्रयोग के परिणामों को 165 चुनौतीपूर्ण प्रोग्रामिंग समस्याओं के संग्रह पर मापा गया था। नया सिस्टम, MARS, पिछले तरीकों की तुलना में इन समस्याओं का काफी अधिक प्रतिशत हल करने में सफल रहा जो एकल मॉडल या सामान्यज्ञों की टीम पर निर्भर थे। विशेष रूप से, विशेषज्ञ टीम दृष्टिकोण ने लगभग 62 प्रतिशत समस्याओं को हल किया, जो मानक एकल-मॉडल पद्धति द्वारा प्राप्त 48 प्रतिशत की तुलना में एक उल्लेखनीय सुधार है। शोधकर्ताओं ने पाया कि यह लाभ सबसे कठिन समस्याओं पर सबसे नाटकीय था, जहाँ विशेषज्ञ टीम ने बेसलाइन की तुलना में दोगुने से अधिक कार्यों को हल किया। हालाँकि CodeSIM नामक एक अन्य उन्नत प्रणाली ने अभी भी उच्चतम सफलता दर हासिल की, लेकिन नया तरीका बहुत कम कंप्यूटिंग समय और संसाधनों का उपयोग करते हुए प्रदर्शन के समान स्तर तक पहुँच गया। अध्ययन बताता है कि आर्टिफिशियल इंटेलिजेंस को विषय-केंद्रित विशेषज्ञों की एक टीम के रूप में व्यवस्थित करके, जो वास्तविक समय में एक-दूसरे के काम की जाँच और सुधार कर सकें, कंप्यूटर जटिल तार्किक पहेलियों को हल करने में बहुत अधिक प्रभावी हो सकते हैं।
शोधकर्ताओं ने यह भी परीक्षण किया कि यह प्रणाली विभिन्न अंतर्निहित 'कंप्यूटर ब्रेन्स' और प्रोग्रामिंग भाषाओं के साथ कितनी अच्छी तरह काम करती है। उन्होंने पाया कि विशेषज्ञ टीम दृष्टिकोण विभिन्न मॉडलों में लगातार अन्य तरीकों से बेहतर प्रदर्शन करता है, जो यह सिद्ध करता है कि विषय-विशिष्ट विशेषज्ञों का उपयोग करने की रणनीति सुदृढ़ है। हालाँकि, उन्होंने नोट किया कि यह प्रणाली अभी भी कोड को एक सुरक्षित, अलग वातावरण (isolated environment) में चलाने की क्षमता पर निर्भर करती है ताकि परीक्षण के परिणाम प्राप्त किए जा सकें। कोड के तत्काल परिणाम देखने की इस क्षमता के बिना, विशेषज्ञों के पास सुधार करने के लिए आवश्यक फीडबैक नहीं होगा। अध्ययन निष्कर्ष निकालता है कि जबकि अभी भी सुधार की गुंजाइश है, विशेष रूप से समस्याओं के सबसे कठिन स्तरों पर, सामान्यज्ञ टीमों से विशेषज्ञ, स्व-सुधार करने वाली रिले (relays) की ओर बदलाव मशीनों को विशेषज्ञ समस्या समाधानकर्ताओं की तरह सोचने में सक्षम बनाने की दिशा में एक सार्थक कदम है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।