From LLMs to Agents in Programming: The Impact of Providing an LLM with a Compiler
यह शोध पत्र यह प्रदर्शित करता है कि लार्ज लैंग्वेज मॉडल्स को एक कंपाइलर से सुसज्जित करना उन्हें प्रभावी पुनरावृत्ति एजेंटों (iterative agents) में बदल देता है जो विभिन्न मॉडल आकारों में कोड संकलन सफलता को महत्वपूर्ण रूप से सुधारते हैं और सिंटैक्स त्रुटियों को कम करते हैं, जो यह सुझाव देता है कि विकास उपकरणों (development tools) तक पहुँच प्रदर्शन को बढ़ा सकती है और संभावित रूप से विशाल, ऊर्जा-गहन मॉडल्स की आवश्यकता को कम कर सकती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही प्रतिभाशाली लेकिन अनुभवहीन प्रशिक्षु रसोइया (apprentice chef) को एक लिखित रेसिपी के आधार पर भोजन पकाने के लिए काम पर रख रहे हैं।
समस्या: "वन-शॉट" शेफ
अतीत में, यदि आप किसी लार्ज लैंग्वेज मॉडल (एक AI) से कंप्यूटर कोड लिखने के लिए कहते, तो यह ऐसा था जैसे उस प्रशिक्षु रसोइए को एक ही प्रयास में व्यंजन बनाने के लिए कहना। वे रेसिपी देखते, सामग्री का अनुमान लगाते और व्यंजन परोस देते। यदि वे कोई मसाला भूल जाते, गलत बर्तन का उपयोग करते, या टोस्ट जला देते, तो आपको तब तक पता नहीं चलता जब तक आप उसे चखने की कोशिश नहीं करते। यदि व्यंजन खाने लायक नहीं होता (कोड काम नहीं करता), तो रसोइए के पास उसे ठीक करने का कोई तरीका नहीं होता क्योंकि रसोई बंद हो चुकी होती। उन्हें बस इस उम्मीद में रहना पड़ता था कि वे पहली बार में ही सही कर लेंगे।
समाधान: एक "टेस्ट-टेस्टर" के साथ "स्व-सुधारने वाला" शेफ
यह शोध पत्र पूछता है: क्या होगा यदि हम उस प्रशिक्षु रसोइए को एक टेस्ट-टेस्टर (एक कंपाइलर) दे दें जो तुरंत उसे बता सके, "हे, तुम नमक भूल गए," या "तुमने बैटर मिक्स करने से पहले केक को ओवन में डाल दिया"?
शोधकर्ताओं ने एक प्रयोग सेट किया जहाँ उन्होंने 16 अलग-अलग AI "शेफ" (छोटे, ऊर्जा-कुशल वाले से लेकर विशाल, अत्यधिक जटिल वाले तक) को 699 कुकिंग चुनौतियों (C भाषा में प्रोग्रामिंग कार्य) की एक सूची दी।
- बेसलाइन ग्रुप: इन शेफों को भोजन बनाना था और उसे तुरंत परोसना था। दूसरा मौका नहीं था।
- एजेंट ग्रुप: इन शेफों को खाना पकाने, टेस्ट-टेस्टर (कंपाइलर) से आलोचना प्राप्त करने, अपनी गलती सुधारने और फिर से प्रयास करने की अनुमति दी गई। वे इसे तब तक पाँच बार कर सकते थे जब तक कि व्यंजन एकदम सही न हो जाए।
स्वादिष्ट परिणाम
सफलता की दर आसमान छू गई:
टेस्ट-टेस्टर देने से बहुत बड़ा अंतर पड़ा। सफल व्यंजनों की संख्या में कहीं भी 5% से लेकर लगभग 80% तक की वृद्धि हुई, जो शेफ पर निर्भर करता था।- आश्चर्य: सबसे बड़े विजेता अनिवार्य रूप से सबसे बड़े, सबसे महंगे शेफ नहीं थे। Qwen 3 (4 बिलियन "मस्तिष्क कोशिकाओं" वाला) नामक एक मध्यम आकार का शेफ, जो सबसे खराब रसोइयों में से एक था (केवल 18% सफलता), टेस्ट-टेस्टर की मदद से सबसे अच्छे रसोइयों में से एक बन गया (97% सफलता)। इसने कुछ मामलों में 70-बिलियन पैरामीटर वाले विशाल शेफों को भी पीछे छोड़ दिया।
स्वाद नहीं बदला (भोजन अभी भी वही था):
आप चिंतित हो सकते हैं कि यदि एक शेफ बार-बार व्यंजन को ठीक करता है, तो क्या वह पूरी रेसिपी बदल देगा। लेकिन शोधकर्ताओं ने "फ्लेवर प्रोफाइल" (कोड का अर्थ और तर्क) की जाँच की। उन्होंने पाया कि शेफों ने रेसिपी नहीं बदली; उन्होंने केवल गलतियों को सुधारा। अंतिम व्यंजन अभी भी बिल्कुल वैसा ही था जैसा ग्राहक ने ऑर्डर किया था, बस बिना जले हुए किनारों या गायब सामग्री के।किस प्रकार की गलतियाँ सुधारी गईं?
टेस्ट-टेस्टर विशिष्ट, स्पष्ट त्रुटियों को पहचानने में अविश्वसनीय रूप से अच्छा था:- सिंटैक्स एरर्स (Syntax Errors): जैसे कॉमा या सेमीकोलन भूल जाना। कंपाइलर ने कहा, "आपने यहाँ एक पूर्ण विराम मिस कर दिया है," और शेफ ने उसे ठीक कर दिया। ये त्रुटियाँ 75% तक कम हो गईं।
- गायब सामग्री (Missing Ingredients): जैसे किसी ऐसे फंक्शन को कॉल करना जो मौजूद नहीं है। कंपाइलर ने कहा, "आपने 'मैजिक डस्ट' माँगा है लेकिन हमारे पास वह नहीं है," और शेफ ने उसे ठीक कर दिया। ये त्रुटियाँ 87% तक गिर गईं।
हालाँकि, शेफ तब भी संघर्ष करते थे यदि गलती भ्रमित करने वाली हो, जैसे कि यदि शेफ ने रेसिपी अलग भाषा (C के बजाय Python) में लिखी हो या आउटपुट केवल टेक्स्ट का एक पैराग्राफ हो जिसमें कोई कोड न हो। इन मामलों में कंपाइलर का फीडबैक उनके लिए समझने में कभी-कभी बहुत अस्पष्ट होता था।
मुख्य निष्कर्ष
इस शोध पत्र का मुख्य सबक यह है कि आपको अच्छा कोड लिखने के लिए हमेशा एक विशाल, महंगे, ऊर्जा-खपत करने वाले सुपर-कंप्यूटर की आवश्यकता नहीं होती है। यदि आप एक छोटे, सस्ते AI को अपने काम की जाँच करने के लिए एक उपकरण (एक कंपाइलर) देते हैं और उसे अपनी गलतियों से सीखने देते हैं, तो वह दिग्गजों के समान प्रभावी बन सकता है।
यह महसूस करने जैसा है कि एक स्मार्ट प्रशिक्षु, जिसके पास एक अच्छा शिक्षक हो, अक्सर एक ऐसे जीनियस से बेहतर होता है जिसे कभी अपना काम चेक करने की अनुमति नहीं दी जाती। यह दृष्टिकोण काम को सही ढंग से करते हुए ऊर्जा और कंप्यूटिंग शक्ति की बचत करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।