Frontier Coding Agents Use Metaprogramming to Adapt to Unfamiliar Programming Languages
यह शोध पत्र प्रकट करता है कि उन्नत LLM-आधारित कोडिंग एजेंट अपरिचित गूढ़ (esoteric) भाषाओं के अनुकूल होने के लिए मेटाप्रोग्रामिंग रणनीतियों—जैसे कि लक्षित कोड को पायथन के माध्यम से उत्पन्न करना—का उपयोग करते हैं, न कि सीधे लक्षित भाषा में लिखने का, एक ऐसी क्षमता जो कमजोर एजेंटों की तुलना में काफी बेहतर प्रदर्शन करती है और जिसे सरल टेक्स्ट मार्गदर्शन या संसाधनों के आवंटन में वृद्धि के माध्यम से आसानी से दोहराया नहीं जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप बहुत बुद्धिमान, स्वचालित सहायकों (AI कोडिंग एजेंटों) के एक समूह का परीक्षण कर रहे हैं ताकि यह देखा जा सके कि वे पहेलियाँ सुलझाने में कितने अच्छे हैं।
आमतौर पर, हम इन सहायकों का परीक्षण उन पहेलियों पर करते हैं जिन्हें उन्होंने लाखों बार देखा है, जैसे कि एक मानक कुकबुक में रेसिपी लिखना या सामान्य उपकरणों का उपयोग करके टपकते नल को ठीक करना। इस पेपर में इन्हें "परिचित भाषाएँ" (जैसे Python या JavaScript) कहा गया है। इन परीक्षणों में, लगभग सभी शीर्ष सहायक लगभग एक जैसे ही दिखते हैं: वे सभी काफी अच्छे हैं।
लेकिन इस पेपर के लेखकों ने एक अलग सवाल पूछा: क्या होगा यदि आप इन सहायकों को एक ऐसी पहेली सौंपते हैं जो एक ऐसी भाषा में लिखी गई है जिसे उन्होंने पहले कभी नहीं देखा, और जिसके नियम उनके लिए समझ से बाहर हैं?
इसकी जांच करने के लिए, उन्होंने "एसोटेरिक लैंग्वेजेस" (Esoteric Languages या Esolangs) का उपयोग किया। इसे वास्तविक प्रोग्रामिंग भाषाओं के रूप में नहीं, बल्कि विदेशी बोलियों के रूप में सोचें।
- Brainfuck ऐसा है जैसे आप केवल 8 प्रतीकों का उपयोग करके एक कहानी लिखने की कोशिश कर रहे हों, जहाँ आपको गणित करने के लिए कागज की एक टेप पर पॉइंटर को आगे-पीछे ले जाना पड़ता है।
- Befunge-98 एक भूलभुलैया की तरह है जहाँ निर्देश एक 2D ग्रिड पर लिखे होते हैं, और "कर्सर" तीरों के आधार पर ऊपर, नीचे, बाएँ या दाएँ कूद सकता है।
यहाँ इस पेपर की खोज दी गई है, जिसे सरल उपमाओं के माध्यम से समझाया गया है:
1. "परिचित" परीक्षण बनाम "विदेशी" परीक्षण
मानक परीक्षणों पर (जैसे Python में GitHub बग को ठीक करना), शीर्ष AI मॉडल सभी एक साथ क्लस्टर में होते हैं, जैसे कि धावकों का एक समूह एक दौड़ पूरी करने के कुछ सेकंड के भीतर समाप्त होता है। आप यह नहीं बता सकते कि वास्तव में कौन सबसे तेज़ है।
लेकिन "विदेशी" परीक्षणों पर, अंतर बहुत बढ़ गया।
- विजेता: कुछ मॉडलों (जैसे Claude Opus 4.6 और GPT-5.4 xhigh) ने केवल विदेशी भाषा का अनुमान लगाने की कोशिश नहीं की। उन्होंने महसूस किया, "मैं यह भाषा नहीं बोलता, लेकिन मैं अपने लिए एक मशीन बना सकता हूँ जो मेरे लिए इसे बोल सके।"
- हारने वाले: अन्य मॉडलों ने सीधे विदेशी भाषा में लिखने की कोशिश की। वे अजीब नियमों से उलझ गए, भ्रमित हो गए और बुरी तरह विफल रहे।
"विदेशी" परीक्षण ने एक आवर्धक लेंस (magnifying glass) की तरह काम किया, जिसने उन बुद्धिमत्ता के अंतरों को उजागर किया जिन्हें मानक परीक्षण छिपा रहे थे।
2. गुप्त हथियार: मेटाप्रोग्रामिंग (द ट्रांसलेटर रोबोट)
सबसे स्मार्ट एजेंटों ने सीधे विदेशी भाषा सीखने की कोशिश नहीं की। इसके बजाय, उन्होंने मेटाप्रोग्रामिंग नामक रणनीति का उपयोग किया।
उपमा:
कल्पना कीजिए कि आपसे एक ऐसी भाषा में पत्र लिखने के लिए कहा गया है जिसे आप नहीं जानते (जैसे कि एक गुप्त कोड)।
- कमजोर रणनीति: आप कोड का अक्षर-दर-अक्षर अनुमान लगाने की कोशिश करते हैं। आप "A" फिर "B" फिर "C" लिखते हैं, इस उम्मीद में कि इसका मतलब "Hello" होगा। आप विफल हो जाते हैं क्योंकि आप व्याकरण को नहीं समझते।
- मजबूत रणनीति (मेटाप्रोग्रामिंग): आप कहते हैं, "मुझे कोड नहीं पता, लेकिन मैं अंग्रेजी पूरी तरह से जानता हूँ। मैं अंग्रेजी में एक छोटा सा प्रोग्राम लिखूँगा जो एक अनुवादक रोबोट (translator robot) के रूप में कार्य करेगा। यह रोबोट मेरे अंग्रेजी निर्देशों को लेगा और स्वचालित रूप से गुप्त कोड आउटपुट करेगा।"
शीर्ष AI एजेंटों ने बिल्कुल यही किया। उन्होंने एक सहायक प्रोग्राम लिखा जो एक ऐसी भाषा में था जिसे वे अच्छी तरह जानते थे (जैसे Python)। इस सहायक प्रोग्राम ने उस जटिल, अजीब कोड को जनरेट किया जिसकी विदेशी भाषा के लिए आवश्यकता थी। उन्होंने यह सुनिश्चित करने के लिए अपने "अनुवादक रोबोट" का स्थानीय रूप से परीक्षण किया कि वह काम कर रहा है, और फिर अंतिम परिणाम सबमिट किया।
3. यह क्यों मायने रखता है
इस पेपर ने साबित किया कि यह "अनुवादक रोबोट" रणनीति केवल एक भाग्यशाली अनुमान नहीं थी; यह कारण था कि वे सफल हुए।
- जब शोधकर्ताओं ने एजेंटों को उनके "अनुवादक रोबोटों" का उपयोग करने से बैन कर दिया और उन्हें सीधे विदेशी कोड लिखने के लिए मजबूर किया, तो शीर्ष एजेंटों के स्कोर गिर गए। वे लगभग पूर्ण होने से बदलकर लगभग सब कुछ विफल करने लगे।
- यह साबित करता है कि सबसे स्मार्ट एजेंट केवल उत्तर "रट" नहीं रहे हैं। वे अनुकूलन (adapting) कर रहे हैं। वे महसूस करते हैं कि नियम सीधे पालन करने के लिए बहुत कठिन हैं, इसलिए वे एक पुल बनाने के लिए एक उपकरण का निर्माण करते हैं।
4. क्या आप "मंद" एजेंटों को स्मार्ट बना सकते हैं?
शोधकर्ताओं ने कमजोर एजेंटों की मदद करने के लिए उन्हें सलाह देकर प्रयास किया।
- सलाह 1 (पाठ्यपुस्तक): उन्होंने कमजोर एजेंटों को एक लिखित नोट दिया जिसमें कहा गया था, "हे, आपको कोड को सीधे लिखने के बजाय एक अनुवादक रोबोट बनाना चाहिए।"
- परिणाम: यह काम नहीं आया। कमजोर एजेंटों ने नोट पढ़ा लेकिन वे अभी भी यह समझने में असमर्थ थे कि रोबोट कैसे बनाया जाए।
- सलाह 2 (ब्लूप्रिंट): उन्होंने कमजोर एजेंटों को उस अनुवादक रोबोट का वास्तविक कोड (स्कैफोल्डिंग) दिया जिसे स्मार्ट एजेंटों ने बनाया था।
- परिणाम: मध्यम स्तर के एजेंट अचानक बहुत बेहतर हो गए! वे ब्लूप्रिंट को ले सके और समस्याओं को हल करने के लिए उसका उपयोग कर सके। सबसे कमजोर एजेंट अभी भी संघर्ष कर रहे थे, जिससे पता चला कि कुछ मॉडल ब्लूप्रिंट हाथ में होने पर भी उपकरणों को जोड़ने में सक्षम नहीं हैं।
5. अधिक समय और पैसा सभी की मदद नहीं करता
शोधकर्ताओं ने एजेंटों को अधिक "प्रयास" (कोड को स्थानीय रूप से अधिक बार चलाना) और अधिक "सोचने की जगह" (अधिक आउटपुट टोकन) दी।
- स्मार्ट एजेंटों के लिए: अधिक प्रयासों का मतलब था कि वे अपने "अनुवादक रोबोटों" को तेज़ी से डीबग कर सके और अधिक समस्याओं को हल कर सके।
- कमजोर एजेंटों के लिए: उन्हें अधिक प्रयास देना वैसा ही था जैसे किसी ऐसे व्यक्ति को अधिक समय देना जिसे तैरना नहीं आता, उसे पूल में अधिक समय देने के लिए। वे बस डूबते रहे। उनके पास शुरुआत से ही सही रणनीति नहीं थी, इसलिए अतिरिक्त संसाधनों ने मदद नहीं की।
मुख्य निष्कर्ष (The Big Takeaway)
पेपर यह निष्कर्ष निकालता है कि एक "स्मार्ट" कोडिंग एजेंट का वास्तविक माप केवल यह नहीं है कि वह मानक भाषाओं को कितनी अच्छी तरह जानता है। यह अनुकूलन क्षमता (adaptability) के बारे में है।
जब पूरी तरह से नई, भ्रमित करने वाली प्रणाली (जैसे किसी नई कंपनी का आंतरिक सॉफ़्टवेयर, एक अजीब फ़ाइल प्रारूप, या एक विदेशी भाषा) के सामने आती है, तो सर्वश्रेष्ठ एजेंट घबराते नहीं हैं। वे जो वे जानते हैं और जो उन्हें करने की आवश्यकता है, उसके बीच एक पुल बनाने के लिए अपने उपकरणों का उपयोग करते हैं। वे नए नियमों का एक कामकाजी मॉडल तैयार करते हैं, उसका परीक्षण करते हैं, और उसे परिष्कृत करते हैं।
"अनुवादक रोबोट" (मेटाप्रोग्रामिंग) इसका सबसे स्पष्ट उदाहरण है। वास्तविक कौशल एक ऐसी रणनीति विकसित करने की क्षमता है जो नए नियमों के तहत काम करती है, न कि केवल पुराने अभ्यासों को एक नई समस्या पर थोपने की।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।