Regression Language Models for Code
यह शोध पत्र एक एकीकृत, हल्के रिग्रेशन लैंग्वेज मॉडल (RLM) को प्रस्तुत करता है जो विभिन्न प्रोग्रामिंग भाषाओं और हार्डवेयर प्लेटफॉर्म्स में मेमोरी फुटप्रिंट, लेटेंसी और एक्यूरेसी सहित विविध कोड निष्पादन मेट्रिक्स की सटीक भविष्यवाणी करने के लिए एक फ्रोजन (frozen) LLM एनकोडर का लाभ उठाता है, जो बिना किसी कार्य-विशिष्ट अनुकूलन के पूर्व फीचर-इंजीनियर्ड और ग्राफ-आधारित दृष्टिकोणों से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास दर्जनों अलग-अलग भाषाओं (जैसे पायथन, C++, या यहाँ तक कि ग्राफिक्स कार्ड के लिए विशेष भाषाएँ) में लिखे गए कंप्यूटर प्रोग्रामों का एक विशाल पुस्तकालय है। आमतौर पर, यदि आप यह जानना चाहते हैं कि एक प्रोग्राम कितनी मेमोरी लेगा, इसे चलने में कितना समय लगेगा, या एक न्यूरल नेटवर्क कितना सटीक होगा, तो आपको उस कोड को कंप्यूटर पर वास्तव में चलाना पड़ता है। यह धीमा, महंगा और कभी-कभी असंभव होता है यदि आपने अभी तक हार्डवेयर नहीं बनाया है।
एक लंबे समय तक, विशेषज्ञों ने कोड को चलाए बिना इन नंबरों की भविष्यवाणी करने के लिए विशेष "क्रिस्टल बॉल्स" (भविष्य बताने वाले यंत्र) बनाने की कोशिश की: लेकिन ये क्रिस्टल बॉल्स कस्टम-मेड टूल्स की तरह थीं: यदि आपको पायथन के लिए मेमोरी की भविष्यवाणी करनी थी, तो आपको एक टूल चाहिए था; यदि आपको ग्राफिक्स कार्ड के लिए गति की भविष्यवाणी करनी थी, तो आपको बिल्कुल अलग टूल चाहिए था। उन्हें कोड को मैन्युअल रूप से खंगालने, विशिष्ट कमांड गिनने और कोड को जटिल चार्ट और ग्राफ में बदलने की आवश्यकता होती थी ताकि उन्हें कैलकुलेटर में फीड किया जा सके। यदि कोड थोड़ा भी बदल जाता, तो वह टूल अक्सर टूट जाता था।
कोड के लिए नया "यूनिवर्सल ट्रांसलेटर" (सार्वकी अनुवादक)
यह पेपर एक नए प्रकार के AI को पेश करता है जिसे रिग्रेशन लैंग्वेज मॉडल (RLM) कहा जाता है। इसे एक कैलकुलेटर के रूप में नहीं, बल्कि एक सुपर-ट्रांसलेटर के रूप में सोचें जो "कंप्यूटर कोड" और "नंबरों" दोनों की भाषा समझता है।
यह कैसे काम करता है, सरल उपमाओं का उपयोग करते हुए:
1. "फ्रोजन ब्रेन" और "क्रिएटिव राइटर"
यह मॉडल दो भागों वाली एक टीम की तरह बनाया गया है:
- द फ्रोजन ब्रेन (एनकोडर): यह एक प्री-ट्रेंड AI (T5Gemma नामक मॉडल पर आधारित) है जिसने पहले ही लाखों किताबें और कोड की लाइनें पढ़ी हैं। यह वाक्यों और कोड की संरचना को पूरी तरह से समझता है। शोधकर्ताओं ने इस हिस्से को "फ्रीज" कर दिया है, जिसका अर्थ है कि उन्होंने इसे कुछ भी नया नहीं सिखाया। यह केवल एक स्मार्ट रीडर के रूप में कार्य करता है जो समझता है कि कोड क्या कह रहा है।
- द क्रिएटिव राइटर (डिकोडर): यह वह हिस्सा है जिसे वास्तव में प्रशिक्षित किया गया है। कहानी लिखने के बजाय, इस लेखक का काम यह देखना है कि "ब्रेन" ने जो कोड पढ़ा है, उसके आधार पर एक नंबर को वाक्य के अगले शब्द के रूप में लिखना है।
उपमा: कल्पना कीजिए कि आप एक रेसिपी (कोड) पढ़ रहे हैं। एक सामान्य AI सामग्री की सूची का अनुमान लगाने की कोशिश कर सकता है। यह नया AI उस रेसिपी को देखता है और कहता है, "इस टेक्स्ट के आधार पर, अगला शब्द '500' (कैलोरी) है।" यह एक नंबर (जैसे मेमोरी उपयोग या गति) की भविष्यवाणी करने को बिल्कुल एक वाक्य को पूरा करने जैसा मानता है।
2. हर चीज़ के लिए एक ही टूल
सबसे बड़ी सफलता यह है कि यह एकल "यूनिवर्सल ट्रांसलेटर" एक साथ सब कुछ संभाल सकता है।
- यह पायथन कोड पढ़ सकता है और अनुमान लगा सकता है कि यह कितनी मेमोरी उपयोग करता है।
- यह C++ कोड पढ़ सकता है और अनुमान लगा सकता है कि इसे चलने में कितना समय लगेगा।
- यह एक न्यूरल नेटवर्क डिज़ाइन (ONNX नामक फॉर्मेट में लिखा गया) को पढ़ सकता है और अनुमान लगा सकता है कि यह एक विशिष्ट चिप पर कितना सटीक होगा या कितनी तेज़ी से चलेगा।
पहले, आपको प्रत्येक कार्य के लिए एक अलग "विशेषज्ञ" की आवश्यकता होती थी। यह मॉडल एक स्विस आर्मी नाइफ की तरह है जो मेमोरी विशेषज्ञ, स्पीड विशेषज्ञ और एक एक्यूरेसी विशेषज्ञ के बीच स्विच कर सकता है, बस टेक्स्ट को देखकर।
3. यह बिना गणित के कैसे "गिनता" है
इनमें से एक चतुर ट्रिक यह है कि मॉडल नंबरों को कैसे आउटपुट करता है। "72.5" आउटपुट करने के लिए जटिल गणित करने के बजाय, यह नंबर को छोटे-छोटे टुकड़ों में तोड़ देता है, जैसे कि एक डिजिटल लॉक।
- यह "72.5" नहीं कहता।
- यह कहता है: "प्लस साइन... 7... 2... डेसिमल पॉइंट... 5।"
- उपमा: कल्पना कीजिए कि आप एक बच्चे को गिनती सिखा रहे हैं। उन्हें "50 + 25" हल करने के लिए कहने के बजाय, आप उन्हें अंक दर अंक उत्तर लिखने के लिए कहते हैं: "5... 0... प्लस... 2... 5... बराबर... 7... 2... 5।" यह AI के लिए विशाल नंबरों (जैसे लाखों बाइट्स) या बहुत छोटे नंबरों को बिना भ्रमित हुए संभालने में बहुत आसान बनाता है।
4. यह पुराने तरीके से बेहतर क्यों है
- कोई मैन्युअल श्रम नहीं: पुराने तरीकों के लिए मनुष्यों को मैन्युअल रूप से फीचर्स (जैसे "लूप की संख्या गिनना") डिजाइन करने की आवश्यकता होती थी। यह मॉडल सीधे कच्चे टेक्स्ट (raw text) को पढ़ता है, ठीक वैसे ही जैसे एक इंसान किताब पढ़ता है।
- रैंकिंग में बेहतर: पेपर दिखाता है कि यदि आप इस मॉडल को एक ही कोड के 10 अलग-अलग संस्करण देते हैं, तो यह उन्हें "सबसे तेज़" से "सबसे धीमे" या "सबसे कम मेमोरी" से "सबसे अधिक मेमोरी" के क्रम में सॉर्ट करने में बहुत अच्छा है। यह एक जज की तरह है जो 10 धावकों को देख सकता है और बिना स्टॉपवॉच के तुरंत जान सकता है कि कौन जीतेगा।
- लागत: शोधकर्ताओं ने पाया कि इस मॉडल का उपयोग करना विशाल, सामान्य-उद्देश्य वाले AI चैटबॉट्स (जैसे GPT-5) से नंबरों का अनुमान लगाने की तुलना में बहुत सस्ता है। चैटबॉट्स एक अखरोट तोड़ने के लिए हथौड़े के उपयोग की तरह हैं; वे महंगे हैं और अक्सर गलत होते हैं। यह मॉडल एक विशेष, हल्का टूल है जो बहुत कम लागत में काम पूरा करता है।
उन्होंने वास्तव में क्या साबित किया
उन्होंने इसे निम्नलिखित पर टेस्ट किया:
- CodeNet: 37 अलग-अलग भाषाओं में लाखों कोड स्निपेट्स वाला एक विशाल डेटासेट। मॉडल ने उन सभी में मेमोरी उपयोग की सफलतापूर्वक भविष्यवाणी की।
- APPS: कोडिंग चुनौतियों का एक सेट। मॉडल एक समाधान को देखकर उसके मेमोरी उपयोग की उच्च सटीकता के साथ भविष्यवाणी कर सका (वास्तविकता के साथ 90% से अधिक सहसंबंध)।
- न्यूरल नेटवर्क: इसने जटिल ग्राफ डायग्राम का उपयोग करने वाले पिछले स्टेट-ऑफ-द-आर्ट तरीकों से बेहतर तरीके से AI डिज़ाइनों की गति और सटीकता की भविष्यवाणी की।
संक्षेप में:
पेपर का दावा है कि हमें यह अनुमान लगाने के लिए जटिल, कस्टम टूल बनाने की आवश्यकता नहीं है कि कोड कैसे प्रदर्शन करता है। इसके बजाय, हम कोड को एक कहानी की तरह और नंबरों को उस कहानी के अगले शब्द की तरह मान सकते हैं। ऐसा करने के लिए एक एकल, एकीकृत AI को प्रशिक्षित करके, हम लगभग किसी भी प्रोग्रामिंग भाषा और AI डिज़ाइन के लिए मेमोरी, गति और सटीकता की भविष्यवाणी कर सकते हैं, केवल टेक्स्ट को पढ़कर। यह एक कठिन गणितीय समस्या को एक सरल "आगे क्या आएगा?" खेल में बदल देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।