SuperCoder: Assembly Program Superoptimization with Large Language Models
यह शोधपत्र SuperCoder को प्रस्तुत करता है, जो असेंबली सुपरऑप्टिमाइज़ेशन के लिए एक लार्ज लैंग्वेज मॉडल-आधारित दृष्टिकोण है, जो एक नए बड़े पैमाने के बेंचमार्क के निर्माण और सुदृढीकरण शिक्षण (रिनफोर्समेंट लर्निंग) फाइन-ट्यूनिंग के माध्यम से, 95% शुद्धता और उद्योग-मानक कंपाइलरों पर 1.46x की गति वृद्धि प्राप्त करता है, जो पारंपरिक ह्यूरिस्टिक्स से परे प्रोग्राम प्रदर्शन अनुकूलन के लिए एलएलएम (LLMs) की व्यवहार्यता को प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास केक की एक ऐसी रेसिपी है जिसे एक विश्व स्तरीय शेफ ने पहले ही सिद्ध कर लिया है। शेफ ने हर सामग्री को मापा है, सबसे अच्छा ओवन तापमान चुना है, और बेकिंग का समय सेकंड तक सटीक रखा है। यह आपका "अनुकूलित" (optimized) कोड है, जिसे एक मानक कंप्यूटर कंपाइलर (जैसे gcc -O3) द्वारा बनाया गया है।
अब, कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन अनुभवहीन प्रशिक्षु (एक लार्ज लैंग्वेज मॉडल, या LLM) से कहते हैं कि उस बेहतरीन रेसिपी को देखें और कहें, "मैं इस केक को और भी तेज़ी से बना सकता हूँ।"
यह बिल्कुल वही है जिसकी जांच SuperCoder करता है। यहाँ उनके प्रयोग की कहानी सरल रूप में दी गई है।
चुनौती: मास्टर शेफ को मात देना
दशकों से, कंप्यूटर वैज्ञानिक ऐसे प्रोग्राम लिखने की कोशिश कर रहे हैं जो स्वचालित रूप से चीजों को करने का सबसे तेज़ तरीका खोज सकें। इसे सुपरऑप्टिमाइज़ेशन (Superoptimization) कहा जाता है।
- पुराना तरीका: पिछले प्रयास एक एकल वाक्य को अनुकूलित करने जैसा थे। वे बिना किसी लूप (दोहराव वाली क्रियाओं) के केवल बहुत छोटे, सरल कार्यों को ही संभाल सकते थे। यह एक सैंडविच को तेज़ी से बनाने की कोशिश करने जैसा था, लेकिन आप ब्रेड का दूसरा स्लाइस भी नहीं जोड़ सकते थे।
- नया लक्ष्य: लेखक चाहते थे कि यह देखें कि क्या आधुनिक AI एक पूरे "भोजन" (लूप और लॉजिक वाला एक जटिल प्रोग्राम) को अनुकूलित कर सकता है जो पहले से ही सर्वश्रेष्ठ पेशेवर शेफ (इंडस्ट्रियल कंपाइलर्स) द्वारा पकाया जा चुका है।
टूलकिट: एक विशाल नया खेल का मैदान
इसे टेस्ट करने के लिए, शोधकर्ताओं को केवल पुराने छोटे डेटासेट्स का उपयोग नहीं करना था। उन्हें अपने AI को प्रशिक्षित करने के लिए एक विशाल जिम की आवश्यकता थी।
- डेटासेट: उन्होंने 8,072 असेंबली प्रोग्रामों (वे निम्न-स्तरीय निर्देश जिन्हें कंप्यूटर वास्तव में चलाता है) की एक लाइब्रेरी बनाई।
- पैमाना: ये छोटे टुकड़े नहीं थे; इनका औसत 130 लाइन का कोड था और इनमें जटिल लूप शामिल थे। इसे एक सिंगल लेगो ब्रिक को अनुकूलित करने से लेकर एक पूरे किले को अनुकूलित करने की ओर बढ़ने के रूप में समझें।
- सुरक्षा जाल (Safety Net): उन्होंने हजारों "टेस्ट केस" (स्वाद परीक्षण की तरह) बनाए ताकि यह सुनिश्चित हो सके कि यदि AI रेसिपी बदलता है, तो भी केक का स्वाद बिल्कुल वैसा ही रहे, बस वह तेज़ी से पका हो।
प्रयोग: प्रशिक्षु को प्रशिक्षित करना
उन्होंने 23 अलग-अलग AI मॉडलों को लिया और उनसे असेंबली कोड को तेज़ी से लिखने के लिए कहा।
- प्रारंभिक परिणाम: अधिकांश AI इस काम में बहुत खराब थे। या तो उन्होंने ऐसा कोड लिखा जिससे सिस्टम क्रैश हो गया (केक टूट गया) या ऐसा कोड जो मूल कोड जितना ही धीमा था।
- स्टार परफॉर्मर: एक मॉडल, Claude-opus-4, सबसे अच्छा प्रदर्शन करने वाला रहा। उसने कोड को औसतन 1.43 गुना तेज़ बनाने में सफलता प्राप्त की, जबकि वह अभी भी सही ढंग से काम कर रहा था। यह 10 मिनट के बेकिंग समय को केक को खराब किए बिना 7 मिनट तक कम करने जैसा है।
गुप्त नुस्खा (Secret Sauce): रीइन्फोर्समेंट लर्निंग
शोधकर्ताओं को एहसास हुआ कि केवल AI से "बेहतर करने" के लिए कहना काफी नहीं था। उन्हें इसे एक वीडियो गेम के पात्र की तरह प्रशिक्षित करने की आवश्यकता थी।
- पुरस्कार प्रणाली (Reward System): उन्होंने रीइन्फोर्समेंट लर्निंग (Reinforcement Learning) नामक तकनीक का उपयोग किया।
- यदि AI ने ऐसा कोड लिखा जिससे क्रैश हो गया या गलत उत्तर मिला, तो उसे शून्य अंक मिले।
- यदि कोड काम कर गया, तो उसे इस आधार पर अंक मिले कि वह कितना तेज़ था।
- परिणाम: उन्होंने एक ठोस मॉडल (Qwen2.5-Coder-7B) लिया और इस पुरस्कार प्रणाली के साथ उसे प्रशिक्षित किया।
- प्रशिक्षण से पहले: यह 61% बार सही था और केवल 10% तेज़ था।
- प्रशिक्षण के बाद (SuperCoder): यह 95% बार सही हो गया और औसतन 46% तेज़ हो गया।
उन्होंने रत्न को कैसे तराशा
प्रशिक्षण के बाद भी, उन्होंने और भी बेहतर परिणाम पाने के लिए दो चतुर तरीकों का उपयोग किया:
- Best-of-N Sampling: AI से एक उत्तर मांगने के बजाय, उन्होंने इसे 8 अलग-अलग संस्करण बनाने के लिए कहा और सबसे अच्छे वाले को चुना। इसने गति वृद्धि (speedup) को और भी बढ़ा दिया।
- पुनरावृत्ति परिशोधन (Iterative Refinement): यदि AI ने कोई गलती की, तो उन्होंने उसे त्रुटि संदेश दिखाया और पूछा, "फिर से कोशिश करें, लेकिन इसे ठीक करें।" AI ने इस फीडबैक का उपयोग करके खुद को सुधारा, और हर प्रयास के साथ स्मार्ट होता गया।
AI ने वास्तव में क्या बदला?
जब शोधकर्ताओं ने देखा कि AI ने कोड को तेज़ बनाने के लिए क्या किया, तो उन्होंने पाया कि वह निम्नलिखित कार्य कर रहा था:
- लूप पुनर्गठन (Loop Restructuring): चरणों के क्रम को अधिक कुशल बनाने के लिए उन्हें फिर से व्यवस्थित करना।
- निर्देश चयन (Instruction Selection): एक लंबे, धीमे निर्देश को एक छोटे, विशेषीकृत CPU ट्रिक से बदलना (जैसे कि एक गुप्त शॉर्टकट का उपयोग करना)।
- अनावश्यक चीज़ों को हटाना (Removing Bloat): उन सुरक्षा जाँचों या जटिल गणित को हटाना जिन्हें कंपाइलर ने रखा था लेकिन उस विशिष्ट कार्य के लिए आवश्यक नहीं थे।
निचोड़ (The Bottom Line)
यह पेपर पहली बार यह सिद्ध करता है कि AI एक सुपरऑप्टिमाइज़र (superoptimizer) के रूप में कार्य कर सकता है। यह दुनिया के सर्वश्रेष्ठ मानव-निर्मित कंपाइलर द्वारा पहले से अनुकूलित किए गए कोड को ले सकता है और उसे बिना तोड़े और भी तेज़ बनाने के तरीके खोज सकता है।
उन्होंने केवल अनुमान नहीं लगाया; उन्होंने एक विशाल परीक्षण क्षेत्र बनाया, एक सख्त पुरस्कार प्रणाली के साथ AI को प्रशिक्षित किया, और दिखाया कि सही प्रशिक्षण के साथ, AI वर्तमान "गोल्ड स्टैंडर्ड" के अनुकूलन को भी पीछे छोड़ सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।