AI-PROPELLER: Warehouse-Scale Interprocedural Code Layout Optimization with AlphaEvolve
AI-PROPELLER ने मैजलन (Magellan) नामक एक एजेंटिक वर्कफ़्लो पेश किया है जो सटीक रिवॉर्ड सिग्नल के लिए वास्तविक हार्डवेयर निष्पादन का लाभ उठाकर, बड़े वेयरहाउस-स्केल अनुप्रयोगों के लिए पहले सफल फाइन-ग्रेंड इंटरप्रोसीजरल कोड लेआउट ऑप्टिमाइज़ेशन को प्राप्त करने हेतु प्रोपेलर पोस्ट-लिंक ऑप्टिमाइज़र को विकसित करता है, जिससे 0.23% से 1.6% तक प्रदर्शन सुधार प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक विशाल, अविश्वसनीय रूप से जटिल पुस्तकालय (एक कंप्यूटर प्रोग्राम) है जिसमें लाखों किताबें (फंक्शंस) और अरबों पन्ने (कोड निर्देश) हैं। वर्षों से, पुस्तकालयाध्यक्ष (ऑप्टिमाइज़र) इन किताबों को अलमारियों पर व्यवस्थित करने की कोशिश कर रहे हैं ताकि उन्हें ढूंढना आसान हो सके।
पुराना तरीका ऐसा था जैसे एक बार में केवल एक ही बुकशेल्फ़ को व्यवस्थित करना। यदि किसी किताब में 100 अध्याय थे, तो पुस्तकालयाध्यक्ष उन अध्यायों को फिर से व्यवस्थित करते थे ताकि सबसे लोकप्रिय अध्याय एक-दूसरे के ठीक बगल में हों। इसे इंट्राप्रोसेड्यूरल (intraprocedural) ऑप्टिमाइज़ेशन कहा जाता है। इसने मदद तो की, लेकिन इसने एक बड़ा अवसर छोड़ दिया: किताब A का सबसे लोकप्रिय अध्याय तुरंत किताब B के सबसे लोकप्रिय अध्याय के बाद आ सकता था। यदि वे दो किताबें कमरे के विपरीत छोरों पर होतीं, तो पाठक (कंप्यूटर प्रोसेसर) को पन्ना पलटने के लिए पूरे कमरे में दौड़ना पड़ता, जिससे समय और ऊर्जा बर्बाद होती।
AI-PROPELLER एक नया, सुपर-स्मार्ट पुस्तकालयाध्यक्ष सिस्टम है जो इस समस्या को हल करता है क्योंकि यह एक समय में एक बुकशेल्फ़ नहीं, बल्कि पूरे पुस्तकालय को एक साथ पुनर्व्यवस्थित करता है।
यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:
1. समस्या: "कॉम्बिनेटोरियल" दुःस्वप्न (The Combinatorial Nightmare)
एक किताब को पुनर्व्यवस्थित करना कठिन है। लाखों किताबों को इस तरह पुनर्व्यवस्थित करना कि हर एक लोकप्रिय पन्ना उस पन्ने के ठीक बगल में हो जो उसके बाद आता है (भले ही वह पन्ना किसी दूसरी किताब में हो) एक ऐसी गणितीय समस्या है जो इतनी बड़ी है कि मानव मस्तिष्क और पारंपरिक कंप्यूटर इसे हल नहीं कर सकते। यह एक स्टेडियम के 100,000 लोगों के लिए बैठने की आदर्श व्यवस्था खोजने जैसा है जहाँ हर कोई अपने सबसे अच्छे दोस्त के बगल में बैठना चाहता है, लेकिन दोस्त अलग-अलग सेक्शन में बिखरे हुए हैं।
इसके अलावा, पुराने पुस्तकालयाध्यक्षों ने "अंदाजे" (स्टैटिक मॉडल) का उपयोग किया यह तय करने के लिए कि चीजों को कहाँ रखा जाए। उन्होंने वास्तव में व्यवस्था का परीक्षण नहीं किया; उन्होंने केवल यह गणना की कि क्या काम करना चाहिए।
2. समाधान: "AI एजेंट" (मैजेलन - Magellan)
शोधकर्ताओं ने मैजेलन (Magellan) नामक एक सिस्टम का उपयोग किया, जो एक अथक, प्रयोगात्मक रोबोट टीम की तरह कार्य करता है। इस टीम के दो मुख्य कार्यकर्ता हैं:
- द आर्किटेक्ट (अल्फाइवॉल्व - AlphaEvolve): एक AI जो किताबों को व्यवस्थित करने के नियमों को लिखता और फिर से लिखता है। यह नए विचार आज़माता है, जैसे "क्या होगा अगर हम किताब A को तीन भागों में विभाजित करें और उसके बीच के भाग को किताब B के बगल में रख दें?"
- द ट्यूनर (विज़ियर - Vizier): एक टूल जो उन नियमों में विशिष्ट संख्याओं को सूक्ष्मता से ठीक करता है (जैसे "किताबों के बीच कितनी दूरी हो सकती है?")।
3. सफलता का राज: वास्तविक दुनिया का परीक्षण (कोई अनुमान नहीं)
यह सबसे महत्वपूर्ण हिस्सा है। AI द्वारा यह अनुमान लगाने के बजाय कि एक नई व्यवस्था कैसी होगी, यह सिस्टम वास्तव में पुस्तकालय बनाता है और उसका परीक्षण करता है।
- AI कोड की एक नई व्यवस्था बनाता है।
- यह प्रोग्राम को एक वास्तविक, काम करने वाले बाइनरी (जैसे सॉफ़्टवेयर का एक नया संस्करण बनाना) में कंपाइल करता है।
- यह वास्तविक कंप्यूटर हार्डवेयर पर इस नए संस्करण को चलाता है।
- यह वास्तविक प्रदर्शन काउंटरों (जैसे स्टॉपवॉच और फ्यूल गेज) का उपयोग करके सटीक रूप से मापता है कि यह कितनी तेज़ी से चलता है।
यह AI को एक "रिवॉर्ड सिग्नल" देता है। यदि नई व्यवस्था तेज़ है, तो AI को एक 'गोल्ड स्टार' मिलता है और वह वैसा ही करने के लिए सीखता है। यदि यह धीमी है, तो वह इस गलती से बचने के लिए सीखता है। क्योंकि उन्होंने इसे नियंत्रित वातावरण में वास्तविक हार्डवेयर पर परखा, इसलिए उनके परिणाम अविश्वसनीय रूप से सटीक हैं, न कि केवल सैद्धांतिक।
4. परिणाम: मामूली लाभ, विशाल प्रभाव
पेपर ने LLVM Clang कंपाइलर (एक टूल जिसका उपयोग अन्य सॉफ़्टवेयर बनाने के लिए किया जाता है) और एक विशाल Google Search सेवा सहित बड़े, वास्तविक दुनिया के सॉफ़्टवेयर पर इसका परीक्षण किया।
- Clang कंपाइलर: नए सिस्टम ने इसे 1.6% तेज़ बना दिया।
- Google Search सर्विस: इसने सर्च सर्विस को 0.23% तेज़ बना दिया।
आप सोच सकते हैं, "0.23% कुछ भी नहीं है!" लेकिन विशाल डेटा सेंटरों की दुनिया में, यह एक छिपे हुए सोने की खान को खोजने जैसा है। यदि आप हर दिन अरबों खोजों पर 0.23% समय बचाते हैं, तो आप बिजली और सर्वर लागतों पर लाखों डॉलर बचाते हैं। यह एक धावक के दौड़ को 9.58 सेकंड बनाम 9.56 सेकंड में पूरा करने के बीच के अंतर जैसा है—एक छोटा सा अंश जो विश्व रिकॉर्ड और दूसरे स्थान के बीच का अंतर तय करता है।
5. यह वास्तव में कैसे काम करता है ( "स्प्लिटिंग" का तरीका)
पेपर एक विशिष्ट ट्रिक को उजागर करता है जिसे AI ने खोजा है।
- पुराना तरीका: यदि किसी फंक्शन (कोड का एक हिस्सा) का एक "हॉट" (अक्सर उपयोग किया जाने वाला) भाग और एक "कोल्ड" (दुर्लभ उपयोग किया जाने वाला) भाग है, तो पुराना सिस्टम उस फंक्शन को दो भागों में विभाजित कर देता था: हॉट एक शेल्फ पर, कोल्ड दूसरी शेल्फ पर।
- AI-PROPELLER का तरीका: AI ने महसूस किया कि कभी-कभी, एक फंक्शन को तीन या अधिक टुकड़ों में विभाजित करने की आवश्यकता होती है। उसने पाया कि फंक्शन A के एक विशिष्ट "हॉट" हिस्से को फंक्शन B के एक "हॉट" हिस्से के ठीक बगल में रखा जाना चाहिए, भले ही वे अलग-अलग फाइलों में हों। यह अनिवार्य रूप से कोड को छोटे, सटीक पहेली के टुकड़ों में काटता है और उन्हें फिर से जोड़ता है ताकि सबसे अधिक उपयोग किए जाने वाले टुकड़े हमेशा एक-दूसरे के संपर्क में रहें, चाहे वे मूल रूप से किस भी "किताब" से आए हों।
सारांश
AI-PROPELLER पहला सिस्टम है जिसने औद्योगिक स्तर के विशाल सॉफ़्टवेयर के भीतर फंक्शन सीमाओं के पार कोड को पुनर्व्यवस्थित करने के लिए AI का सफलतापूर्वक उपयोग किया है। यह केवल अनुमान नहीं लगाता; यह वास्तविक हार्डवेयर से सीखता है, बनाता है, परीक्षण करता है और सीखता है। ऐसा करके, यह उस सॉफ़्टवेयर से अतिरिक्त प्रदर्शन (0.23% से 1.6%) निकालता है जिसे पहले से ही "पूरी तरह से अनुकूलित" माना जाता था, यह साबित करता है कि परिपक्व सिस्टम में भी अभी भी छिपा हुआ तेज़ प्रदर्शन मौजूद है यदि आप केवल एक हिस्से के बजाय पूरी तस्वीर को देखते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।