🤖 machine learning

Toward Compiler World Models: Learning Latent Dynamics for Efficient Tensor Program Search

यह शोधपत्र एक वर्ल्ड-मॉडल-प्रेरित इवैल्यूएटर (evaluator) प्रस्तावित करता है जो टेंसर प्रोग्राम उम्मीदवारों को कुशलतापूर्वक रैंक करने के लिए शेड्यूलिंग क्रियाओं की लेटेंट डायनेमिक्स (latent dynamics) सीखता है, जिससे अनसोर (Ansor) जैसे मौजूदा ऑटो-शेड्यूलर्स की तुलना में महत्वपूर्ण लेटेंसी सुधार प्राप्त होता है और आवश्यक मापों की संख्या में भारी कमी आती है।

मूल लेखक: Haolin Pan, Lianghong Huang, Xvlin Zhou, Mingjie Xing, Yanjun Wu

प्रकाशित 2026-06-09

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Haolin Pan, Lianghong Huang, Xvlin Zhou, Mingjie Xing, Yanjun Wu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप अपने घर से अपने दोस्त के घर तक जाने के लिए सबसे तेज़ रास्ता खोजने की कोशिश कर रहे हैं। आपके पास एक नक्शा है, लेकिन ट्रैफिक की स्थिति लगातार बदलती रहती है, और आपके पास जाने के लिए लाखों संभावित रास्ते हो सकते हैं।

कंप्यूटर साइंस की दुनिया में, विशेष रूप से मशीन लर्निंग (Machine Learning) के लिए, एक "कंपाइलर" (compiler) ठीक यही करता है। यह कंप्यूटर के लिए जटिल गणितीय कार्यों (जिन्हें "टेन्सर प्रोग्राम्स" कहा जाता है) को करने का सबसे कुशल तरीका खोजने की कोशिश करता है। समस्या यह है कि कोड लिखने के इतने सारे तरीके हैं कि उन्हें कंप्यूटर पर चलाकर देखना बहुत धीमा और महंगा है। यह हर एक संभावित रास्ते पर गाड़ी चलाने की कोशिश करने जैसा है ताकि यह देखा जा सके कि कौन सा सबसे तेज़ है; इससे पहले कि आप सबसे अच्छा रास्ता ढूंढ पाते, आपका ईंधन खत्म हो जाएगा।

पुराना तरीका: एक स्नैपशॉट लेना

पहले, कंप्यूटर प्रोग्राम जो इस समस्या को हल करने की कोशिश करते थे (जिन्हें "ऑटो-शेड्यूलर्स" कहा जाता था), वे अंतिम गंतव्य की एक तस्वीर (स्नैपशॉट) लेने वाले फोटोग्राफर की तरह काम करते थे। वे तैयार कोड को देखते थे, अनुमान लगाते थे कि वह कितना तेज़ होगा, और फिर तय करते थे कि वह अच्छा है या नहीं।

पेपर में तर्क दिया गया है कि यह एक बुरा विचार है क्योंकि:

यह यात्रा को अनदेखा करता है: यह नहीं समझता कि कोड वहां कैसे पहुँचा। दो अलग-अलग रास्ते एक ही स्थान पर समाप्त हो सकते हैं, लेकिन एक रास्ता एक सुगम हाईवे रहा होगा जबकि दूसरा एक ऊबड़-खाबड़ कच्ची सड़क। स्नैपशॉट दोनों को एक जैसा देखता है, लेकिन अनुभव (और गति) अलग होती है।
यह छोटी बारीकियों से भ्रमित हो जाता है: यदि आप कोड में कुछ ऐसे शब्द बदलते हैं जो वास्तव में उसके काम करने के तरीके को नहीं बदलते, तो पुराना सिस्टम सोच सकता है कि यह एक पूरी तरह से अलग (और बदतर) रास्ता है।

नया विचार: एक "वर्ल्ड मॉडल" (GPS सिम्युलेटर)

लेखक एक नया दृष्टिकोण प्रस्तावित करते हैं जो वर्ल्ड मॉडल्स (World Models) से प्रेरित है। इसे एक फोटोग्राफर के बजाय, एक हाई-टेक जीपीएस सिम्युलेटर के रूप में सोचें।

केवल अंतिम गंतव्य को देखने के बजाय, यह नया सिस्टम अपने "मन" में (एक गणितीय स्थान जिसे "लेटेंट स्पेस" कहा जाता है) चरण-दर-चरण पूरी यात्रा का अनुकरण (simulate) करता है।

यह कैसे काम करता है, खाना पकाने के उदाहरण से समझें:

सामग्री (प्रारंभिक अवस्था): आपके पास एक कच्ची रेसिपी (अन-ऑप्टिमाइज्ड कोड) है।
शेफ के कदम (एक्शन): कंपाइलर निर्णय लेता है, जैसे "प्याज काटें," "5 मिनट तक भूनें," या "नमक डालें।"
पुराना तरीका: शेफ अंतिम व्यंजन को देखता है और अनुमान लगाता है, "हम्म, इसका स्वाद ठीक लग रहा है।"
नया तरीका (वर्ल्ड मॉडल): शेफ के पास एक मानसिक सिमुलेशन है। वह कल्पना करता है: "अगर मैं प्याज को पहले काटूँ और फिर भूनूँ, तो बनावट X होगी। अगर मैं पहले भूनूँ और फिर काटूँ, तो बनावट Y होगी।" वह पूरे भोजन को वास्तव में बनाने से पहले, अपने दिमाग में खाना पकाने की प्रक्रिया का अनुकरण करता है ताकि अंतिम स्वाद का अनुमान लगाया जा सके।

उन्होंने इसे कैसे बनाया

शोधकर्ताओं ने तीन भागों वाला एक सिस्टम बनाया है:

अनुवादक (एनकोडर - Encoder): यह बिखरे हुए कंप्यूटर कोड को एक साफ, गणितीय "विचार" (एक वेक्टर) में बदल देता है जिसे कंप्यूटर आसानी से समझ सकता है।
सिम्युलेटर (ट्रांजिशन मॉडल - Transition Model): यह मुख्य नवाचार है। यह वर्तमान कोड के "विचार" को लेता है और एक-एक करके "शेफ के कदमों" (शेड्यूलिंग क्रियाओं) को लागू करता है। यह भविष्यवाणी करता है कि कोड प्रत्येक चरण के बाद कैसा दिखेगा, और यह सब कंप्यूटर की मेमोरी के भीतर होता है, बिना वास्तव में कोड को चलाए।
जज (रैंकिंग मॉडल - Ranking Model): एक बार सिमुलेशन पूरा हो जाने के बाद, जज अनुमानित अंतिम परिणाम को देखता है और कहता है, "यह रास्ता संभवतः सबसे तेज़ है," या "वह वाला धीमा लग रहा है।"

परिणाम

उन्होंने दो प्रकार के कंप्यूटरों पर इसका परीक्षण किया: एक शक्तिशाली CPU (Intel Xeon) और एक हाई-एंड ग्राफिक्स कार्ड (NVIDIA RTX 4090)।

तेज़ परिणाम: उन्होंने पिछले सबसे अच्छे तरीके (जिसे An "Ansor" कहा जाता है) की तुलना में बेहतर कोड शेड्यूल बहुत तेज़ी से खोजे।
कम काम: उन्होंने पुराने तरीके के समान ही अच्छे परिणाम प्राप्त किए, लेकिन उन्हें केवल 10 गुना कम "टेस्ट ड्राइव" (मापन) चलाने पड़े।
वास्तविक दुनिया की गति: जब उन्होंने इसका उपयोग वास्तविक AI मॉडल (जैसे इमेज रिकग्निशन या लैंग्वेज मॉडल) चलाने के लिए किया, तो प्रोग्राम मानक संस्करणों की तुलना में 4 से 5 गुना तेज़ चले, और कुछ मामलों में, 58 गुना तक तेज़।

मुख्य निष्कर्ष

पेपर का दावा है कि कंप्यूटर को केवल परिणाम (स्नैपशॉट) के बजाय अनुकूलन की प्रक्रिया (यात्रा) को समझने की शिक्षा देकर, हम बहुत अधिक कुशलता से सबसे तेज़ कोड पा सकते हैं। यह एक ऐसे GPS की तरह है जो सबसे अच्छा रास्ता खोजने के लिए अपने दिमाग में ट्रैफिक का अनुकरण करता है, बजाय इसके कि वह केवल गंतव्य की एक फोटो के आधार पर अनुमान लगाए।

पेपर में बताई गई सीमाएँ:

यह सिस्टम एक "जज" है जो सबसे अच्छा रास्ता चुनने में मदद करता है; यह खुद रास्ते नहीं बनाता है। यदि सर्च इंजन शुरुआत में ही कोई अच्छे रास्ते प्रस्तावित नहीं करता है, तो जज उन्हें ठीक नहीं कर सकता।
यदि "यात्रा" अत्यंत लंबी और जटिल है, तो कंप्यूटर के दिमाग में चल रहा सिमुलेशन छोटी गलतियाँ कर सकता है जो जुड़कर बड़ी हो जाती हैं, जिससे भविष्यवाणी कम सटीक हो सकती है।
इसे विकल्पों की तुलना करने (कौन सा तेज़ है?) के लिए डिज़ाइन किया गया है, न कि मिलीसेकंड तक सटीक समय बताने के लिए।

तकनीकी सारांश: कंपाइलर वर्ल्ड मॉडल्स की ओर

समस्या विवरण

टेन्सर प्रोग्राम अनुकूलन (Tensor program optimization) आधुनिक मशीन लर्निंग सिस्टम के लिए आवश्यक है, फिर भी सबसे कुशल प्रोग्राम की पहचान करना एक विशाल कॉम्बिनेटोरियल सर्च स्पेस (combinatorial search space) के कारण कठिन हो जाता है। ऑन-डिवाइस मापन की अत्यधिक लागत से बचने के लिए, मौजूदा ऑटो-शेड्यूलर्स (जैसे Ansor, AutoTVM) उम्मीदवारों को रैंक करने के लिए सीखे गए कॉस्ट मॉडल्स पर निर्भर करते हैं। हालांकि, ये मॉडल आमतौर पर उम्मीदवारों को स्थिर कोड स्नैपशॉट्स (जैसे अंतिम TensorIR टेक्स्ट) के रूप में देखते हैं।

यह स्थिर परिप्रेक्ष्य दो महत्वपूर्ण सीमाओं को जन्म देता है:

रूपांतरण संदर्भ का नुकसान (Loss of Transformation Context): यह उस चरण-दर-चरण रूपांतरण प्रक्रिया की उपेक्षा करता है जिसने प्रोग्राम को उत्पन्न किया है। फलस्वरूप, मूल्यांकनकर्ता (evaluators) यह नहीं समझ पाते कि बाद के चरण में लिया गया शेड्यूलिंग निर्णय, पहले के निर्णयों द्वारा स्थापित संदर्भ पर कैसे निर्भर करता है।
सिंटैक्टिक शोर के प्रति संवेदनशीलता (Sensitivity to Syntactic Noise): स्टैटिक एनकोडर्स सतही कोड विविधताओं से आसानी से भ्रमित हो जाते हैं। उदाहरण के लिए, दो संरचनात्मक रूप से समान प्रोग्राम (जैसे लूप साइज $N=1024$ बनाम $N=1023$ के साथ मैट्रिक्स गुणन) बाउंड्री हैंडलिंग (लूप पीलिंग) के कारण काफी भिन्न TensorIR टेक्स्ट उत्पन्न कर सकते हैं, जिससे मॉडल उनकी प्रदर्शन क्षमता को गलत वर्गीकृत कर सकता है, भले ही उनका हार्डवेयर व्यवहार समान हो।

कार्यप्रणाली (Methodology)

लेखक एक कंपाइलर वर्ल्ड मॉडल (Compiler World Model) फ्रेमवर्क प्रस्तावित करते हैं जो शेड्यूल मूल्यांकन को प्रोग्राम अवस्थाओं (program states) पर एक्शन-कंडीशन्ड लेटेंट डायनेमिक्स (action-conditioned latent dynamics) के रूप में पुनर्गठित करता है। अंतिम स्थिर कोड आर्टिफैक्ट का मूल्यांकन करने के बजाय, यह फ्रेमवर्क एक निरंतर लेटेंट स्पेस के माध्यम से प्रोग्राम अवस्था के विकास का अनुकरण करता है।

फ्रेमवर्क में तीन सीखे गए घटक शामिल हैं जिन्हें TVM ऑटो-शेड्यूलर के भीतर स्थापित किया गया है:

1. टेन्सर प्रोग्राम स्टेट रिप्रेजेंटेशन (एनकोडर)

इनपुट: TensorIR टेक्स्ट (प्री-शेड्यूल और पोस्ट-शेड्यूल दोनों अवस्थाएं)।
आर्किटेक्चर: एक ट्रेन करने योग्य CodeBERT-आधारित आर्किटेक्चर जिसे लंबे इनपुट्स के लिए अनुकूलित किया गया है। यह ओवरलैपिंग चंक्स को टोकनाइज़ और एनकोड करने के लिए स्लाइडिंग विंडो का उपयोग करता है, और उन्हें मास्क मीन पूलिंग के माध्यम से एक सघन वेक्टर प्रतिनिधित्व $z = E(s)$ में एकत्रित करता है।
प्रशिक्षण: यह समान TensorIR अवस्थाओं (एक ही वर्कलोड स्रोत से) को लेटेंट स्पेस में एक साथ लाने और असमान अवस्थाओं को दूर धकेलने के लिए कंट्रास्टिव लर्निंग का उपयोग करता है। यह एक ऐसा स्टेट स्पेस बनाता है जहाँ सिंटैक्टिक विविधताओं के बावजूद सिमेंटिक समानता बनी रहती है।

2. एक्शन-कंडीशन्ड मल्टी-स्टेप स्टेट ट्रांज़िशन

लक्ष्य: मध्यवर्ती ASTs को स्पष्ट रूप से भौतिक रूप (materialize) दिए बिना, शेड्यूलिंग क्रियाओं के एक अनुक्रम द्वारा प्रेरित टर्मिनल-स्टेट रिप्रेजेंटेशन की भविष्यवाणी करना।
तंत्र: एक प्रारंभिक अवस्था एम्बेडिंग $z_0$ $z_{0}$ से शुरू होकर, मॉडल शेड्यूलिंग एक्शन अनुक्रम $a_{1:T}$ $a_{1 : T}$ के प्रभाव को चरण-दर-चरण रोल आउट करता है।
- क्रियाओं (actions) को सीरियलाइज किया जाता है और सघन एम्बेडिंग्स में एनकोड किया जाता है।
- एक ट्रांज़िशन मॉडल $F(\cdot)$ , जो कि TransH-आधारित आर्किटेक्चर (मूल रूप से नॉलेज ग्राफ रिप्रेजेंटेशन लर्निंग से) का उपयोग करता है, अगली लेटेंट अवस्था की भविष्यवाणी करता है: $z_t = F(z_{t-1}, a_t)$ ।
- यह शेड्यूलिंग क्रियाओं को संबंध-विशिष्ट हाइपरप्लेन (relation-specific hyperplane) में ज्यामितीय रूपांतरण के रूप में मॉडल करता है, जिससे निर्णय के मूल (decision provenance) को ट्रैक करना और रेफरेंशियल अस्पष्टता (जैसे फ्यूजन के बाद एक लूप वेरिएबल क्या दर्शाता है) को हल करना संभव होता है।
प्रशिक्षण: इसमें स्टेट-मैचिंग टर्म (ग्राउंड-ट्रुथ भविष्य की अवस्थाओं से दूरी को कम करना) और मार्जिन-आधारित रैंकिंग टर्म (यह सुनिश्चित करना कि अनुमानित अवस्था ग्राउंड ट्रुथ की तुलना में नेगेटिव सैंपल्स से अधिक करीब है) वाला मल्टी-स्टेप रोलआउट लॉस शामिल है।

3. रैंकिंग-आधारित कैंडिडेट इवैल्यूएशन

इनपुट: अनुमानित टर्मिनल-स्टेट रिप्रेजेंटेशन $\hat{z}_T$ , स्ट्रक्चर्ड एक्शन फीचर्स (जैसे एक्शन काउंट, सीक्वेंस लेंथ), और वैकल्पिक हार्डवेयर फीचर्स।
आउटपुट: एक ही वर्कलोड के भीतर सापेक्ष उम्मीदवार प्राथमिकता के लिए एक स्केलर स्कोर।
आर्किटेक्चर: एक LambdaRank ऑब्जेक्टिव के साथ प्रशिक्षित XGBoost रैंकिंग मॉडल।
प्रशिक्षण रणनीति: यह मॉडल पूर्ण रनटाइम की भविष्यवाणी नहीं करता है। इसके बजाय, यह मापे गए निष्पादन समय के आधार पर एक वर्कलोड समूह के भीतर उम्मीदवारों को रैंक करने के लिए सीखता है, जिससे यह लर्निंग-टू-रैंक कार्य के रूप में कार्य करता है।

मुख्य योगदान

कंपाइलर्स के लिए वर्ल्ड-मॉडल परिप्रेक्ष्य: यह पेपर टेन्सर ऑप्टिमाइज़ेशन के लिए वर्ल्ड-मॉडल प्रतिमान को अनुकूलित करता है, एक ऐसा फ्रेमवर्क स्थापित करता है जहाँ उम्मीदवार शेड्यूल्स को स्थिर स्नैपशॉट्स के बजाय एक्शन-कंडीशन्ड लेटेंट स्टेट इवोल्यूशन के माध्यम से मॉडल किया जाता है।
एक्शन-स्टेट ट्रेजेक्टरी डेटासेट: एक TVM/TenSet-आधारित डेटासेट का निर्माण जो ट्यूनिंग लॉग्स को संरेखित एक्शन-स्टेट ट्रेजेक्टरीज (प्री-शेड्यूल स्टेट, एक्शन सीक्वेंस, इंटरमीडिएट स्टेट्स, पोस्ट-शेड्यूल स्टेट) में व्यवस्थित करता है।
कुशल खोज एकीकरण: TVM ऑटो-शेड्यूलर में इस फ्रेमवर्क का कार्यान्वयन, जो यह प्रदर्शित करता है कि लेटेंट डायनेमिक्स को मॉडल करने से उच्च खोज गुणवत्ता बनाए रखते हुए ऑटोट्यूनिंग लागत काफी कम हो जाती है।

प्रयोगात्मक परिणाम

इस पद्धति का मूल्यांकन सात न्यूरल नेटवर्क मॉडल्स (ResNet, BERT, GPT, और OPT सहित) और 103 निकाले गए सबग्राफ्स पर Intel Xeon Gold 6430 CPU और NVIDIA RTX 4090 GPU पर किया गया।

Ansor के विरुद्ध प्रदर्शन: 64-ट्रायल बजट के तहत, यह विधि प्रतिनिधि-सबग्राफ लेटेंसी में Ansor की तुलना में GPU पर 1.37× और CPU पर 1.54× का सुधार करती है।
सैंपल दक्षता (Sample Efficiency): यह विधि केवल 1,000 ट्रायल्स (10× कम माप) का उपयोग करके Ansor-10K (10,000 ट्रायल्स) के तुलनीय खोज गुणवत्ता प्राप्त करती है। विशेष रूप से, यह अरिथमेटिक मीन में Ansor-10K से थोड़ा बेहतर प्रदर्शन करती है और प्रतिनिधि सबग्राफ्स पर ज्यामितिक मीन (geometric mean) में 2.2% के भीतर मेल खाती है।
एंड-टू-एंड स्पीडअप: PyTorch/PyTorch-opt (cuDNN) की तुलना में, यह विधि ज्यामितिक मीन स्पीडअप 4.61× (CPU) और 3.67× (GPU) प्रदान करती है, जिसमें पीक स्पीडअप 58.61× तक पहुँच जाता है।
एब्लेशन स्टडीज (Ablation Studies): सीखे गए ट्रांज़िशन मॉड्यूल को हटाने (स्थिर प्रारंभिक या अंतिम अवस्था एनकोडिंग पर वापस जाने) से महत्वपूर्ण लेटेंसी वृद्धि हुई, जो पुष्टि करती है कि मध्यवर्ती अवस्था के विकास को मॉडल करना सबसे महत्वपूर्ण घटक है।

महत्व और सीमाएँ

महत्व:
पेपर यह तर्क देता है कि कंपाइलर ऑप्टिमाइज़ेशन को स्टेट ट्रांज़िशन की एक गतिशील प्रक्रिया के रूप में देखने से (न कि एक स्थिर कोड मूल्यांकन समस्या के रूप में), शेड्यूलिंग निर्णयों के बीच सिमेंटिक निर्भरताओं को कैप्चर करना संभव होता है। यह दृष्टिकोण प्रभावी रूप से सिंटैक्टिक शोर को दबाता है और रेफरेंशियल अस्पष्टता को हल करता है, जिससे कम हार्डवेयर माप के साथ अधिक कुशल खोज होती है।

सीमाएँ (लेखकों द्वारा बताई गई):

सर्च स्पेस पर निर्भरता: यह विधि उम्मीदवार मूल्यांकन में सुधार करती है, जनरेशन में नहीं। इसकी प्रभावशीलता अंतर्निहित शेड्यूलर की मजबूत शेड्यूल्स प्रस्तावित करने की क्षमता द्वारा सीमित है; एक बेहतर इवैल्यूएटर उन शेड्यूल्स को रिकवर नहीं कर सकता जो कभी प्रस्तावित ही नहीं किए गए।
त्रुटि संचय (Error Accumulation): लेटेंट स्पेस में लंबी या जटिल शेड्यूलिंग ट्रेजेक्टरीज में भविष्यवाणी त्रुटियां जमा हो सकती हैं, जिससे कठिन मामलों के लिए विश्वसनीयता कम हो सकती है।
रैंकिंग बनाम भविष्यवाणी: मॉडल को वर्कलोड-के-भीतर रैंकिंग के लिए प्रशिक्षित किया गया है, न कि पूर्ण लेटेंसी भविष्यवाणी के लिए। यह इसे ऑनलाइन प्राथमिकता के लिए आदर्श बनाता है लेकिन विभिन्न वर्कलोड्स के बीच कैलिब्रेटेड प्रदर्शन अनुमानों की आवश्यकता वाले सेटिंग्स के लिए कम उपयुक्त बनाता है।