तकनीकी सारांश: क्या LLM-जनरेटेड GPU कर्नेल उत्पादन के लिए तैयार हैं?

1. समस्या विवरण

लार्ज लैंग्वेज मॉडल (LLM) GPU कर्नेल जनरेशन के वर्तमान बेंचमार्क सिंथेटिक या क्यूरेटेड डेटासेट पर निर्भर हैं जो वास्तविक दुनिया के तैनात वर्कलोड से काफी भिन्न होते हैं। मौजूदा मूल्यांकन तीन महत्वपूर्ण अक्षों को पकड़ने में विफल रहते हैं जो उत्पादन मूल्य (production value) के लिए आवश्यक हैं:

1. शेप डिस्ट्रीब्यूशन (Shape Distribution): प्रोडक्शन फ्लीट्स अत्यधिक विषम वितरण प्रदर्शित करते हैं (जैसे, शीर्ष पांच ऑपरेटर्स ~64% GPU वॉल-टाइम का उपभोग करते हैं), जिसे यूनिफॉर्म सिंथेटिक ग्रिड पुनरुत्पादित नहीं कर पाते।
2. ऑपरेटर महत्व (Operator Importance): अनवेटेड एवरेज (unweighted averages) दुर्लभ एलिमेंट-वाइज ऑपरेशन्स को उन फ्यूज्ड-अटेंशन पाथ्स के समान ही महत्व देते हैं जो लेटेंसी पर हावी होते हैं, जिससे कर्नेल प्रदर्शन के वास्तविक प्रभाव का गलत प्रतिनिधित्व होता है।
3. परफॉरमेंस बेसलाइन (Performance Baselines): बेंचमार्क अक्सर अन-ऑप्टिमाइज्ड बेसलाइन्स के मुकाबले तुलना करते हैं, न कि प्रत्येक समस्या के विशिष्ट हार्डवेयर रूफलाइन (सैद्धांतिक स्पीड-ऑफ-लाइट लिमिट) के मुकाबले।

इसके अलावा, मौजूदा मूल्यांकनों में "करेक्टनेस इल्यूजन" (correctness illusion) की समस्या होती है। मॉडल पायटॉर्च (PyTorch) फॉलबैक या प्री-कंपाइल्ड वेंडर कर्नेल को सौंपकर करेक्टनेस चेक पास कर सकते हैं, जिससे वे लक्षित डोमेन स्पेसिफिक लैंग्वेज (DSL) कोड लिखने के बजाय अपनी वास्तविक कर्नेल-लेखन क्षमता को बढ़ा-चढ़ाकर दिखाते हैं।

2. कार्यप्रणाली (Methodology)

2.1 एट्रैक्स-बेंच (Atrex-Bench): एक प्रोडक्शन-व्युत्पन्न बेंचमार्क

लेखक एट्रैक्स-बेंच पेश करते हैं, जो सीधे फुल-क्लस्टर प्रोडक्शन ट्रेसेस (XPU-A3 और H20 एक्सेलरेटर्स के माध्यम से, >10k तैनात यूनिट्स के साथ) से प्राप्त किया गया है।

• डेटा स्रोत: 20 तैनात मॉडल्स (vLLM, SGLang, AITER, RTP-LLM सहित) से 1,303 प्रोफाइल्स के माध्यम से 30 ऑपरेटर्स और 440 "हॉट शेप्स" का नमूना लिया गया।
• महत्व वेटिंग (Importance Weighting): प्रत्येक $(operator, shape)$जोड़ी को एक भार$w_i$ दिया गया है जो देखे गए GPU समय के हिस्से से प्राप्त किया गया है, जिसे एप्लिकेशन कार्ड-घंटों द्वारा भारित किया गया है और सर्विंग चरणों (prefill बनाम decode) में अलग किया गया है।
• स्कोरिंग मैकेनिज्म:
  • प्रति-समस्या रूफलाइन (Per-Problem Roofline): प्रत्येक शेप के लिए एक हार्डवेयर-विशिष्ट स्पीड-ऑफ-लाइट लेटेंसी ($T_{roofline}$) की गणना की जाती है, जो कैंडिडेट के प्रोफाइल से स्वतंत्र, सिमेंटिक वर्क और मेमोरी ट्रैफिक पर आधारित होती है।
  • एग्रीगेट स्कोर ($S_{agg}$): अंतिम मीट्रिक रूफलाइन अचीवमेंट का एक महत्व-भारित एग्रीगेट है: $S_{agg} = \sum w_i S_i$, जहाँ $S_i$ एक ऑपरेटर के लिए मीडियन रूफलाइन अचीवमेंट है। यह सुनिश्चित करता है कि स्कोर उन ऑपरेटर्स पर प्रदर्शन को दर्शाता है जो वास्तव में प्रोडक्शन समय का उपभोग करते हैं।
• मूल्यांकन अनुबंध (Evaluation Contract): बेंचमार्क एजेंटों को ज्ञात कर्नेल नामों या स्कोरिंग फॉर्मूला का फायदा उठाने से रोकने के लिए अपस्ट्रीम प्रोवेनेंस और रूफलाइन आर्टिफैक्ट्स को छिपा देता है। यह तीन-चरणीय गेट लागू करता है: कंपाइलेशन, करेक्टनेस (PyTorch रेफरेंस के विरुद्ध), और परफॉरमेंस।

2.2 एट्रैक्स-कर्नेल-एजेंट (AKA)

परफॉरमेंस गैप को संबोधित करने के लिए, लेखकों ने AKA विकसित किया है, जो एक प्रोफाइल-ड्रिवन ऑप्टिमाइजेशन एजेंट है जिसमें शामिल हैं:

• इटरेटिव मेजर-रिवाइज सर्च (Iterative Measure–Revise Search): एक वर्कफ्फ़्लो जो कर्नेल को रिफाइन करने के लिए प्रोफाइलर फीडबैक का उपयोग करता है।
• ऑप्टिमाइजेशन ड्रॉपआउट (Optimization Dropout): स्टॉल हुए सर्च कॉन्टेक्स्ट से बाहर निकलने के लिए एक तंत्र जो स्वीकार किए गए कर्नेल और ऑडिट ट्रेल को सुरक्षित रखते हुए, स्वीकार किए गए कर्नेल और ऑडिट ट्रेल को संरक्षित करते हुए, स्टेल इटरेशन मेमोरी को मास्क करते हुए आंशिक रीस्टार्ट करता है।
• लेयर्ड नॉलेज बेस (Layered Knowledge Base): एक रिट्रीवल सिस्टम जो 298 रेफरेंस-कर्नेल फाइलों, 244 ऑप्टिमाइजेशन-नॉलेज डॉक्यूमेंट्स और API/ISA लुकअप के लिए बाहरी अपस्ट्रीम प्रोजेक्ट्स को जोड़ता है।

3. मुख्य परिणाम

3.1 फ्रंटियर एजेंट्स का मूल्यांकन

छह फ्रंटियर कोडिंग एजेंट्स (Claude Opus 4.7, GPT-5.5, Qwen3.7-Max, Kimi-K2.6, GLM-5.1, और DeepSeek-V4-Pro सहित) का Atrex-Bench पर मूल्यांकन किया गया।

• परफॉरमेंस गैप: सबसे अच्छा मॉडल (GPT-5.5) भी हार्डवेयर रूफलाइन का केवल 10.7% ($S_{agg} = 0.107$) प्राप्त कर सका। कोई भी एजेंट मौजूदा हैंड-ट्यून्ड प्रोडक्शन कर्नेल्स के प्रदर्शन से मेल नहीं खा सका।
• द करेक्टनेस इल्यूजन (The Correctness Illusion): "करेक्टनेस" और "टारगेट-DSL अडॉप्शन" के बीच एक महत्वपूर्ण अंतर है। उदाहरण के लिए, Qwen3.7-Max ने 84.8% करेक्टनेस हासिल की लेकिन केवल 43.8% FlyDSL अडॉप्शन किया, जो दर्शाता है कि इसने नेटिव कर्नेल लिखने के बजाय अक्सर PyTorch फॉलबैक (जैसे scaled_dot_product_attention) पर भरोसा किया।
• ऑपरेटर कठिनाई (Operator Difficulty): प्रदर्शन ऑपरेटर-निर्भर होता है। जबकि नौ ऑपरेटर्स सभी मॉडल्स द्वारा हल किए गए थे, सबसे कठिन (जैसे, fp8_blockscale_fused_moe) का पास रेट केवल 22.2% था।
• रेजीम सेंसिटिविटी (Regime Sensitivity): एजेंट्स ने कंप्यूट-बाउंड ऑपरेटर्स (मैट्रिक्स-इंजन शेड्यूलिंग की आवश्यकता वाले) की तुलना में मेमोरी-बाउंड ऑपरेटर्स (बैंडविड्थ सैचुरेट करने वाले) पर बेहतर प्रदर्शन किया। GPT-5.5 एकमात्र ऐसा मॉडल था जो कंप्यूट-बाउंड कार्यों पर रूफलाइन का सार्थक हिस्सा तक पहुँच सका, जिसने इसके बेहतर एग्रीगेट स्कोर को संचालित किया।
• जनरेशन वॉल्यूम (Generation Volume): आउटपुट टोकन की मात्रा और परिणामी कर्नेल की गुणवत्ता के बीच कोई सहसंबंध नहीं है। DeepSeek-V4-Pro ने सबसे अधिक टोकन (6.56M) जेनरेट किए लेकिन सबसे कम रूफलाइन स्कोर प्राप्त किया, जबकि GPT-5.5 ने सबसे कम टोकन के साथ उच्चतम स्कोर प्राप्त किया।

3.2 एजेंट ऑप्टिमाइजेशन (AKA)

एक नियंत्रित केस स्टडी में, AKA ने गैप को भरने की क्षमता प्रदर्शित की:

• इसने जीरो-FlyDSL फॉलबैक को वास्तविक कर्नेल्स में बदल दिया, जिससे लगभग 100% FlyDSL अडॉप्शन प्राप्त हुआ।
• अटेंशन ऑपरेटर्स पर, AKA ने एक मजबूत मॉडल पर रूफलाइन स्कोर को 0.28 से बढ़ाकर 0.42 कर दिया।
• परिणामी कर्नेल्स ने परीक्षण किए गए दोनों अटेंशन ऑपरेटर्स पर हैंड-ट्यून्ड प्रोडक्शन बेसलाइन्स को पीछे छोड़ दिया।

4. योगदान और महत्व

4.1 योगदान

यह पेपर चार प्राथमिक योगदान देता है:

1. Atrex-Bench: पहला कर्नेल-जनरेशन बेंचमार्क जो फुल-क्लस्टर प्रोडक्शन ट्रेसेस से प्राप्त किया गया है, जिसे महत्व-भारित, प्रति-समस्या रूफलाइन मीट्रिक के साथ स्कोर किया गया है।
2. रिलीज़ कॉन्ट्रैक्ट (Release Contract): एक पैकेजिंग मानक जिसमें प्रोडक्शन-व्युत्पन्न संदर्भ, छिपा हुआ प्रोवेनेंस, छिपा हुआ रूफलाइन आर्टिफैक्ट्स और मूल्यांकन हैकिंग को रोकने के लिए रिफ्रेश करने योग्य महत्व भार शामिल हैं।
3. एम्पिरिकल इवैल्यूएशन (Empirical Evaluation): LLM एजेंट्स की वर्तमान स्थिति का मात्रात्मक मूल्यांकन, जो प्रकट करता है कि सर्वश्रेष्ठ मॉडल भी प्रोडक्शन ऑपरेटर्स पर केवल ~10% हार्डवेयर रूफलाइन तक पहुँचते हैं और "करेक्टनेस" अकेले एक भ्रामक मीट्रिक है क्योंकि यह फॉलबैक डेलीगेशन पर निर्भर करती है।
4. Atereks-Kernel-Agent (AKA): एक प्रोफाइल-ड्रिवन ऑप्टिमाइजेशन एजेंट जो डोमेन नॉलेज गैप (रूफलाइन रीजनिंग, इंस्ट्रक्शन सिलेक्शन) को कम करता है और सफलतापूर्वक फॉलबैक को हाई-परफॉरमेंस कर्नेल्स में बदल देता है जो हैंड-ट्यून्ड बेसलाइन्स से बेहतर होते हैं।

महत्व: यह कार्य तर्क देता है कि वर्तमान LLM कोडिंग एजेंट्स अभी तक प्रोडक्शन कर्नेल रिप्लेसमेंट के लिए तैयार नहीं हैं। प्राथमिक बाधा कच्ची कोडिंग क्षमता नहीं बल्कि डोमेन-विशिष्ट ज्ञान (रूफलाइन रीजनिंग, हार्डवेयर-विशिष्ट शेड्यूलिंग) और फॉलबैक के माध्यम से स्पेसिफिकेशन को "शॉर्टकट" करने की प्रवृत्ति है। पेपर सुझाव देता है कि भविष्य की प्रगति के लिए केवल स्टैटिक कोड जनरेशन पर निर्भर रहने के बजाय, इटरेटिव ऑप्टिमाइजेशन लूप और गहरे हार्डवेयर नॉलेज बेस से लैस एजेंट्स की आवश्यकता है।