Kernel Forge: An Agent Harness for LLM-based Generation and Optimization of CUDA Kernels
कर्नेल फोर्ज (Kernel Forge) एक ओपन-सोर्स, एंड-टू-एंड एजेंटिक हार्नेस है जो विविध PyTorch वर्कलोड के लिए CUDA कर्नेल को स्वचालित रूप से उत्पन्न और अनुकूलित करने के लिए लार्ज लैंग्वेज मॉडल्स और मोंटे कार्लो ट्री सर्च का लाभ उठाता है, जिससे PyTorch ईगर मोड की तुलना में महत्वपूर्ण स्पीडअप प्राप्त होता है और निरीक्षण एवं डिबगिंग के लिए एक ग्राफिकल इंटरफेस प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप अपने कंप्यूटर पर एक वीडियो गेम चलाने की कोशिश कर रहे हैं। कभी-कभी, गेम सुचारू रूप से चलता है, लेकिन अन्य समय में यह अटकता या लैग करता है। ऐसा इसलिए होता है क्योंकि कंप्यूटर को चित्रों को बनाने और भौतिकी (फिजिक्स) को संभालने के लिए हर सेकंड लाखों सूक्ष्म गणितीय गणनाएं करनी पड़ती हैं। आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, ये गणनाएं और भी अधिक गहन होती हैं। AI को "सोचने" के लिए, यह उच्च गति वाले निर्देशों पर निर्भर करता है जिन्हें कर्नेल (kernels) कहा जाता है। कर्नेल को एक विशिष्ट, अत्यंत कुशल रेसिपी (विधि) के रूप में समझें जिसका उपयोग एक शेफ सब्जियां काटने के लिए करता है। यदि शेफ एक कुंद चाकू और धीमी विधि का उपयोग करता है, तो पूरा भोजन देर से परोसा जाएगा। यदि वे एक तेज, विशेष चाकू का उपयोग करते हैं, तो भोजन तुरंत तैयार हो जाता है।
वर्षों से, इन "रेसिपी" को लिखना एक ऐसी भाषा में उपन्यास लिखने जैसा रहा है जिसे आप बहुत कम जानते हैं। इसके लिए कंप्यूटर चिप्स (GPUs) के लिए जटिल निर्देश हाथ से कोड करने के लिए अत्यधिक कुशल विशेषज्ञों की आवश्यकता होती है ताकि उन्हें तेज़ बनाया जा सके। लेकिन अब, हमारे पास एक नया प्रकार का सहायक है: लार्ज लैंग्वेज मॉडल्स (LLMs)। आप इन्हें स्मार्ट चैटबॉट्स के रूप में जानते होंगे जो कहानियाँ लिख सकते हैं या गणित की समस्याओं को हल कर सकते हैं। वैज्ञानिक अब इन चैटबॉट्स को "रेसिपी" (कर्नेल) लिखने के लिए सिखा रहे हैं, इस उम्मीद में कि वे इंसानों की तुलना में इसे तेज़ी से और बेहतर तरीके से कर सकते हैं। हालाँकि, एक पेंच है: सिर्फ इसलिए कि एक चैटबॉट ने ऐसी रेसिपी लिखी है जो कागज पर अच्छी दिखती है, इसका मतलब यह नहीं है कि वह वास्तव में वास्तविक रसोई में भोजन को तेज़ी से पका पाएगी।
यहीं पर कर्नेल फोर्ज (Kernel Forge) नामक एक नया प्रोजेक्ट आता है। मिशिगन विश्वविद्यालय के शोधकर्ताओं ने एक स्मार्ट सिस्टम बनाया है जो केवल एक चैटबॉट से कोड लिखने के लिए नहीं कहता; बल्कि यह एक पूर्णकालिक कोच, एक गुणवत्ता निरीक्षक और एक प्रोजेक्ट मैनेजर की तरह काम करता है। वे यह देखना चाहते थे कि क्या AI वास्तव में वास्तविक दुनिया के AI मॉडल के लिए इन रेसिपी को अनुकूलित (optimize) करने का काम संभाल सकता है, न कि केवल नकली, बनावटी टेस्ट केस के लिए।
समस्या: "अलग-थलग" होने का जाल
कल्पना कीजिए कि आप एक रोबोट को दौड़ने के लिए प्रशिक्षित कर रहे हैं। यदि आप इसे केवल एक पूरी तरह से समतल, खाली ट्रैक पर टेस्ट करते हैं, तो यह एक विश्व स्तरीय धावक जैसा लग सकता है। लेकिन जैसे ही आप इसे एक ऊबड़-खाबड़, भीड़भाड़ वाली सड़क पर रखते हैं, तो यह लड़खड़ा सकता है। यह बिल्कुल वही हुआ जो GPU कर्नेल लिखने के लिए AI के पिछले प्रयासों के साथ हुआ। अधिकांश टूल्स ने AI को यादृच्छिक (random), बनावटी गणितीय समस्याओं पर एक खाली ट्रैक पर टेस्ट किया। उन्होंने एक कोड बनाया, उसे अलग-थलग (isolation) में टेस्ट किया, और कहा, "देखो यह कितना तेज़ है!"
लेकिन वास्तविक दुनिया में, AI मॉडल व्यस्त शहरों की तरह होते हैं। "रेसिपी" (कर्नेल) को डेटा के विशिष्ट आकार, मेमोरी की विशिष्ट मात्रा के साथ काम करना पड़ता है, और उन्हें अपने बगल में चल रही अन्य रेसिपी के साथ तालमेल बिठाना होता है। एक रेसिपी जो किसी रैंडम टेस्ट पर तेज़ है, वह एक वास्तविक AI मॉडल के अंदर उपयोग किए जाने पर धीमी हो सकती है या टूट सकती है, जो चित्र बनाता है या आपसे चैट करता है। पिछले टूल्स अक्सर इन नई, AI-लिखित रेसिपी को जटिल मशीन में वापस फिट करने का काम मानव डेवलपर्स पर छोड़ देते थे, जो बहुत थकाऊ और त्रुटिपूर्ण था।
समाधान: कर्र्नल फोर्ज
शोधकर्ताओं ने कर्र्नल फोर्ज बनाया, जो एक ओपन-सोर्स टूल है जो AI लेखक और वास्तविक दुनिया के बीच एक सेतु (ब्रिज) के रूप में कार्य करता है। AI से अनुमान लगाने के लिए कहने के बजाय, कर्नेल फोर्ज पहले एक वास्तविक AI मॉडल (जैसे कि एक जो चेहरों को पहचानता है या कहानियाँ लिखता है) को कंप्यूटर पर चलते हुए देखता है। यह नोट्स लेता है कि ठीक कौन सी "रेसिपी" उपयोग की जा रही है, डेटा कितना बड़ा है, और उन्हें चलने में कितना समय लगता है।
एक बार जब इसके पास वास्तविक दुनिया का डेटा आ जाता है, तो यह काम एक AI एजेंट (एक स्मार्ट बॉट जो लार्ज लैंग्वेज मॉडल द्वारा संचालित है) को सौंप देता है। लेकिन यह केवल एक बार का प्रयास नहीं है। यह सिस्टम मोंटे कार्लो ट्री सर्च (Monte Carlo Tree Search) नामक एक चतुर रणनीति का उपयोग करता है। कल्पना कीजिए कि एक जासूस रहस्य सुलझा रहा है। केवल एक अनुमान का पालन करने के बजाय, जासूस कई अलग-अलग रास्तों को आजमाता है। यदि एक रास्ता बंद गली की ओर ले जाता है, तो वे हार नहीं मानते; वे वापस जाते हैं और एक अलग कोण से प्रयास करते हैं। इसी तरह, कर्र्नल फोर्ज केवल एक संस्करण की रेसिपी नहीं लिखता और सबसे अच्छी उम्मीद नहीं करता। यह कई संस्करण बनाता है, उन्हें टेस्ट करता है, और यदि कोई धीमा है, तो यह उसे ठीक करने की कोशिश करता है या पूरी तरह से एक अलग दृष्टिकोण अपनाता है। यह सभी प्रयासों का एक "फैमिली ट्री" रखता है, यह याद रखते हुए कि कौन से प्रयास आशाजनक थे, भले ही वे शुरू में पूर्ण न रहे हों।
परिणाम: तेज़ जीत, लेकिन हर जगह नहीं
टीम ने चार अलग-अलग प्रकार के AI मॉडल पर कर्नेल फोर्ज का परीक्षण किया: छवियों को पहचानने वाला एक (ResNet-50), कला उत्पन्न करने वाला एक (Stable Diffusion 3.5 Medium), और बातचीत एवं तर्क करने वाले दो (Gemma 4 और Qwen 3.5)। उन्होंने इन परीक्षणों को NVIDIA GB10 GPU वाले एक शक्तिशाली कंप्यूटर पर चलाया।
यहाँ उन्हें क्या पता चला:
- यह काम करता है, लेकिन यह चयनात्मक है: सिस्टम ने सफलतापूर्वक AI के कई हिस्सों के लिए नई, तेज़ रेसिपी बनाई। कुछ मामलों में, AI-लिखित कोड सामान्य कोड की तुलना में काफी तेज़ था। उदाहरण के लिए, इमेज जनरेटर में, "ग्रुप नॉर्मलाइजेशन" के लिए नया कोड 1.70 गुना तेज़ था। चैटबॉट Gemma 4 में, "सॉफ्टमैक्स" (निर्णय लेने के लिए उपयोग किया जाने वाला एक गणितीय चरण) के लिए नया कोड 2.83 गुना अधिक तेज़ था।
- "गार्डेड" सुरक्षा जाल: सिस्टम बहुत सावधान है। इसमें एक "गार्ड" है जो प्रत्येक नई रेसिपी की जाँच करता है। यदि नई AI-लिखित रेसिपी धीमी है या कोई गलती करती है, तो सिस्टम तुरंत मूल, विश्वसनीय कोड पर वापस आ जाता है। यह उपयोगकर्ता पर कोई खराब रेसिपी नहीं थोपता है। इसका मतलब है कि भले ही AI कोड के किसी हिस्से को अनुकूलित करने की कोशिश करे और विफल हो जाए, कंप्यूटर क्रैश नहीं होगा या धीमा नहीं होगा; यह बस पुराने, सुरक्षित तरीके का उपयोग करेगा।
- "बड़े खिलाड़ी" को हराना कठिन है: शोधकर्ताओं ने कुछ दिलचस्प देखा। AI के वे हिस्से जो सबसे अधिक समय लेते हैं ("बड़े खिलाड़ी"), उन्हें अक्सर NVIDIA जैसी कंपनियों के बहुत परिपक्व, विशेषज्ञ-लिखित कोड द्वारा संभाला जाता है। AI इन विशेषज्ञों को हराने के लिए संघर्ष करता है। उदाहरण के लिए, इमेज जनरेटर में, "लीनियर" ऑपरेशन (जो 50% से अधिक समय लेता है) वास्तव में धीमा था जब AI ने इसे फिर से लिखने की कोशिश की। सिस्टम ने समझदारी से उस हिस्से के लिए मूल कोड का उपयोग करने का निर्णय लिया।
- छोटी जीत जुड़ जाती हैं: कोड के सबसे छोटे, कम महत्वपूर्ण हिस्सों पर सबसे बड़ी बढ़त देखने को मिली। जबकि AI बड़े कार्यों पर विशेषज्ञों को नहीं हरा सका, उसने छोटे कार्यों को 1.5 से 2.8 गुना तक तेज़ करने के चतुर तरीके खोज लिए।
जिज्ञासा की लागत
शोधकर्ताओं ने यह भी देखा कि इस "सोचने" की लागत कितनी थी। उन्होंने कोड उत्पन्न करने के लिए एक शक्तिशाली AI मॉडल का उपयोग किया, और हर बार जब AI कोड की एक पंक्ति लिखता या परिणाम की जाँच करता, तो इसमें थोड़ा पैसा खर्च होता था (API उपयोग के आधार पर)। उन्होंने पाया कि जैसे-जैसे उन्होंने AI को अधिक और अधिक विविधताओं (कोशिश और सुधार के 50 राउंड तक) को आज़माने दिया, लागत बढ़ती गई। हालाँकि, उन्हें मिलने वाली अतिरिक्त गति हमेशा खर्च किए गए अतिरिक्त पैसे के अनुपात में नहीं थी। यह सुझाव देता है कि जबकि AI बेहतरीन शॉर्टकट पा सकता है, हमें यह तय करने में स्मार्ट होना चाहिए कि कब खोजना बंद करना है, खासकर यदि वह कोड का हिस्सा बहुत महत्वपूर्ण नहीं है।
निष्कर्ष
कर्र्नल फोर्ज दिखाता है कि हम एक नए युग में प्रवेश कर रहे हैं जहाँ AI उस लो-लेवल कोड को लिखने में मदद कर सकता है जो अन्य AI को तेज़ बनाता है। यह कोई जादुई छड़ी नहीं है जो सब कुछ तुरंत हल कर देती है; यह अभी भी सबसे बड़े कार्यों पर दुनिया के सर्वश्रेष्ठ मानव विशेषज्ञों को आसानी से नहीं हरा सकता। लेकिन यह एक शक्तिशाली उपकरण है जो छोटी बारीकियों में छिपी हुई गति बढ़ाने की क्षमता रखता है, और साथ ही सिस्टम को सुरक्षित और स्थिर रखता है।
शोधकर्ताओं ने अपने टूल को ओपन-सोर्स के रूप में जारी किया है, जिसका अर्थ है कि कोई भी अपने AI मॉडल को तेज़ बनाने के लिए इसका उपयोग कर सकता है। उन्होंने साबित किया है कि AI की रचनात्मकता को वास्तविक दुनिया के परीक्षण की सुरक्षा के साथ जोड़कर, हम कंप्यूटर विज्ञान में पीएचडी की आवश्यकता के बिना अपने डिजिटल जगत के इंजनों को अनुकूलित करना शुरू कर सकते हैं। यह एक ऐसे भविष्य की ओर एक कदम है जहाँ हमारे कंप्यूटर न केवल स्मार्ट होंगे, बल्कि बहुत अधिक कुशल भी होंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।