Kernel-Smith: A Unified Recipe for Evolutionary Kernel Optimization
कर्नेल-स्मिथ (Kernel-Smith) एक एकीकृत ढांचा है जो उच्च-प्रदर्शन वाले GPU कर्नेल उत्पन्न करने के लिए एक स्थिर, मूल्यांकन-संचालित विकासवादी एजेंट को एक विशिष्ट पोस्ट-ट्रेनिंग रेसिपी के साथ जोड़ता है, जो NVIDIA और MetaX दोनों प्लेटफॉर्मों पर अत्याधुनिक (state-of-the-art) गति वृद्धि प्राप्त करता है और उत्पादन प्रणालियों में व्यावहारिक तैनाती प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत तेज़ रेसिंग कार का इंजन बनाने की कोशिश कर रहे हैं। आपके पास एक ब्लूप्रिंट (मानक कोड) है, लेकिन आप जानते हैं कि कुछ चतुर बदलावों के साथ, आप इसे दोगुना तेज़ बना सकते हैं।
लंबे समय तक, इसे करने की कोशिश करने वाले AI मॉडल नौसिखिए मैकेनिकों की तरह थे। वे ब्लूप्रिंट को देखते, कुछ बदलावों का अनुमान लगाते और कहते, "यह रहा मेरा नया इंजन!" यदि यह काम कर जाता, तो बढ़िया। यदि नहीं, तो वे फिर से शुरुआत से प्रयास करते। वे इटरेशन (पुनरावृत्ति) करने में खराब थे—वे अपनी गलतियों से सीखकर अगले संस्करण को थोड़ा बेहतर नहीं बना पाते थे।
Kernel-Smith एक नया फ्रेमवर्क है जो खेल बदल देता है। यह AI को केवल एक बार अनुमान लगाने वाले के रूप में नहीं, बल्कि एक वर्कशॉप में काम करने वाली विशेषज्ञों की एक टीम के रूप में देखता है, जो एक आदर्श इंजन विकसित करने के लिए एक विशिष्ट रेसिपी का उपयोग करती है।
यह कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ दिया गया है:
1. वर्कशॉप: इवोल्यूशनरी सर्च (द "डार्विनियन" गैरेज)
एक मैकेनिक के अनुमान लगाने के बजाय, Kernel-Smith प्रोटोटाइप इंजनों से भरा एक गैरेज सेटअप करता है।
- पॉपुलेशन (जनसंख्या): AI कोड के कई अलग-अलग संस्करण (इंजन) बनाता है।
- टेस्ट ट्रैक: हर एक प्रोटोटाइप को यह देखने के लिए टेस्ट ट्रैक (GPU) पर रखा जाता है कि वह कितनी तेज़ी से चलता है और क्या वह टूट जाता है।
- आर्काइव (अभिलेखागार): सिस्टम सबसे तेज़ इंजनों के लिए एक "हॉल ऑफ फेम" और उन इंजनों के लिए एक "म्यूजियम ऑफ डाइवर्सिटी" रखता है जिन्होंने अजीब और अनोखी चीज़ें आज़माई थीं।
- इवोल्यूशन (विकास): AI विजेताओं और दिलचस्प विफलताओं को देखता है, उनके विचारों को मिलाता है, और इंजनों का एक नया जेनरेशन बनाता है। यह केवल अनुमान नहीं लगाता; यह विकसित (evolve) होता है। 40 राउंड के दौरान, इंजन लाखों वर्षों में प्रजातियों के विकसित होने की तरह तेज़ और तेज़ होते जाते हैं।
2. रेफरी: स्टेबल इवैल्यूएशन (द "फेयर जज")
एक वास्तविक दौड़ में, यदि स्टॉपवॉच खराब है या ट्रैक ऊबड़-खाबड़ है, तो आप यह नहीं बता सकते कि वास्तव में कौन तेज़ है।
- समस्या: कंप्यूटर चिप्स शोर वाले (noisy) होते हैं। कभी-कभी कोई प्रोग्राम इसलिए धीमा दिखता है क्योंकि कंप्यूटर कुछ और करने में व्यस्त था, न कि इसलिए कि कोड खराब था।
- समाधान: Kernel-Smith ने एक बहुत ही सख्त रेफरी सिस्टम बनाया है। यह परीक्षणों को कई बार चलाता है, इंजन को पहले वार्म अप करता है, और "शोर" को अनदेखा करने के लिए विशेष उपकरणों का उपयोग करता है। यह सुनिश्चित करता है कि यदि किसी कोड को "तेज़" घोषित किया गया है, तो वह वास्तव में तेज़ है, न कि केवल भाग्यशाली। यह AI को गलत डेटा से भ्रमित होने से रोकता है।
3. टीचर: द "स्टेप-बाय-स्टेप" ट्रेनिंग (द "कोच")
यही असली सीक्रेट सॉस है। आमतौर पर, AI मॉडल्स को एक बार में एक परफेक्ट निबंध लिखने के लिए प्रशिक्षित किया जाता है। लेकिन एक परफेक्ट इंजन लिखना कठिन है।
- पुराना तरीका: "यहाँ एक बुरा इंजन है। एक अच्छा इंजन लिखो।" (AI अक्सर विफल हो जाता है)।
- Kernel-Smith का तरीका: शोधकर्ताओं ने देखा कि "गैरेज" कैसे विकसित हुआ। उन्होंने उन विशिष्ट क्षणों को देखा जहाँ एक इंजन "ठीक-ठाक" से "अद्भुत" बन गया। उन्होंने AI को केवल उन विशिष्ट चरणों को सिखाया।
- उपमा: एक शतरंज कोच की कल्पना करें। बजाय इसके कि वह AI को पूरा खेल दिखाए और कहे "जीत जाओ," कोच कहता है, "देखो, इस विशिष्ट चाल को देखो जहाँ तुमने रानी (Queen) को जीता। वह जीतने वाली चाल थी। उस चाल को सीखो।"
- AI को एक बड़े उछाल के बजाय छोटे सुधारों के मास्टर के रूप में प्रशिक्षित करके, AI बार-बार कोड को रिफाइन करने में अविश्वसनीय रूप से कुशल हो जाता है।
4. परिणाम: दिग्गजों को पछाड़ना
इस पेपर ने इस सिस्टम का परीक्षण दुनिया के सबसे बड़े और सबसे महंगे AI मॉडल्स (जैसे Google का Gemini और Anthropic का Claude) के खिलाफ किया।
- स्कोरबोर्ड: "KernelBench" नामक एक मानक परीक्षण पर, Kernel-Smith केवल उनके साथ तालमेल ही नहीं बैठा पाया; इसने जीत हासिल की। इसने ऐसा कोड तैयार किया जो दूसरों की तुलना में काफी तेज़ था।
- वास्तविक दुनिया का प्रमाण: यह केवल एक लैब प्रयोग नहीं है। टीम ने अपने AI-जेनरेटेड कोड को वास्तव में उस सॉफ्टवेयर में विलय (merge) किया जिसका उपयोग लाखों लोग कर रहे हैं (जैसे SGLang और LMDeploy)।
- एक मामले में, उन्होंने एक विशिष्ट हिस्से को 4.7 गुना तेज़ बना दिया।
- दूसरे मामले में, उन्होंने एक जटिल रिसर्च टूल को 14.5 गुना तेज़ बना दिया।
यह क्यों मायने रखता है?
सोचिए कि आपके फोन में मौजूद AI चिप्स या आपके पसंदीदा ऐप्स चलाने वाले सर्वर्स हाई-परफॉर्मेंस स्पोर्ट्स कार हैं।
- पहले: AI एक ऐसे मैकेनिक की तरह था जो केवल तेल बदल सकता था।
- अब: Kernel-Smith एक ऐसा मैकेनिक है जो हर बूंद गति निकालने के लिए पूरे इंजन को फिर से डिज़ाइन कर सकता है।
इसका मतलब यह है कि भविष्य में, हम जो AI सिस्टम रोज़ाना इस्तेमाल करते हैं, वे बहुत तेज़ चल सकते हैं, कम बैटरी खर्च कर सकते हैं, और कम लागत में चल सकते हैं, क्योंकि इस नए "रेसिपी" ने AI को केवल अनुमान लगाने के बजाय अपने स्वयं के कोड को विकसित (evolve) करना सिखाया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।