RealisticTritonBench: A Benchmark for Triton-Kernel Generation in Real-World AI Frameworks
LLM-जनरेटेड ट्राइटन (Triton) कर्नेल के मूल्यांकन में मौजूदा बेंचमार्क की सीमाओं को संबोधित करने के लिए, लेखक RealisticTritonBench पेश करते हैं, जो वास्तविक दुनिया के फ्रेमवर्क पुल रिक्वेस्ट से व्युत्पन्न एक नवीन बेंचमार्क है जो यथार्थवादी, एंड-टू-एंड प्रदर्शन मूल्यांकन सक्षम करता है और यह प्रकट करता है कि वर्तमान अग्रणी LLMs अभी भी ऐसे कार्यों के लिए संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक आधुनिक एआई (AI) का डिजिटल मस्तिष्क एक हलचल भरा शहर है। गगनचुंबी इमारतें विशाल न्यूरल नेटवर्क हैं, लेकिन असली जादू उन नन्हे, हाई-स्पीड सबवे टनल (सुरंगों) में होता है जो उनके बीच डेटा का आवागमन करते हैं। इन सुरंगों को "जीपीयू कर्नेल" (GPU kernels) कहा जाता है। वर्षों तक, इन सुरंगों को बनाने के लिए कुडा (CUDA) नामक एक कठिन, प्राचीन भाषा बोलने वाली विशिष्ट इंजीनियरों की एक टीम की आवश्यकता होती थी। यह धीमा, महंगा और त्रुटियों से भरा था। फिर, ट्रिटन (Triton) नामक एक नई, आसान भाषा आई। यह इंजीनियरों को लेगो (Lego) ब्लॉक्स के एक सेट देने जैसा है जो उन्हीं हाई-स्पीड सुरंगों को बनाने के लिए आपस में जुड़ जाते हैं, लेकिन इसके निर्देश मैनुअल बहुत सरल हैं।
हाल ही में, वैज्ञानिकों ने एक बड़ा सवाल पूछना शुरू किया: क्या आर्टिफिशियल इंटेलिजेंस (AI) हमारे लिए ये लेगो सुरंगें बनाना सीख सकता है? यदि एक सुपर-स्मार्ट कंप्यूटर प्रोग्राम (एक लार्ज लैंग्वेज मॉडल) इन सुरंगों के लिए कोड अपने आप लिख सके, तो यह इंसानों के काम के अनगिनत घंटों को बचा लेगा। लेकिन यहाँ एक पेंच है: सिर्फ इसलिए कि एक सुरंग ब्लूप्रिंट में काम करती हुई दिखती है, इसका मतलब यह नहीं है कि जब पूरा शहर इस पर चल रहा हो तो वह ढह नहीं जाएगी। यह पता लगाने के लिए कि क्या AI वास्तव में एक टनल आर्किटेक्ट बनने के लिए तैयार है, शोधकर्ताओं को इसे परखने के एक बेहतर तरीके की आवश्यकता थी। उन्हें एक ऐसे परीक्षण की आवश्यकता थी जो केवल यह न देखे कि ईंटें फिट बैठती हैं या नहीं, बल्कि यह भी देखे कि क्या पूरा सबवे सिस्टम वास्तव में तेज़ चलता है और शहर को क्रैश नहीं करता।
यहीं पर RealisticTritonBench नामक एक नया अध्ययन आता है। इसे AI इंजीनियरों के लिए एक विशाल, वास्तविक "ड्राइविंग टेस्ट" के रूप में समझें। AI को एक शांत कमरे में एक एकल लेगो ब्लॉक बनाने के लिए कहने के बजाय, शोधकर्ताओं ने इसे वास्तविक, व्यस्त निर्माण स्थलों (लोकप्रिय AI सॉफ्टवेयर फ्रेमवर्क जैसे PyTorch और vLLM) से लिए गए वास्तविक कार्य दिए। उन्होंने AI से टूटी हुई सुरंगों को ठीक करने, मौजूदा सुरंगों को तेज़ बनाने, या बिल्कुल नई सुरंगों को शून्य से बनाने के लिए कहा, और यह सब तब भी किया जब शहर चल रहा था।
परिणाम वास्तविकता का एक कड़ा अहसास थे। शोधकर्ताओं ने GPT-5.4 और Qwen3.5 जैसे दिग्गजों सहित उपलब्ध सबसे स्मार्ट AI मॉडल्स का परीक्षण किया। उन्होंने पाया कि हालांकि ये AI कोड लिखने में बेहतर हो रहे हैं, लेकिन वे GPU कर्नेल बनाने के वास्तविक, जटिल काम में अभी भी संघर्ष कर रहे हैं। वास्तव में, AI केवल 18.71% मामलों में ही पूर्ण कार्य सफलतापूर्वक पूरा कर पाया—यानी सभी परीक्षणों को पास करना, AI के मस्तिष्क की सटीकता बनाए रखना और वास्तव में गति बढ़ाना।
सबसे चौंकाने वाली बात यह है: भले ही AI का कोड बुनियादी "यूनिट टेस्ट" (जैसे यह जांचना कि क्या एक एकल लेगो पीस फिट बैठता है) पास कर ले, लेकिन वह अक्सर बड़े परिप्रेक्ष्य में विफल रहा। लगभग आधी बार, AI के कोड ने AI के मस्तिष्क को कम सटीक बना दिया, और औसतन, नई सुरंगों ने सिस्टम को पुराने वाले की तुलना में अधिक तेज़ नहीं बनाया। कुछ मामलों में, AI ने ऐसा कोड बनाया जो सही प्रतीत होता था लेकिन वास्तव में एक वास्तविक एप्लिकेशन में सिस्टम को धीमा कर देता।
अध्ययन बताता है कि हालांकि AI सरल कोड लिखने के लिए एक बेहतरीन सहायक है, लेकिन इसमें अभी भी इन जटिल प्रणालियों के आपसी तालमेल की गहरी, सहज समझ की कमी है। यह उस छात्र की तरह है जिसने यातायात के नियमों को तो रट लिया है, लेकिन अभी तक एक तूफानी, व्यस्त शहर में गाड़ी चलाना नहीं सीखा है। शोधकर्ताओं ने इस नए बेंचमार्क को इसलिए बनाया ताकि AI केवल सिस्टम को "गेम" (धोखा देना) न कर सके और उसे यह साबित करने के लिए मजबूर किया जा सके कि क्या वह हमारे डिजिटल जगत को सुचारू रूप से चलाने के उच्च-दांव वाले काम को संभालने में सक्षम है। जब तक AI लगातार इस वास्तविक परीक्षण को पास नहीं कर लेता, तब तक मानव विशेषज्ञों को ही ब्लूप्रिंट थामे रहने की आवश्यकता होगी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।