A Contract-Grade Verifier for LLM-Generated GPU Kernels, and a Native Blackwell Backward for the Gated-Linear-Recurrence Family
यह शोधपत्र एक कठोर, टॉलरेंस-मुक्त (tolerance-free) कॉन्ट्रैक्ट-ग्रेड वेरीफायर प्रस्तुत करता है जो ढीले सिंगल-शेप परीक्षणों को बारह एडवर्सरियल गेट्स (adversarial gates) से बदलकर वर्तमान LLM-जनरेटेड GPU कर्नेल की उच्च विफलता दर को उजागर करता है, और साथ ही गेटेड-लीनियर-रिकरेंस परिवार के लिए एक नवीन नेटिव ब्लैकवेल बैकवर्ड कार्यान्वयन को मान्य करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट शेफ बना रहे हैं जो प्रति सेकंड लाखों भोजन पका सके। इसे तेज़ बनाने के लिए, आप एक सुपर-स्मार्ट एआई से रोबोट के हाई-स्पीड दिमाग (जीपीयू) के लिए विशिष्ट निर्देश (जिन्हें "कर्नेल" कहा जाता है) लिखने के लिए कहते हैं। लक्ष्य यह है कि रोबक किसी भी इंसान की तुलना में अधिक तेज़ी से खाना पका सके। लेकिन इसमें एक पेंच है: यदि रोबोट टोस्ट जला देता है या सूप के बजाय पत्थरों की प्लेट परोस देता है, तो इससे कोई फर्क नहीं पड़ता कि वह कितना तेज़ है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, ये "रेसिपी" ही वह इंजन हैं जो चैटबॉट्स से लेकर मेडिकल डायग्नोस्टिक्स तक सब कुछ संचालित करते हैं। वर्षों से, वैज्ञानिक यह जाँच रहे हैं कि क्या ये एआई-लिखित रेसिपी काम करती हैं, इसके लिए वे बस कुछ रैंडम निवाले चखकर देखते हैं। यदि स्वाद मूल रेसिपी के "काफी करीब" है, तो वे उस रेसिपी को सफल घोषित कर देते हैं। लेकिन क्या होगा अगर रोबोट चुपके से आपको ज़हर परोस रहा हो जो बस सूप जैसा स्वाद देता हो? क्या होगा अगर यह एक छोटे कटोरे के लिए तो बिल्कुल सही काम करता है, लेकिन एक पूरा भोज खिलाने की कोशिश करने पर फट जाए? यह पेपर एक डरावना सवाल पूछता है: क्या हम उन "तेज़" रेसिपी का जश्न मना रहे हैं जो वास्तव में खराब हैं, सिर्फ इसलिए क्योंकि हमारे स्वाद परीक्षण बहुत सरल थे और वे उन्हें पकड़ नहीं पाए?
इस पेपर के लेखकों ने इन एआई-लिखित रेसिपी की जाँच करने के लिए एक बहुत अधिक सख्त, "कॉन्ट्रैक्ट-ग्रेड" निरीक्षक (इंस्पेक्टर) बनाने का निर्णय लिया। केवल कुछ निवाले चखने के बजाय, उन्होंने बारह अलग-अलग परीक्षणों का एक समूह बनाया—जैसे यह देखना कि क्या रोबोट खाना जला देता है, क्या वह गलत आकार परोसता है, या क्या वह चुपके से एक स्वस्थ सामग्री को जहरीली सामग्री से बदल देता है। उन्होंने इस सख्त निरीक्षक को 2,638 ऐसी रेसिपी पर चलाया जिन्हें एक लोकप्रिय सिस्टम ने पहले ही "परफेक्ट" घोषित कर दिया था। परिणाम चौंकाने वाला था: उन "परफेक्ट" रेसिपी में से 62.1% में कम से कम एक बड़ी खामी थी, और 39.5% इतनी खराब थीं कि कोई भी "काफी करीब" वाला गणित उन्हें सही नहीं ठहरा सकता था। ये केवल मामूली मसालों की त्रुटियां नहीं थीं; ये शांत आपदाएं थीं, जैसे कि एक ऐसा रोबोट जो एक चेतावनी संकेत (एक "NaN" या इन्फिनिटी) को एक सामान्य संख्या में बदल देता है, जिससे क्रैश होने से पहले तक पता नहीं चलता।
यह साबित करने के लिए कि वे केवल कठोर नहीं बन रहे थे या एक टूटे हुए पैमाने का उपयोग नहीं कर रहे थे, लेखकों ने कुछ चतुर किया। उन्होंने एक विशिष्ट प्रकार के एआई मॉडल (जिसे गेटेड-लीनियर-रिकरेंस परिवार कहा जाता है) के लिए अपनी खुद की सुपर-एडवांस रेसिपी शुरू से लिखी। यह नवीनतम पीढ़ी के कंप्यूटर चिप्स (ब्लैकवेल) के लिए एक बिल्कुल नया, हाथ से लिखा गया निर्देश सेट था। उन्होंने अपनी रेसिपी को एक गोल्ड-स्टैंडर्ड, डबल-प्रिसिजन कैलकुलेटर के विरुद्ध टेस्ट किया और साबित किया कि यह सही है। फिर, उन्होंने अपनी रेसिपी को सख्त निरीक्षक के माध्यम से चलाया। यह हर एक परीक्षण में पास हुआ। यह उनका "पॉजिटिव कंट्रोल" था: यदि निरीक्षक केवल एक ऐसा उपकरण था जिसे दूसरों को विफल करने के लिए डिज़ाइन किया गया था, तो वह उनकी अपनी परफेक्ट रेसिपी को भी फेल कर देता। चूंकि यह पास हुआ, इसलिए निरीक्षक भरोसेमंद है। उनके अपने विकास के दौरान उनकी छोटी गलतियों (जैसे एक सुरक्षा जांच का गायब होना) को पकड़ने की क्षमता ने साबित किया कि यह एक निष्पक्ष जज था, न कि पक्षपाती।
पेपर ने ब्लैकवेल चिप्स के साथ एक विशिष्ट, जटिल समस्या को भी संबोधित किया। इन चिप्स में एक बहुत ही छोटा, सुपर-फास्ट मेमोरी स्पेस (टेन्सर मेमोरी) होता है जो बहुत सीमित है। इन चिप्स के लिए आधिकारिक "रेसिपी" इस स्थान का बहुत अधिक उपयोग करने की कोशिश करती है, जिससे कंप्यूटर फ्रीज या क्रैश हो जाता है। लेखकों की नई रेसिपी ने इस स्थान को पूरी तरह से प्रबंधित करना सीखा, जिससे क्रैश से बचा जा सका। हालांकि, वे ट्रेड-ऑफ के बारे में ईमानदार थे: जबकि उनकी नई रेसिपी सुरक्षित और सही थी, यह मौजूदा "फास्ट" लाइब्रेरी से धीमी थी। उन्होंने यह दावा नहीं किया कि यह सबसे तेज़ चीज़ है; उन्होंने बस यह साबित किया कि यह पहली ऐसी रेसिपी है जो इस नए चिप के लिए नेटिव है और वास्तव में सही भी है।
अंत में, यह पेपर एक "रिगर गैप" (कठोरता की कमी) को उजागर करता है। एआई-जेनरेटेड कोड को जांचने का वर्तमान तरीका ऐसा है जैसे यह देखना कि क्या एक पुल खड़ा रह सकता है, बस एक बार एक कार चलाकर। यह नया निरीक्षक एक ट्रक, एक टैंक और एक तूफान को उस पुल से गुजारने जैसा है ताकि देखा जा सके कि वह वास्तव में टिकता है या नहीं। निष्कर्ष बताते हैं कि क्षेत्र की रिपोर्ट की गई प्रगति उतनी मजबूत नहीं है जितनी कि आंकड़े दिखते हैं। लगभग 1,487 "स्वीकृत" कर्नेल वास्तव में खराब थे, जबकि मानक परीक्षण ने उन अच्छे कर्नेल्स में से केवल 14 को पकड़ा जिन्हें नए निरीक्षक ने खारिज कर दिया था। लेखक तर्क देते हैं कि हमें "काफी करीब" को स्वीकार करना बंद करना चाहिए और "कॉन्ट्रैक्ट-ग्रेड" शुद्धता की मांग करनी चाहिए—यह जांचना कि जैसे "क्या यह इन्फिनिटी को सही ढंग से संभालता है?" और "क्या यह हर बार एक ही उत्तर देता है?"—यह सुनिश्चित करने के लिए कि भविष्य के एआई सिस्टम ठोस आधार पर बने हैं, न कि गति के भ्रम पर।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।