Rigel: Reverse-Engineering the Metal 4.1 Tensor Compute Path on the Apple M4 Max GPU
यह शोध पत्र रिगेल (Rigel) प्रस्तुत करता है, जो एक अनुभवजन्य अध्ययन है जो एप्पल के M4 मैक्स मेटल 4.1 टेंसर कंप्यूट पाथ को रिवर्स-इंजीनियर करता है ताकि यह प्रकट किया जा सके कि इसका fp8 matmul2d ऑपरेशन हार्डवेयर-एक्सेलेरेटेड होने के बजाय मेमोरी-बाउंड और एमुलेटेड है, साथ ही छिपे हुए निष्पादन विवरणों को उजागर करता है और एक हैंड-फ्यूज्ड कर्नेल को सक्षम करता है जो मानक डीकंपोज्ड पाथ की तुलना में 12.9% तक बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एप्पल का नया M4 Max कंप्यूटर चिप एक विशाल, हाई-टेक रसोई है। वर्षों से, डेवलपर्स (शेफ) को बताया गया है कि इस रसोई में एक विशेष, सुपर-फास्ट "टेंसर ओवन" (Tensor Oven) है जो विशेष रूप से जटिल AI रेसिपी (जैसे लार्ज लैंग्वेज मॉडल्स) को बिजली की गति से पकाने के लिए डिज़ाइन किया गया है। आधिकारिक निर्देश पुस्तिका (Metal 4.1 स्पेसिफिकेशन) कहती है: "हाँ, हमारे पास यह ओवन है, और यह इन विशिष्ट सामग्रियों का समर्थन करता है।" लेकिन मैनुअल निराशाजनक रूप से अस्पष्ट है: यह यह नहीं बताता कि ओवन वास्तव में कैसे काम करता है, यह कहाँ स्थित है, या क्या यह वास्तव में मानक स्टोव से तेज़ है।
RIGEL पेपर उन खाद्य वैज्ञानिकों की एक टीम की तरह है जिन्होंने मैनुअल पढ़ना बंद करने और यह समझने का फैसला किया कि रसोई में वास्तव में क्या हो रहा है। उन्होंने वास्तविकता का पता लगाने के लिए रिवर्स-इंजीनियरिंग करने हेतु अत्यंत सटीक मापने वाले उपकरण बनाए।
यहाँ उनके निष्कर्ष दिए गए हैं, जिन्हें रोजमर्रा के उपमाओं (analogies) में अनुवादित किया गया है:
1. "विशेष ओवन" वास्तव में केवल एक साधारण स्टोव है
दावा: पेपर सिद्ध करता है कि M4 Max में कोई समर्पित "टेंसर कोर" (एक विशेष हार्डवेयर यूनिट जो केवल AI गणित के लिए है) नहीं है।
उपमा: "टेंसर" ऑपरेशन को एक विशिष्ट प्रकार के केक के रूप में सोचें। मैनुअल संकेत देता है कि इन केक के लिए एक विशेष, हाई-स्पीड कन्वेयर बेल्ट है। RIGEL ने पाया कि M4 Max पर, कोई कन्वेयर बेल्ट नहीं है। इसके बजाय, रसोई का स्टाफ (GPU शेडर कोर्स) इन केक को साधारण स्टोव पर अपने हाथों से बना रहा है, उन्हीं उपकरणों का उपयोग करके जिनका वे बाकी सब चीजों के लिए करते हैं। वे इसे कुशलता से कर रहे हैं, लेकिन वे किसी गुप्त, समर्पित मशीन का उपयोग नहीं कर रहे हैं।
2. "जादुई सामग्री" (FP8) एक ट्रिक है, सुपरपावर नहीं
दावा: पेपर एक लो-प्रिसिजन डेटा फॉर्मेट का परीक्षण करता है जिसे FP8 कहा जाता है (जो मानक FP16 फॉर्मेट के आधे मेमोरी का उपयोग करता है)। स्पेसिफिकेशन सुझाव देता है कि यह छोटा होने के कारण तेज़ हो सकता है। RIGEL ने पाया कि यह तेज़ नहीं है; वास्तव में यह थोड़ा धीमा है।
उपमा: कल्पना कीजिए कि आप पानी की बाल्टियाँ ले जा रहे हैं। FP16 फॉर्मेट एक बड़ी बाल्टी है; FP8 फॉर्मेट एक छोटी बाल्टी है। आप सोच सकते हैं, "यदि मैं छोटी बाल्टियों का उपयोग करता हूँ, तो मैं एक ही समय में अधिक चक्कर लगा सकता हूँ!" लेकिन वैज्ञानिकों ने पाया कि M4 Max पर, श्रमिकों को बड़े बाल्टी में उपयोग करने से पहले छोटे पानी को उसमें डालने के लिए रुकना पड़ता है। यह "डालने" (unpacking) की प्रक्रिया समय लेती है।
- परिणाम: छोटी बाल्टियों (FP8) का उपयोग करने से काम तेज़ नहीं होता है। यह केवल आपको एक बार में कम भारी बाल्टियाँ उठाने से बचाता है (मेमोरी स्पेस बचाता है)। यह एक स्पेस-सेवर (जगह बचाने वाला) है, न कि स्पीड-सेवर (गति बढ़ाने वाला)। पेपर इसे "मेमोरी-फुटप्रिंट फीचर, न कि परफॉरमेंस फीचर" कहता है।
3. "गुप्त रेसिपी" का लेआउट
दावा: मैनुअल कहता है कि "टेंसर" मेमोरी में डेटा को व्यवस्थित करने का तरीका "ओपेक" (छिपा हुआ) और "डिवाइस स्पेसिफिक" है। RIGEL ने पता लगाया कि यह वास्तव में कैसे व्यवस्थित है।
उपमा: कल्पना कीजिए कि रसोई के कर्मचारियों को सामग्री को ग्रिड में व्यवस्थित करने के लिए कहा गया है, लेकिन मैनुअल केवल इतना कहता है, "इसे एक गुप्त पैटर्न में करें।" RIGEL ने कर्मचारियों को देखा और महसूस किया कि वे सामग्री को एक बहुत ही विशिष्ट 8x8 वर्गाकार पैटर्न में व्यवस्थित कर रहे हैं। एक बार जब वैज्ञानिकों ने इस गुप्त ग्रिड को समझ लिया, तो वे खाना पकाने की प्रक्रिया को सुचारू बनाने के लिए सामग्री को पुनर्व्यवस्थित कर सके।
4. "वर्जन गेट" (दरबान)
दावा: मैनुअल कहता है कि आप इन फीचर्स का उपयोग एक निश्चित सॉफ्टवेयर वर्जन (Xcode 26.1+) के साथ कर सकते हैं, लेकिन RIGEL ने पाया कि यह झूठ है।
उपमा: मैनुल कहता है, "जिसके पास लाल टोपी है, वह VIP रूम में प्रवेश कर सकता है।" लेकिन जब RIGEL ने पिछले साल की (Xcode 26.5) लाल टोपी के साथ प्रवेश करने की कोशिश की, तो दरबान ने उन्हें बाहर निकाल दिया। आपको दरवाजा खोलने के लिए वास्तव में एक बिल्कुल नई लाल टोपी (Xcode 27) और एक विशिष्ट आईडी कार्ड (macOS 27.0) की आवश्यकता है। मैनुअल केवल गलत था कि कौन अंदर आ सकता है।
5. "सुपर-शेफ" ऑप्टिमाइज़ेशन
दावा: क्योंकि अब वैज्ञानिकों को पता है कि रसोई वास्तव में कैसे काम करती है (कोई गुप्त ओवन नहीं, 8x8 ग्रिड, FP8 धीमा है), उन्होंने एक नई, कस्टम रेसिपी लिखी।
उपमा: मानक, चरण-दर-चरण निर्देशों (केक पकाएं -> आइसिंग जोड़ें -> फल जोड़ें) का पालन करने के बजाय, जिसमें तीन बार पेंट्री तक जाने-आने में समय लगता है, वैज्ञानिकों ने एक "फ्यूजन" रेसिपी लिखी। उन्होंने पकाने, आइसिंग और फल जोड़ने के चरणों को सीधे स्टोव पर एक सुचारू गति में मिला दिया।
- परिणाम: यह कस्टम रेसिपी उन कार्यों के लिए 6.5% से 12.9% तेज़ थी जो रसोई के तत्काल कार्यक्षेत्र (कैश-रेसिडेंट) में फिट होते हैं। हालांकि, उन विशाल कार्यों के लिए जिनमें गोदाम (मेन मेमोरी) तक बार-बार आने-जाने की आवश्यकता होती है, गति का लाभ समाप्त हो जाता है क्योंकि चलने का समय खाना पकाने के समय पर हावी हो जाता है।
"बड़ी सच्चाई" का सारांश
पेपर निष्कर्ष निकालता है कि Apple M4 Max पर:
- कोई जादुई हार्डवेयर नहीं: कोई विशेष AI इंजन नहीं है; यह सब मानक ग्राफिक्स कोर्स पर चल रहा है।
- FP8 स्टोरेज के लिए है, स्पीड के लिए नहीं: छोटे नंबरों का उपयोग करने से जगह बचती है लेकिन गणनाओं को तेज़ नहीं बनाता है।
- मैनुअल अधूरा है: आधिकारिक दस्तावेज़ हार्डवेयर की वास्तविकता, सटीक मेमोरी लेआउट और वास्तविक सॉफ्टवेयर आवश्यकताओं को छिपाता है।
- कस्टम कोड जीतता है: यदि आप गुप्त लेआउट जानते हैं, तो आप एक कस्टम प्रोग्राम लिख सकते हैं जो मानक Apple टूल्स को एक छोटे लेकिन मापने योग्य अंतर से पीछे छोड़ देता है।
लेखक इस बात पर जोर देते हैं कि ये निष्कर्ष एक सिंगल M4 Max चिप और एक बीटा ऑपरेटिंग सिस्टम के हार्ड डेटा पर आधारित हैं, और उन्होंने अपना सारा कोड जारी कर दिया है ताकि कोई भी स्वयं इन परिणामों को सत्यापित कर सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।