Orion: Characterizing and Programming Apple's Neural Engine for LLM Training and Inference
यह शोध पत्र ओरियन (Orion) को प्रस्तुत करता है, जो पहला ओपन एंड-टू-एंड सिस्टम है जो लार्ज लैंग्वेज मॉडल ट्रेनिंग और इन्फरेंस के लिए डायरेक्ट न्यूरल इंजन प्रोग्रामिंग सक्षम करने हेतु एप्पल के ओपेक (opaque) कोरएमएल (CoreML) फ्रेमवर्क को बायपास करता है, जो एक नवीन पैचिंग मैकेनिज्म के माध्यम से वेट अपडेट्स में 8.5x की गति वृद्धि प्राप्त करता है और एप्पल सिलिकॉन पर 110M-पैरामीटर वाले मॉडल्स की स्थिर ट्रेनिंग का प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपकी रसोई में एक सुपर-पावर्ड, विशेषीकृत रोबोटिक हाथ (जिसे Apple Neural Engine या ANE कहा जाता है) है। यह हाथ सब्जियां काटने और बैटर मिलाने जैसे कामों में अविश्वसनीय रूप से तेज़ है (AI के गणितीय ऑपरेशन्स)। Apple ने इस रोबोटिक हाथ को दो अरब से अधिक उपकरणों (iPhones, Macs, iPads) में रखा है।
लंबे समय तक, कोई भी इस रोबोटिक हाथ से सीधे बात करने का तरीका नहीं जानता था। Apple का आधिकारिक निर्देश मैनुअल (CoreML) एक 'ब्लैक बॉक्स' की तरह था: आप उससे "केक बनाओ" तो कह सकते थे, लेकिन आप उसे यह नहीं बता सकते थे कि अपनी उंगलियों को ठीक से कैसे हिलाना है, और आप काम करते समय उसे नई रेसिपी भी नहीं सिखा सकते थे।
Orion एक नया, ओपन-सोर्स "अनुवादक" (translator) और "नियंत्रण प्रणाली" (control system) है जो डेवलपर्स को इस रोबोटिक हाथ से सीधे बात करने की अनुमति देता है ताकि वे आपके डिवाइस पर ही विशाल AI दिमागों (Large Language Models) को ट्रेन और चला सकें।
यहाँ बताया गया है कि Orion कैसे काम करता है, जिसे सरल उपमाओं (analogies) के माध्यम से समझाया गया है:
1. समस्या: "बेक किए गए केक" की दुविधा (The "Baked Cake" Dilemma)
AI की दुनिया में, "ट्रेनिंग" का अर्थ है कि कंप्यूटर अपने आंतरिक सेटिंग्स (weights) को बार-बार एडजस्ट करके सीखता है।
- पुराना तरीका: Apple का रोबोटिक हाथ एक कस्टम केक मोल्ड (सांचे) की तरह काम करता है। एक बार जब आप बैटर (AI मॉडल) को मोल्ड में डाल देते हैं और उसे बेक (प्रोग्राम कंपाइल) कर देते हैं, तो उसका आकार तय हो जाता है। यदि आप रेसिपी बदलना चाहते हैं (weights अपडेट करना), तो आपको पूरा मोल्ड फेंकना होगा, नया खरीदना होगा और फिर से केक बेक करना होगा।
- परिणाम: हर बार जब AI थोड़ा सा भी सीखता था, तो सिस्टम को रुकना पड़ता था, पूरे मोल्ड को फेंकना पड़ता था और फिर से शुरुआत करनी पड़ती थी। इसमें एक स्टेप के लिए लगभग 4.2 सेकंड लगते थे। चूंकि ट्रेनिंग के लिए हजारों स्टेप्स की आवश्यकता होती है, इसलिए यह बहुत धीमा था।
2. सफलता: "डेल्टा कंपाइलेशन" (The Surgical Patch)
Orion टीम ने एक गुप्त ट्रिक खोजी। उन्होंने महसूस किया कि भले ही "मोल्ड" बेक हो चुका है, लेकिन इसके अंदर की सामग्री (ingredients) को बदला जा सकता है, यदि आप जानते हों कि केक को तोड़े बिना ओवन का दरवाजा कैसे खोलना है।
- उपमा: कल्पना कीजिए कि केक पहले से ही बेक हो चुका है, लेकिन उसके अंदर के चॉकलेट चिप्स "weights" हैं। पूरे केक को दोबारा बेक करने के बजाय, Orion केक को अनलोड करता है, काउंटर पर चिप्स को बदलता है, और फिर केक को रीलोड करता है।
- परिणाम: यह "सर्जिकल पैच" 4.2 सेकंड के बजाय केवल 0.5 सेकंड लेता है। यह 8.5 गुना तेज़ है। इसने 1 घंटे की ट्रेनिंग सेशन को 22 मिनट में बदल दिया।
3. अनुवादक: कंपाइलर (The Compiler)
रोबोटिक हाथ एक बहुत ही अजीब और गुप्त भाषा (MIL कोड) बोलता है जिसे सामान्य कंप्यूटर नहीं समझते।
- उपमा: Orion एक सुपर-स्मार्ट अनुवादक की तरह काम करता है। आप अपनी AI कोड को उस भाषा में लिखते हैं जिसे आप समझते हैं (जैसे Python या मानक गणित)। Orion इसे रोबोटिक हाथ की गुप्त भाषा में अनुवाद करता है, गलतियों की जांच करता है, और इसे ऑप्टिमाइज़ करता है ताकि रोबोटिक हाथ अपने ही पैरों में न उलझ जाए।
- खोज: टीम ने इस रोबोटिक हाथ के काम करने के तरीके के बारे में 20 छिपे हुए नियम खोजे। उदाहरण के लिए, "आप एक साथ दो बाउल बैटर को मिक्स नहीं कर सकते," या "आपको अपनी सामग्री वर्णमाला (alphabetically) के क्रम में रखनी होगी।" उन्होंने इन सभी नियमों को दस्तावेजीकृत किया ताकि अन्य डेवलपर्स को अनुमान न लगाना पड़े।
4. "हॉट-स्वैप" एडॉप्टर (LoRA)
कभी-कभी आप AI को एक नया कौशल सिखाना चाहते हैं (जैसे शेक्सपियर की शैली में लिखना) बिना पूरे दिमाग को फिर से ट्रेन किए।
- उपमा: आमतौर पर, आपको पूरा रोबोटिक हाथ फिर से बनाना होगा। Orion आपको रोबोट पर एक नया चश्मा क्लिप करने (एक LoRA एडॉप्टर) की अनुमति देता है। आप रोबोट के काम करते समय इन चश्मों को तुरंत बदल सकते हैं, जिससे बिना रुके या बिना कुछ दोबारा बनाए उसकी शैली बदली जा सकती है।
5. स्थिरता: "पिघलने" को ठीक करना (Fixing the "Melting")
जब उन्होंने पहली बार AI को ट्रेन करने की कोशिश की, तो यह बार-बार क्रैश हो रहा था और अजीबोगरीब परिणाम (NaN errors) दे रहा था, जैसे कि एक केक जो पिघलकर कीचड़ बन गया हो।
- समाधान: उन्होंने इन तीन विशिष्ट बग्स को खोजा जो "पिघलने" का कारण बन रहे थे:
- रोबोट नया केक बनाने की कोशिश करते समय पुराने निर्देशों का उपयोग कर रहा था।
- संख्याएं बहुत बड़ी हो गईं और फट गईं (overflow)।
- सामग्री की सूची (ingredient list) दूषित हो गई थी।
- परिणाम: उन्होंने इन बग्स को ठीक किया, और अब AI बिना कभी क्रैश हुए या पिघले 1,000 स्टेप्स तक ट्रेन हो सकता है।
यह क्यों मायने रखता है?
- गति (Speed): अब आप AI मॉडल को केवल बड़े डेटा सेंटरों में ही नहीं, बल्कि अपने स्वयं के Mac या iPhone पर भी ट्रेन कर सकते हैं।
- गोपनीयता (Privacy): आपका डेटा आपके डिवाइस को कभी नहीं छोड़ता है।
- दक्षता (Efficiency): रोबोटिक हाथ खाली रहने पर लगभग शून्य बिजली का उपयोग करता है, जो इसे हमेशा चालू रहने वाले AI फीचर्स के लिए एकदम सही बनाता है।
- ओपन सोर्स (Open Source): Orion सभी के उपयोग के लिए मुफ्त है। यह रोबोटिक हाथ की चाबियाँ पूरी दुनिया को देने जैसा है, ताकि हम मिलकर अगली पीढ़ी के स्मार्ट डिवाइस बना सकें।
संक्षेप में: Orion ने Apple के सुपर-फास्ट AI ब्रेन के गुप्त दरवाजे को खोल दिया, यह सिखाया कि इसे बिना स्क्रैच से दोबारा बनाए कैसे अपडेट किया जाए, और इसे बिना क्रैश हुए कैसे सीखा जाए। यह एक "ब्लैक बॉक्स" को एक पारदर्शी, प्रोग्रामेबल टूल में बदल देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।