कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को दुनिया को समझना सिखाने की कोशिश कर रहे हैं। इसे करने के लिए, आप उसे डेटा की विशाल मात्रा खिलाते हैं, जैसे हजारों घंटों का वीडियो, लाखों पन्नों का टेक्स्ट, या जटिल वैज्ञानिक मॉडल। रोबोट जानकारी के इन "अनुक्रमों" (sequences) को देखकर सीखता है। लेकिन यहाँ एक पेच है: सभी अनुक्रमों की लंबाई एक समान नहीं होती। कुछ छोटे होते हैं, जैसे एक छोटा ट्वीट, जबकि अन्य अविश्वसनीय रूप से लंबे होते हैं, जैसे पूरी फिल्म या एक पूरी किताब।

जब आप इन रोबोटों को प्रशिक्षित करते हैं, तो आप आमतौर पर काम को कई शक्तिशाली कंप्यूटरों (जिन्हें GPU कहा जाता है) के बीच विभाजित करते हैं जो मिलकर काम करते हैं। इसे कई शेफों की एक विशाल रसोई में काम करने जैसा समझें। यदि प्रत्येक शेफ को एक ही आकार की रेसिपी मिलती है, तो वे सभी एक साथ काम पूरा कर लेते हैं और एक साथ अगला व्यंजन शुरू कर सकते हैं। लेकिन वास्तविक दुनिया में, रेसिपी बहुत अलग-अलग होती हैं। एक शेफ को एक छोटा ऐपेटाइज़र (appetizer) मिल सकता है, जबकि दूसरे को एक विशाल, 10-कोर्स वाला भोज (banquet) मिल सकता है। छोटा व्यंजन पाने वाला शेफ सेकंडों में काम पूरा कर लेता है और बड़े भोज को पूरा करने वाले शेफ के इंतजार में खाली खड़ा रहता है। इसे "वर्कलोड इम्बैलेंस" (workload imbalance) कहा जाता है, जो बहुत सारा समय और ऊर्जा बर्बाद करता है। वैज्ञानिकों के सामने चुनौती यह figuring out करने की है कि बिना सिस्टम को इतना जटिल बनाए कि कोई इसका उपयोग न कर सके, रसोई को सुचारू रूप से कैसे चलाया जाए।

यह ठीक वही समस्या है जिसे डेटा-सेंट्रिक पैरेलल (DCP) नामक एक नई विधि द्वारा हल किया गया है, जिसे नेशनल यूनिवर्सिटी ऑफ सिंगापुर के शोधकर्ताओं द्वारा पेश किया गया है। एक कठोर, 'एक ही आकार सबके लिए' (one-size-fits-all) वाली प्रणाली में डेटा को जबरन डालने के बजाय, DCP डेटा को ही यह तय करने देती है कि काम कैसे किया जाए। कल्पना कीजिए कि एक स्मार्ट किचन मैनेजर हर ऑर्डर को आते ही देखता है और तुरंत निर्णय लेता है: "ठीक है, इस छोटे ऐपेटाइज़र के लिए, हम केवल एक शेफ का उपयोग करेंगे और इसे तेजी से बनाएंगे। इस विशाल भोज के लिए, हम एक साथ काटने और पकाने के लिए शेफ की एक पूरी टीम बुलाएंगे।"

शोध पत्र में पाया गया है कि प्रत्येक डेटा के बैच के लिए टीम के आकार और पकाने की रणनीति को गतिशील रूप से (dynamically) समायोजित करके, वे प्रशिक्षण प्रक्रिया को बहुत तेज़ बना सकते हैं। 32 शक्तिशाली H200 GPU का उपयोग करके किए गए उनके परीक्षणों में, यह दृष्टिकोण प्रशिक्षण को पुराने तरीकों की तुलना में 2.88 गुना तक तेज़ बना देता है। उन्होंने यह भी दिखाया कि यह प्रणाली अविश्वसनीय रूप से लचीली है; इसे केवल 10 लाइनों के कोड के साथ लगभग किसी भी नए AI मॉडल में जोड़ा जा सकता है, जो इसे भविष्य के लिए एक सरल लेकिन शक्तिशाली उपकरण बनाता है।

समस्या: "वेट-एंड-सी" (इंतजार करो और देखो) किचन

यह समझने के लिए कि यह इतनी बड़ी बात क्यों है, आइए देखें कि चीजें पहले कैसे काम करती थीं। अतीत में, शोधकर्ताओं ने "असमान ऑर्डर" की समस्या को दो मुख्य तरीकों से हल करने की कोशिश की, और दोनों में गंभीर खामियां थीं।

पहला तरीका एक सख्त हेड शेफ की तरह था जो कहता था, "हम हर ऑर्डर के लिए हमेशा 8 शेफ का उपयोग करेंगे, चाहे वह कितना भी बड़ा या छोटा क्यों न हो।" यदि ऑर्डर एक छोटा ऐपेटाइज़र था, तो 7 शेफ केवल आठवें शेफ को खाना बनाते हुए देखते रहते। इसे बकेट पैरेलल (Bucket Parallel) कहा जाता है। यह सरल है, लेकिन यह अविश्वसनीय रूप से विनाशकारी है। छोटे ऑर्डर वाले शेफ तुरंत काम पूरा कर लेते हैं, लेकिन पूरी रसोई को अगले दौर को शुरू करने से पहले बड़े ऑर्डरों को पूरा करने वाले सबसे धीमे शेफ का इंतजार करना पड़ता है। इससे बहुत सारा खाली समय (idle time) बर्बाद होता है।

दूसरा तरीका यह था कि शेफ को एक बार में कम सामग्री देकर भार को संतुलित करने की कोशिश की जाए। यह एक शेफ को 10-कोर्स वाले भोज के लिए केवल एक बार में एक कोर्स पकाने के लिए कहने जैसा है, जबकि ऐपेटाइज़र वाले शेफ को एक बार में पूरा भोजन बनाने दिया जाता है। इसे पैक्ड पैरेलल (Packed Parallel) या बैच साइज को एडजस्ट करना कहा जाता है। हालांकि इससे शेफ एक ही समय पर काम पूरा कर लेते हैं, लेकिन यह एक नई समस्या पैदा करता है: रसोई को सामग्री लेने के लिए पेंट्री के चक्कर बहुत अधिक लगाने पड़ते हैं। कंप्यूटर की भाषा में, इसका मतलब संचार लागत (communication costs) में भारी वृद्धि है, जो सब कुछ धीमा कर देती है।

शोधकर्ताओं का तर्क था कि मूल मुद्दा यह था कि ये पुराने तरीके स्थिर सेटिंग्स (static settings) पर निर्भर थे—ऐसे नियम जो खाना शुरू होने से पहले ही तय कर दिए जाते थे। उन्होंने डेटा को वास्तविक समय में योजना बदलने की अनुमति नहीं दी।

समाधान: एक गतिशील, डेटा-संचालित मैनेजर

नई विधि, डेटा-सेंट्रिक पैरेलल (DCP), डेटा को रनटाइम को संचालित करने की अनुमति देकर खेल बदल देती है। एक निश्चित नियम पुस्तिका के बजाय, सिस्टम एक स्मार्ट, अनुकूलन योग्य (adaptive) मैनेजर की तरह कार्य करता है जो अनुक्रम की लंबाई (ऑर्डर) को देखता है और तुरंत सेटिंग्स को समायोजित करता है।

शोधकर्ताओं ने इसे दो चतुर रणनीतियों में विभाजित किया है:

1. DCP-inter (टीमवर्क रणनीति):
   यह रणनीति सामग्री बर्बाद किए बिना वर्कलोड को संतुलित करने पर ध्यान केंद्रित करती है। यदि डेटा का एक बैच एक बहुत लंबा अनुक्रम (एक बड़ा ऑर्डर) रखता है, तो बैच का आकार कम करने के बजाय (जिससे ऊपर बताई गई संचार ओवरहेड की समस्या होती है), सिस्टम ग्रेडिएंट एक्यूमुलेशन (gradient accumulation) का उपयोग करता है। इसे ऐसे समझें कि शेफ बड़े ऑर्डर को कई छोटे चरणों में पकाता है, लेकिन टीम का आकार समान रखता है। यह तेज काम करने वालों के "खाली समय" को बड़े ऑर्डरों में मदद करने के लिए भरकर संतुलित करता है, जिससे पूरे किचन की गति धीमी हुए बिना दक्षता बनी रहती है। यह उन छोटे ऑर्डरों की दक्षता को कम किए बिना, काम में बिताए जाने वाले समय को संतुलित करता है।

2. DCP-intra (मेमोरी रणनीति):
   यह रणनीति मेमोरी की समस्या से निपटती है। लंबे अनुक्रमों पर प्रशिक्षण के दौरान, कंप्यूटरों को अक्सर अंतिम उत्तर की गणना बाद में करने के लिए "मध्यवर्ती नोट्स" (activations) को सहेजना पड़ता है। इससे बहुत अधिक मेमोरी खर्च होती है। जगह बचाने के लिए, वे आमतौर पर ग्रेडिएंट चेकपॉइंटिंग (gradient checkpointing) नामक एक ट्रिक का उपयोग करते हैं, जिसका अर्थ है कि वे नोट्स को फेंक देते हैं और बाद में उन्हें फिर से कैलकुलेट करते हैं। यह मेमोरी बचाता है लेकिन गणित को दोबारा करने में अतिरिक्त समय लेता है।
   शोधकर्ताओं ने देखा कि छोटे अनुक्रमों के लिए, कंप्यूटर के पास वास्तव में पर्याप्त खाली मेमोरी होती है। इसलिए, DCP-intra कहता है, "हे, इन छोटे ऑर्डरों के लिए, हमें नोट्स फेंकने की ज़रूरत नहीं है! चलिए इन्हें रखते हैं और पुनर्गणना (re-calculation) को छोड़ देते हैं।" यह छोटे ऑर्डरों को और भी तेज़ बनाता है। यदि कंप्यूटर लंबे ऑर्डर के लिए मेमोरी की कमी महसूस करता है, तो यह बस टीम के आकार (सीक्वेंस पैरेललिज्म) को समायोजित कर देता है ताकि जगह बन सके, और यह सब बिना किसी चीज़ को धीमा किए किया जाता है।

परिणाम: गति और सरलता

शोधकर्ताओं ने दो अलग-अलग प्रकार के AI मॉडल (एक 1D डेटा जैसे टेक्स्ट के लिए, और एक 2D डेटा जैसे वीडियो के लिए) पर तीन अलग-अलग प्रकार के डेटासेट का उपयोग करके इस नई विधि का परीक्षण किया: छोटे अनुक्रम, संतुलित अनुक्रम और लंबे अनुक्रम। उन्होंने इन परीक्षणों को 32 NVIDIA H200 GPU के क्लस्टर पर चलाया।

परिणाम प्रभावशाली थे। पुराने "बकेट" तरीके की तुलना में, अकेले DCP-inter ने प्रशिक्षण को 1.68 से 2.70 गुना तेज़ बना दिया। जब उन्होंने मेमोरी उपयोग को अनुकूलित करने के लिए दूसरी रणनीति (DCP-intra) को जोड़ा, तो गति और भी बढ़ गई, जो सबसे चुनौतीपूर्ण डेटासेट पर 2.88 गुना तक तेज़ पहुंच गई।

शायद सबसे महत्वपूर्ण बात यह है कि शोधकर्ताओं ने पाया कि यह प्रणाली उपयोग में अविश्वसनीय रूप से आसान है। उन्होंने दिखाया है कि आप केवल 10 लाइनों के कोड के बदलाव के साथ DCP को लगभग किसी भी मौजूदा AI मॉडल में एकीकृत कर सकते हैं। यह सुझाव देता है कि यह विधि केवल एक सैद्धांतिक विचार नहीं है बल्कि एक व्यावहारिक उपकरण है जिसे व्यापक रूप से अपनाया जा सकता है।

इसका क्या अर्थ है

शोध पत्र का सुझाव है कि कठोर, पूर्व-निर्धारित नियमों से हटकर और डेटा को स्वयं यह तय करने देकर कि प्रशिक्षण कैसे होता है, हम AI प्रशिक्षण की पुरानी अक्षमता की समस्या को हल कर सकते हैं। शोधकर्ताओं ने शक्तिशाली हार्डवेयर पर वास्तविक दुनिया के सिमुलेशन में इन स्पीडअप्स को मापा, जिससे पता चलता है कि यह विधि विभिन्न मॉडल आकारों और डेटा वितरणों में अच्छी तरह से काम करती है।

हालांकि वर्तमान विधि ट्रांसफॉर्मर-आधारित मॉडल (वह प्रकार का AI जिसका उपयोग अधिकांश आधुनिक टेक्स्ट और इमेज जनरेशन के लिए किया जाता है) तक सीमित है, लेखक मानते हैं कि यह दृष्टिकोण एक नया मानक स्थापित करता है। यह सिद्ध करता है कि आपको एक ऐसे सिस्टम को चुनने की आवश्यकता नहीं है जो उपयोग में आसान हो और एक ऐसा जो अत्यधिक कुशल हो। डेटा-सेंट्रिक पैरेलल के साथ, आप दोनों पा सकते हैं, जो भविष्य में और भी बड़े और अधिक जटिल AI मॉडल को प्रशिक्षित करने का मार्ग प्रशिका है।