🤖 AI

Does Distributed Training Undermine Compute Governance?

यह शोध पत्र तर्क देता है कि वितरित प्रशिक्षण एल्गोरिदम (distributed training algorithms) में प्रगति डेवलपर्स को विकेंद्रीकृत हार्डवेयर समूहों (decentralized hardware agglomerations) का उपयोग करके कंप्यूट गवर्नेंस नियमों से बचने की अनुमति दे सकती है, जिसके लिए अवैध संचालन का पता लगाने और उन्हें रोकने के लिए चिप ट्रैकिंग, फोरेंसिक अकाउंटिंग और उन्नत निगरानी थ्रेशोल्ड जैसे नए जवाबी उपायों की आवश्यकता है।

मूल लेखक: Robi Rahman

प्रकाशित 2026-05-29

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Robi Rahman

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि दुनिया के सबसे शक्तिशाली AI मॉडल विशाल, अत्यंत उन्नत कारखानों की तरह हैं। वर्तमान में, सरकारें इन कारखानों को नियंत्रित करने के लिए चेकपॉइंट्स (चौकी) स्थापित करने की कोशिश कर रही हैं। नियम सरल है: "यदि आप एक निश्चित आकार से बड़ा कारखाना बनाते हैं (जिसे इसकी कंप्यूटिंग शक्ति के आधार पर मापा जाता है), तो आपको इसे पंजीकृत करना होगा, हमें इसका निरीक्षण करने देना होगा, और यह सिद्ध करना होगा कि आप सुरक्षित हैं।"

इसके पीछे का तर्क यह है कि बड़े कारखानों को छिपाना कठिन होता है। वे भारी मात्रा में बिजली का उपयोग करते हैं, बहुत अधिक स्थान घेरते हैं, और बहुत अधिक गर्मी पैदा करते हैं। यदि आप एक गुप्त सुपर-कारखाना बनाने की कोशिश करते हैं, तो उपग्रह और बिजली कंपनियाँ उन्हें पकड़ लेंगी।

समस्या: "लेगो" (Lego) लूपहोल
यह शोध पत्र तर्क देता है कि डिस्ट्रीब्यूटेड ट्रेनिंग (Distributed Training) नामक एक नई तकनीक इस खेल को बदल देती है। एक विशाल कारखाना बनाने के बजाय, एक डेवलपर काम को दुनिया भर में बिखरे हुए हजारों छोटे, अलग-अलग वर्कशॉप में विभाजित कर सकता है।

इसे इस प्रकार समझें:

पुराना तरीका: एक विशाल, 50 मंजिला गगनचुंबी इमारत बनाना। इसे छिपाना असंभव है; हर कोई निर्माण क्रेन और बिजली की लाइनों को देख लेता है।
नया तरीका: एक गगनचुंबी इमारत बनाने के बजाय, आप अलग-अलग मोहल्लों में 1,000 छोटे, एक मंजिला शेड (झोपड़ीनुमा कमरे) बनाते हैं। प्रत्येक शेड इतना छोटा है कि वह "बड़े निर्माण" वाले अलार्म को ट्रिगर नहीं करता है। लेकिन, यदि आप इन सभी शेड्स को एक डिजिटल नेटवर्क के माध्यम से जोड़ देते हैं, तो वे एक विशाल गगनचुंबी इमारत की तरह मिलकर काम कर सकते हैं।

पत्र का दावा है कि हाल ही में सॉफ्टवेयर में हुई प्रगति (विशेष रूप से DiLoCo जैसे एल्गोरिदम) ने इन छोटे शेड्स को सामान्य इंटरनेट कनेक्शन के माध्यम से जोड़ने को संभव बना दिया है। भले ही इंटरनेट एक वास्तविक डेटा सेंटर के भीतर मौजूद सुपर-फास्ट केबलों की तुलना में बहुत धीमा है, नया सॉफ्टवेयर इन शेड्स के बीच भेजे जाने वाले डेटा को इतना अधिक संकुचित (compress) करने में सक्षम है कि प्रशिक्षण फिर भी काम करता है।

मुख्य निष्कर्ष: क्या वे नियमों से बच सकते हैं?
लेखक ने एक सिमुलेशन चलाया यह देखने के लिए कि क्या एक डेवलपर इन छोटे, अपंजीकृत शेड्स का उपयोग करके एक "फ्रंटियर" AI (एक ऐसा मॉडल जो वर्तमान के सर्वश्रेष्ठ मॉडलों जितना स्मार्ट हो) विकसित कर सकता है।

परिणाम नियामकों के लिए चिंताजनक हैं:

हाँ, यह संभव है। एक डेवलपर सैद्धांतिक रूप से वर्तमान अत्याधुनिक मॉडलों (जैसे Llama 3.1 या GPT-4) के समान शक्तिशाली मॉडल केवल इन छोटे, अपंजीकृत शेड्स का उपयोग करके प्रशिक्षित कर सकता है।
यह महंगा है, लेकिन मुमकिन है। इसे पूरा करने के लिए, उन्हें हार्डवेयर पर लाखों (या यहाँ तक कि अरबों) डॉलर खर्च करने की आवश्यकता होगी। हालाँकि, यदि कोई डेवलपर नियमों को दरकिनार करने के लिए दृढ़ है, तो वह इस कीमत को चुकाने के लिए तैयार हो सकता है।
"गति" का जाल। पत्र यह मानकर चलता है कि डेवलपर के पास प्रोजेक्ट पूरा करने के लिए लगभग दो साल का समय है। यदि वे इसे तेज़ी से करने की कोशिश करते हैं, तो उन्हें अधिक हार्डवेयर और अधिक लोगों की आवश्यकता होगी, जिससे उन्हें पकड़ना आसान हो जाएगा। यदि वे इसे धीमा करते हैं, तो वे नई तकनीक द्वारा पीछे छूट जाने का जोखिम उठाते हैं। इसलिए, वे लगभग दो साल के "स्वीट स्पॉट" (उपयुक्त समय) का लक्ष्य रखते हैं, जो एक शक्तिशाली मॉडल बनाने के लिए पर्याप्त लंबा है लेकिन प्रगति से आगे रहने के लिए पर्याप्त छोटा भी है।

यह एक समस्या क्यों है?
यदि एक डेवलपर हजारों छोटे, अपंजीकृत शेड्स में अपने संचालन को छिपा सकता है, तो सरकार के वर्तमान नियम बेकार हो जाते हैं। सरकार को पता ही नहीं चलेगा कि कारखाना मौजूद है क्योंकि कोई भी एकल शेड इतना बड़ा नहीं है कि अलार्म बजा सके। इसका मतलब है कि सुरक्षा जांच के बिना अंधेरे में खतरनाक AI क्षमताओं को विकसित किया जा सकता है।

प्रस्तावित समाधान: इस लूपहोल को कैसे बंद करें
पत्र सुझाव देता है कि हम अब केवल "आकार" की सीमाओं पर निर्भर नहीं रह सकते। हमें इन "लेगो" ऑपरेशनों को पकड़ने के लिए नए तरीकों की आवश्यकता है:

ईंटों को ट्रैक करें (चिप ट्रैकिंग): केवल यह गिनने के बजाय कि कारखाना कितना बड़ा है, हर एक "ईंट" (कंप्यूटर चिप) को उसके निर्माण के क्षण से ट्रैक करें। यदि एक चिप का उपयोग किसी गुप्त शेड में किया जाता है, तो रजिस्ट्री को इसे फ्लैग (चिह्नित) करना चाहिए।
"मुखबिर" प्रणाली (Whistleblowing): 1,000 शेड्स चलाने के लिए लोगों की एक बड़ी टीम की आवश्यकता होती है जो उन्हें स्थापित और बनाए रख सके। पत्र सुझाव देता है कि आप जितने अधिक लोगों की आवश्यकता महसूस करेंगे, किसी के बोलने की संभावना उतनी ही अधिक होगी। अंदरूनी लोगों को गुप्त ऑपरेशनों की रिपोर्ट करने के लिए पुरस्कार देने से बहुत प्रभावी परिणाम मिल सकते हैं।
स्टोरेज शेल्फ की जाँच करें (मेमोरी सीमाएं): वर्तमान में, नियम केवल चिप्स की गति को देखते हैं। लेकिन कुछ चिप्स में उनकी गति के सापेक्ष बहुत अधिक स्टोरेज (मेमोरी) होती है। पत्र सुझाव देता है कि एक नियम बनाएं: "यदि आपके शेड में 16 मानक चिप्स से अधिक स्टोरेज है, तो आपको पंजीकरण करना होगा," भले ही गति कम हो। यह डेवलपर को उसी काम को करने के लिए अधिक शेड्स का उपयोग करने के लिए मजबूर करता है, जिससे ऑपरेशन बड़ा, अधिक महंगा और पकड़ने में आसान हो जाता है।
आकस्मिक निरीक्षण: परमाणु निरीक्षकों की तरह, सरकारों के पास संदिग्ध स्थानों पर बिना सूचना दिए जाने और यह जाँचने का अधिकार होना चाहिए कि क्या वे एक बड़े नेटवर्क का हिस्सा हैं।

निष्कर्ष
पत्र निष्कर्ष निकालता है कि हालांकि डिस्ट्रिब्यूटेड ट्रेनिंग AI को विनियमित करना कठिन बनाती है, लेकिन यह इसे असंभव नहीं बनाती है। "लूपहोल" मौजूद है, लेकिन यह कोई जादू का खेल नहीं है। इसके लिए बहुत अधिक धन, बहुत से लोग और बहुत अधिक समन्वय की आवश्यकता होती है। चिप ट्रैकिंग, मेमोरी सीमाओं और मानवीय बुद्धिमत्ता (मुखबिरों) को मिलाकर, नियामक अभी भी इन छिपे हुए ऑपरेशनों पर प्रकाश डाल सकते हैं और AI विकास को सुरक्षित रख सकते हैं।

तकनीकी सारांश: क्या वितरित प्रशिक्षण (Distributed Training) कंप्यूट गवर्नेंस को कमजोर करता है?

समस्या विवरण

वर्तमान और प्रस्तावित कंप्यूट गवर्नेंस फ्रेमवर्क (जैसे, US Executive Order 14110, EU AI Act, California SB 53, और Scher et al. 2025 का प्रस्ताव) इस धारणा पर निर्भर करते हैं कि फ्रंटियर AI मॉडल के प्रशिक्षण के लिए बड़े, केंद्रीकृत डेटासेंटर क्लस्टर्स की आवश्यकता होती है। ये नियम आमतौर पर विशिष्ट कंप्यूट थ्रेशोल्ड (जैसे, $10^{24}$ से $10^{26}$ FLOPs) या हार्डवेयर कॉन्फ़िगरेशन (जैसे, 16 H100-इक्विवेलेंट से बड़े क्लस्टर) के लिए रिपोर्टिंग और निगरानी अनिवार्य करते हैं।

पहचानी गई मुख्य समस्या यह है कि हालिया उन्नत वितरित प्रशिक्षण एल्गोरिदम, विशेष रूप से DiLoCo (Distributed Low-Communication) परिवार, डेवलपर्स को इन नियमों से बचने की अनुमति दे सकते हैं। हजारों छोटे, भौगोलिक रूप से बिखरे हुए नोड्स में एक फ्रंटियर-स्केल ट्रेनिंग रन को विभाजित करके, डेवलपर्स सैद्धांतिक रूप से बिजली की खपत, भौतिक पदचिह्न (physical footprint), या क्लस्टर आकार के आधार पर पहचान तंत्र को सक्रिय किए बिना बड़े पैमाने पर प्रशिक्षण आयोजित कर सकते हैं। यह शोध जांच करता है कि क्या सख्त बाधाओं (उपभोक्ता-ग्रेड इंटरनेट, सब-थ्रेशोल्ड हार्डवेयर) के तहत ऐसा "अवैध वितरित प्रशिक्षण" (illicit distributed training) व्यवहार्य है और वर्तमान एवं प्रस्तावित जवाबी उपायों की प्रभावकारिता का मूल्यांकन करता है।

कार्यप्रणाली (Methodology)

लेखकों ने वितरित प्रशिक्षण से बचाव की व्यवहार्यता का मूल्यांकन करने के लिए एक व्यापक दक्षता मॉडल और इंटरैक्टिव सिम्युलेटर विकसित किया है। कार्यप्रणाली में शामिल है:

थ्रेट मॉडल (Threat Model): सिमुलेशन एक अच्छी तरह से संसाधन प्राप्त डेवलपर को मानता है जो प्रतिबंधात्मक स्थितियों के तहत Llama 3.1-405B या DeepSeek-V3 के समान मॉडल प्रशिक्षित करने का प्रयास कर रहा है:
- हार्डवेयर: नोड्स $\le$ 16 H100-इक्विवेलेंट तक सीमित हैं (Scher et al., 2025 द्वारा प्रस्तावित थ्रेशोल्ड)।
- नेटवर्क: 100 Mbps बैंडविड्थ और 100 ms लेटेंसी के साथ उपभोक्ता-ग्रेड इंटरनेट (डेटासेंटर इंटरकनेक्ट्स की तुलना में कई गुना धीमा)।
- समय: दो साल (740 दिन) की अधिकतम प्रशिक्षण अवधि, जो प्रतिबंधात्मक गवर्नेंस परिदृश्य में विकास दर की धारणाओं से प्राप्त की गई है।
- डिटेक्शन (Detection): शासी निकाय बिजली, थर्मल, सैटेलाइट इमेजरी और नेटवर्क ट्रैफिक की सक्रिय रूप से निगरानी करता है।
दक्षता मेट्रिक्स (Efficiency Metrics): सिम्युलेटर दो प्राथमिक मेट्रिक्स की गणना करता है:
- लोकल-इक्विवेलेंट कंप्यूट ( $C_{local}$ ): वितरित अक्षमताओं ( $\eta$ ) के लिए समायोजित नाममात्र कंप्यूट थ्रूपुट।
- क्वालिटी-एडजस्टेड कंप्यूट ( $C_{quality}$ ): मेमोरी बाधाओं और ओवरट्रेनिंग के कारण सब-ऑप्टिमल मॉडल साइजिंग को ध्यान में रखते हुए, $C_{local}$ को आगे एक चिनचिला-ऑप्टिमल पेनल्टी ( $\chi$ ) द्वारा समायोजित किया गया है।
अक्षमता कारक ( $\eta$ - Inefficiency Factors): मॉडल वितरित प्रशिक्षण में निहित चार विशिष्ट दंडों (penalties) को ध्यान में रखता है:
- सिंक इंटरवल पेनल्टी ( $\eta_H$ ): ग्रेडिएंट ड्रिफ्ट के कारण होने वाला नुकसान, जहाँ रेप्लिकास स्थानीय स्टेप्स ( $H$ ) करने से पहले सिंक्रोनाइज़ करते हैं।
- कंप्रेशन क्वालिटी ( $\eta_{comp}$ ): बैंडविड्थ बचाने के लिए ग्रेडिएंट्स को कंप्रेस करने से होने वाला नुकसान (Covenant-72B के परिणामों के आधार पर 150 $\times$ कंप्रेशन पर मॉडल किया गया)।
- रेप्लिका डायवर्जेंस ( $\eta_{rep}$ ): अलग-अलग डेटा सबसेट्स पर प्रशिक्षित रेप्लिकास के बीच ग्रेडिएंट्स को औसत करने से होने वाला नुकसान।
- एक्टिवेशन क्वालिटी पेनल्टी ( $\eta_{act}$ ): नोड्स के बीच पाइपलाइन पैरेललिज्म का उपयोग करते समय एक्टिवेशन्स को कंप्रेस करने से होने वाला नुकसान।
हार्डवेयर चयन: मॉडल विभिन्न सब-थ्रेशोल्ड कॉन्फ़िगरेशन का मूल्यांकन करता है, जिसमें NVIDIA A100 80GB, GH200, और विभिन्न TPU/Ascend कॉन्फ़िगरेशन शामिल हैं, जो संचार ओवरहेड को कम करने के लिए उच्च मेमोरी-टू-कंप्यूट अनुपात वाले हार्डवेयर को प्राथमिकता देते हैं।

मुख्य योगदान और परिणाम

1. बचाव की व्यवहार्यता (Feasibility of Evasion)

सिमुलेशन प्रदर्शित करता है कि वितरित प्रशिक्षण प्रस्तावित नियामक थ्रेशोल्ड से नीचे रहने वाले हार्डवेयर कॉन्फ़िगरेशन का उपयोग करके फ्रंटियर-स्केल कंप्यूट ( $>10^{24}$ FLOPs) प्राप्त कर सकता है।

बचाव की लागत (Cost of Evasion): पेपर अनुमान लगाता है कि एक डेवलपर निम्नलिखित के लिए बच सकता है:
- Scher et al. (2025) थ्रेशोल्ड ( $10^{24}$ FLOPs) के लिए लगभग $1.6 मिलियन।
- EU AI Act थ्रेशोल्ड ( $10^{25}$ FLOPs) के लिए लगभग $31 मिलियन।
- California SB 53 थ्रेशोल्ड ( $10^{26}$ FLOPs) के लिए लगभग $3.8 बिलियन।
नोड काउंट: GPT-4 ( $10^{25}$ FLOPs) के कंप्यूट स्तर को प्राप्त करने के लिए लगभग 101 सब-थ्रेशोल्ड नोड्स की आवश्यकता होती है, जबकि Llama 3.1-405B ( $10^{25}$ FLOPs) के लिए 625 नोड्स की आवश्यकता होती है।
नेटवर्क बाधाएं: कम बैंडविड्थ (100 Mbps) के साथ भी, वितरित प्रशिक्षण व्यवहार्य बना रहता है। हालांकि केंद्रीयकृत प्रशिक्षण की तुलना में लागत लगभग 3 $\times$ बढ़ जाती है, लेकिन यह दृढ़ इरादे वाले अभिनेताओं के लिए एक निषेधात्मक बाधा नहीं है।

2. हार्डवेयर और आर्किटेक्चर अनुकूलन

अध्ययन पहचान करता है कि मेमोरी-टू-कंप्यूट अनुपात एक महत्वपूर्ण कारक है। उच्च मेमोरी वाले नोड्स (जैसे, 50 $\times$ A100 80GB) प्रति नोड बड़े मॉडल की अनुमति देते हैं, जिससे पाइपलाइन पैरेललिज्म और संबंधित एक्टिवेशन कंप्रेशन पेनल्टी की आवश्यकता कम हो जाती है। सिम्युलेटर दिखाता है कि बहुत बड़े पैमाने पर मॉडल को मेमोरी में फिट करने के लिए Pipeline-Parallel (PP) DiLoCo का उपयोग करना आवश्यक हो जाता है, हालांकि यह दक्षता दंड (efficiency penalties) पेश करता है।

3. जवाबी उपायों का मूल्यांकन

पेपर बचाव का पता लगाने या रोकने के लिए विभिन्न जवाबी उपायों का आकलन करता है:

अप्रभावी उपाय:
- बैंडविड्थ कैप्स: वैश्विक स्तर पर लागू करना असंभव है; उच्च गति वाले इंटरनेट की लागत हार्डवेयर लागत की तुलना में नगण्य है।
- इंटरनेट ट्रैफिक मॉनिटरिंग: DiLoCo ट्रैफिक कम-वॉल्यूम का होता है (<40 Mbps) और इसे जिटर (jitter), वेरिएबल-रेट स्ट्रीमिंग और VPN के माध्यम से आसानी से छिपाया जा सकता है।
प्रभावी उपाय:
- चिप ट्रैकिंग और रजिस्ट्री: चिप कब्जे और हस्तांतरण की अनिवार्य रिपोर्टिंग। चूंकि वितरित प्रशिक्षण को समान कंप्यूट प्राप्त करने के लिए केंद्रीकृत प्रशिक्षण की तुलना में अधिक कुल हार्डवेयर की आवश्यकता होती है, इसलिए चिप्स के एक बड़े हिस्से को ट्रैक करने वाली रजिस्ट्री बचाव को कठिन बनाती है।
- व्हिसलब्लोअर प्रोग्राम: वितरित संचालन के लिए सैकड़ों स्थानों पर खरीद, स्थापना और रखरखाव के लिए काफी बड़ी कार्यबल (workforce) की आवश्यकता होती है, जिससे "अटैक सरफेस" (attack surface) बढ़ जाता है।
- मेमोरी थ्रेशोल्ड: पेपर क्लस्टर परिभाषाओं में एक्सेलेरेटर मेमोरी थ्रेशोल्ड (जैसे, 1,280 GB HBM) को कंप्यूट थ्रेशोल्ड के साथ जोड़ने का प्रस्ताव देता है। यह बचाव करने वालों को या तो छोटे मॉडल का उपयोग करने के लिए मजबूर करता है (जिससे गंभीर ओवरट्रेनिंग होती है) या मॉडल को अधिक नोड्स में विभाजित करने के लिए मजबूर करता है, जिससे लागत और परिचालन जटिलता ~50% बढ़ जाती है।
- चुनौतीपूर्ण निरीक्षण और इंटेलिजेंस: पारंपरिक वित्तीय और भौतिक निरीक्षण, उपरोक्त के साथ मिलकर, अभी भी व्यवहार्य बने हुए हैं।

महत्व और दावे

पेपर का दावा है कि वितरित प्रशिक्षण वर्तमान कंप्यूट गवर्नेंस प्रस्तावों को मौलिक रूप से कमजोर करता है जो केवल क्लस्टर आकार या कंप्यूट थ्रूपुट थ्रेशोल्ड पर निर्भर करते हैं। लेखक तर्क देते हैं कि विशिष्ट जवाबी उपायों के बिना, नियम एक "एन्फोर्समेंट गैप" (enforcement gap) बनाएंगे जहां फ्रंटियर मॉडल अवैध रूप से विकसित किए जा सकते हैं।

इस कार्य का महत्व इस प्रकार है:

भेद्यता की पहचान करना: यह प्रदर्शित करना कि एल्गोरिथम प्रगति (DiLoCo) वर्तमान गवर्नेंस फ्रेमवर्क की स्थिर धारणाओं से आगे निकल गई है।
जोखिम का मात्रा निर्धारण: विशिष्ट वास्तविक दुनिया के नियमों को बायपास करने के लिए आवश्यक हार्डवेयर कॉन्फ़िगरेशन और लागत के ठोस अनुमान प्रदान करना।
मजबूत समाधान प्रस्तावित करना: यह तर्क देना कि लूपहोल को बंद करने के लिए चिप रजिस्ट्री, मेमोरी-आधारित थ्रेशोल्ड, और व्हिसलब्लोअर प्रोग्राम का संयोजन आवश्यक है। लेखक इस बात पर जोर देते हैं कि हालांकि कोई भी एकल उपाय पूर्ण नहीं है, लेकिन उनका संयोजन बचाव की लागत और जटिलता को उस स्तर तक बढ़ा देता है जो निगरानी को बहाल करता है।

पेपर निष्कर्ष निकालता है कि हालांकि वर्तमान में वितरित बचाव की बढ़ी हुई लागत "आर्थिक रूप से अरुचिकर" (economically unpalatable) है, लेकिन यदि नियामक बाधाएं सख्त होती हैं, तो वे स्वीकार्य हो सकती हैं। इसलिए, गवर्नेंस मानकों को केवल खतरे के पूरी तरह से प्रकट होने का इंतजार करने के बजाय, तुरंत ऐसे बचाव के प्रति मजबूत बनाया जाना चाहिए।