← नवीनतम पेपर
🤖 AI

CCL-D: A High-Precision Diagnostic System for Slow and Hang Anomalies in Large-Scale Model Training

यह शोध पत्र CCL-D प्रस्तुत करता है, जो एक उच्च-परिशुद्धता वाला नैदानिक तंत्र है जो एक हल्के रियल-टाइम प्रोब को एक इंटेलिजेंट एनालाइज़र के साथ जोड़ता है ताकि बड़े पैमाने पर वितरित प्रशिक्षण (डिस्ट्रीब्यूटेड ट्रेनिंग) में धीमी या हैंगिंग संचार विसंगतियों के मूल कारणों का तेजी से पता लगाया जा सके और उन्हें सटीक रूप से पहचाना जा सके, जिससे 4,000-GPU क्लस्टर पर छह मिनट के भीतर दोषपूर्ण GPU रेंक्स की पहचान करने और लगभग पूर्ण कवरेज प्राप्त करने में सफलता मिली है।

मूल लेखक: Yida Gu, Fakang Wang, Jianhao Fu, Zhenhang Sun, Qianyu Zhang, Hairui Zhao, Xingchen Liu, Yang Tian, Wenjing Huang, Zedong Liu, Yifan Chen, Jinwu Yang, Yueyuan Zhou, Qian Zhao, Haoxu Li, Tao Wang, Feng
प्रकाशित 2026-05-07
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Yida Gu, Fakang Wang, Jianhao Fu, Zhenhang Sun, Qianyu Zhang, Hairui Zhao, Xingchen Liu, Yang Tian, Wenjing Huang, Zedong Liu, Yifan Chen, Jinwu Yang, Yueyuan Zhou, Qian Zhao, Haoxu Li, Tao Wang, Feng Yu, Zhan Wang, Guangming Tan, Dingwen Tao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल ऑर्केस्ट्रा के कंडक्टर हैं जिसमें 4,000 संगीतकार (GPUs) हैं, जो सभी एक ही जटिल सिम्फनी (एक विशाल AI मॉडल) बजा रहे हैं। संगीत सही सुनाई देने के लिए, हर संगीतकार को बिल्कुल एक ही समय पर शुरू और समाप्त करना होगा, और शीट म्यूजिक को पूरी लय के साथ एक-दूसरे को पास करना होगा।

यदि एक भी संगीतकार विचलित होता है, अपना वाद्य यंत्र गिरा देता है, या अलग धुन बजाने लगता है, तो पूरा ऑर्केस्ट्रा रुक जाता है। AI ट्रेनिंग की दुनिया में, इसे "Slow" या "Hang" विसंगति (anomaly) कहा जाता है।

लंबे समय तक, इन समस्याओं को ठीक करना एक घास के ढेर में सुई खोजने जैसा था जबकि आपकी आँखों पर पट्टी बंधी हो। इंजीनियरों को संगीत रोकना पड़ता था, हर वाद्य यंत्र की मैन्युअल रूप से जांच करनी पड़ती थी, और यह अनुमान लगाना पड़ता था कि कौन ताल से बाहर है। इसमें कई दिन लग सकते थे, जिससे कंप्यूटिंग पावर के करोड़ों डॉलर बर्बाद होते थे।

यहाँ आता है CCL-D, एक नया "सुपर-कंडक्टर" सिस्टम जिसे इसे हल करने के लिए डिज़ाइन किया गया है। यह कैसे काम करता है, यहाँ सरल भाषा में समझाया गया है:

1. समस्या: "मौन" खराबी (The "Silent" Glitch)

एक सामान्य ऑर्केस्ट्रा में, यदि कोई बजना बंद कर देता है, तो आप उसे तुरंत सुन लेते हैं। लेकिन AI ट्रेनिंग में, समस्या अक्सर मौन होती है।

  • "Hang" (ठहराव): एक संगीतकार पूरी तरह से हिलना-डुलना बंद कर देता है।
  • "Slow" (धीमापन): एक संगीतकार बज तो रहा है, लेकिन वह बहुत धीमी गति से हाथ चला रहा है।

चूंकि सिस्टम इतना जटिल है, पारंपरिक उपकरण यह नहीं बता पाते थे कि कौन समस्या का कारण था या क्यों। वे एक सुरक्षा कैमरे की तरह थे जो केवल यह जानते थे कि "कुछ गलत है" लेकिन अपराधी को करीब से देखने के लिए ज़ूम नहीं कर सकते थे।

2. समाधान: CCL-D का "स्मार्ट कान" (The "Smart Ear")

लेखकों ने CCL-D बनाया है, एक ऐसा सिस्टम जो संगीत में बाधा डाले बिना वास्तविक समय (real-time) में हर एक संगीतकार को सुनता है।

  • "स्टेथोस्कोप" (The Probe):
    सिर्फ यह जांचने के बजाय कि क्या कोई संगीतकार "वहाँ है", CCL-D हर एक GPU से एक छोटा, अदृश्य स्टेथोस्कोप जोड़ देता है। यह केवल यह नहीं गिनता कि कितने नोट बजाए गए; यह संगीतकारों के बीच हर एक हाथ की हरकत (डेटा ट्रांसफर) की गति और समय को मापता है।

    • उपमा: कल्पना कीजिए कि एक सिस्टम जो ठीक से गिनता है कि एक वायलिन वादक प्रति सेकंड कितनी बार अपना धनुष (bow) चलाता है। यदि एक वायलिन वादक अपनी गति 100 से घटाकर 10 कर देता है, तो सिस्टम तुरंत जान जाता है।

  • "कंडक्टर का मस्तिष्क" (The Analyzer):
    यह सारा डेटा एक केंद्रीय मस्तिष्क को भेजा जाता है जो केवल यह नहीं कहता कि "एक समस्या है।" यह सटीक मूल कारण (root cause) का पता लगाने के लिए एक स्मार्ट डिसीजन ट्री (decision tree) का उपयोग करता है।

    • क्या संगीतकार इसलिए रुका क्योंकि वह संगीत भूल गया? (Not-Entered Hang)
    • क्या संगीतकार बाकी लोगों की तुलना में गलत नोट्स बजा रहा है? (Inconsistent Hang)
    • क्या संगीतकार का वाद्य यंत्र खराब है? (Hardware Fault)
    • क्या संगीतकार बस थक गया है और धीरे चल रहा है? (Computation Slow)
    • क्या संगीतकारों के बीच का गलियारा बहुत भीड़भाड़ वाला है? (Communication Slow)

3. यह अदृश्य कैसे रहता है (Low Overhead)

आमतौर पर, निगरानी प्रणाली जोड़ने से ऑर्केस्ट्रा धीमा हो जाता है क्योंकि संगीतकारों को रुककर रिपोर्ट करना पड़ता है। CCL-D अलग है।

  • यह "Zero-Copy" तकनीक का उपयोग करता है। कल्पना कीजिए कि संगीतकार अपने नोट्स एक विशेष कागज पर लिख रहे हैं जिसे कंडक्टर बिना संगीतकारों को रोके या ऊपर देखे तुरंत पढ़ सकता है।
  • यह विश्लेषण का भारी काम "बैकस्टेज" (CPU) को सौंप देता है ताकि "स्टेज" (GPU) पर बोझ महसूस न हो। परिणाम? यह 1% से भी कम अतिरिक्त काम जोड़ता है, जो लगभग नगण्य है।

4. परिणाम: दिनों से मिनटों तक

टीम ने वास्तविक दुनिया के एक "ऑर्केस्ट्रा" में इसका परीक्षण किया जिसमें 4,000 GPUs थे।

  • CCL-D से पहले: समस्या खोजने में घंटों या कई दिनों तक लग जाते थे। अक्सर, इंजीनियर अपराधी को ढूंढ ही नहीं पाते थे और केवल अनुमान लगाते थे, जिससे बार-बार विफलताएँ होती थीं।
  • CCL-D के साथ: सिस्टम समस्या को पहचान लेता है और 6 मिनट से भी कम समय में सटीक दोषपूर्ण GPU की पहचान कर लेता है।
    • इसने ज्ञात "Slow" और "Hang" समस्याओं के 100% प्रकारों को खोज निकाला।
    • इसने सटीक खराब संगीतकार (GPU) की पहचान की ताकि कंडक्टर उन्हें तुरंत बदल सके।

सारांश

CCL-D को AI ट्रेनिंग के लिए एक हाई-टेक, रियल-टाइम जासूस के रूप में समझें। पूरे ऑर्केस्ट्रा के क्रैश होने का इंतज़ार करने और फिर जांच में दिन बिताने के बजाय, यह हर एक संगीतकार पर नज़र रखता है, उस व्यक्ति को पहचानता है जो ताल से बाहर है या बहुत धीरे चल रहा है, और कंडक्टर को बताता है कि किसे ठीक करने की आवश्यकता है—और यह सब तब भी होता है जब संगीत बजता रहता है। यह बड़ी AI मॉडल्स को प्रशिक्षित करने वाली कंपनियों के लिए भारी मात्रा में समय और पैसा बचाता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.AI →