Factored Gossip DiLoCo: Reducing Blocking Communication in DiLoCo
यह शोध पत्र Factored Gossip DiLoCo को प्रस्तुत करता है, जो एक वितरित प्रशिक्षण ढांचा (distributed training framework) है जो सटीक बाहरी सिंक्रनाइज़ेशन (exact outer synchronization) को गैर-अवरोधक गॉसिप (non-blocking gossip) और अवरोधक चरणों (blocking steps) के एक ट्यूनेबल मिश्रण से बदलकर बड़े पैमाने पर कम-बैंडविड्थ सेटिंग्स में ब्लॉकिंग संचार को कम करता है, जिससे DiLoCo के तुलनीय प्रशिक्षण प्रगति को बनाए रखते हुए कंप्यूट उपयोगिता और विफलताओं के प्रति मजबूती में सुधार होता है।