Model Parallelism With Subnetwork Data Parallelism
यह शोध पत्र सबनेटवर्क डेटा पैरेललिज्म (SDP) को प्रस्तुत करता है, जो एक वितरित प्रशिक्षण ढांचा है जो मॉडलों को संरचित सबनेटवर्कों में विभाजित करता है जिन्हें एक्टिवेशन्स (activations) को साझा किए बिना वर्कर्स के बीच प्रशिक्षित किया जाता है, जिससे विभिन्न आर्किटेक्चर और स्केल्स पर प्रदर्शन को बनाए रखते हुए या उसमें सुधार करते हुए महत्वपूर्ण मेमोरी कमी (28%-60%) प्राप्त होती है।