pscaling small models: Principled warm starts and hyperparameter transfer
यह शोध पत्र एक सिद्धांत-आधारित विड्थ-आधारित अपस्केलिंग विधि प्रस्तुत करता है जो कार्यात्मक समानता सुनिश्चित करने और छोटे से बड़े मॉडलों में कुशल हाइपरपैरामीटर स्थानांतरण को सक्षम करने के लिए वेट परटर्बेशन (भार विक्षोभ) को सैद्धांतिक रूप से पुष्ट स्केलिंग नियमों के साथ जोड़ता है, जिससे विविध इन्फरेंस बजटों के लिए ट्यूनिंग की लागत कम हो जाती है।