Learning in Curved Weight Space:Exponential-Linear Weight Reparameterization for Improved Optimization
यह शोध पत्र एक्सपोनेंशियल-लीनियर वेट रीपैरामेटराइजेशन (Exponential-Linear Weight Reparameterization) को प्रस्तुत करता है, जो एक नवीन विधि है जो सिमेट्रिक-एक्सपोनेन्शियल और लीनियर पाथवेज़ को मिलाकर एक कर्व्ड वेट स्पेस ज्योमेट्री (curved weight space geometry) बनाती है, जो मानक लीनियर पैरामीट्रेशन की तुलना में ट्रांसफॉर्मर ट्रेनिंग कन्वर्जेंस को महत्वपूर्ण रूप से तेज करने के लिए मैग्नीट्यूड-प्रोपोर्शनल अपडेट्स को सक्षम बनाती है।