Learning Rate Transfer in Normalized Transformers
यह शोध पत्र GPT को प्रस्तुत करता है, जो नॉर्मलाइज्ड ट्रांसफॉर्मर का एक नवीन पैरामीट्राइजेशन है जो मॉडल की चौड़ाई (width), गहराई (depth) और टोकन क्षितिज (token horizon) के बीच लर्निंग रेट ट्रांसफर प्राप्त करने के लिए अलाइनमेंट एक्सपोनेंट्स (alignment exponents) का लाभ उठाता है, जो मूल nGPT की एक प्रमुख सीमा को संबोधित करता है।