Learning Rate Transfer in Normalized Transformers
تقدم هذه الورقة GPT، وهي تمثيل بارامتري جديد لـ Normalized Transformer يستفيد من أسس المحاذاة (alignment exponents) لتحقيق نقل لمعدل التعلم عبر عرض النموذج وعمقه وأفق الرموز (token horizon)، مما يعالج قصوراً رئيسياً في nGPT الأصلي.