When Does Removing LayerNorm Help? Activation Bounding as a Regime-Dependent Implicit Regularizer
توضح الورقة البحثية أن استبدال "LayerNorm" بـ "Dynamic Tanh (DyT)" يعمل كمنظم ضمني يعتمد على النظام، مما يحسن الأداء في الإعدادات صغيرة النطاق والمحدودة بالبيانات من خلال تقييد التنشيطات، ولكنه يضر بالأداء في الأنظمة واسعة النطاق أو الغنية بالبيانات بسبب التشبع المفرط في التنشيط.