Symmetry-Compatible Principle for Optimizer Design: Embeddings, LM Heads, SwiGLU MLPs, and MoE Routers
यह शोध पत्र ऑप्टिमाइज़र डिज़ाइन के लिए एक सममिति-अनुकूल (symmetry-compatible) सिद्धांत प्रस्तुत करता है जो विभिन्न पैरामीटर ब्लॉक्स—जैसे कि एम्बेडिंग्स, LM हेड्स, SwiGLU MLPs, और MoE राउटर—की विशिष्ट इक्विवैरिएंस संरचनाओं (equivariance structures) के साथ ग्रेडिएंट अपडेट नियमों को संरेखित करता है, और व्यापक प्री-ट्रेनिंग प्रयोगों के माध्यम से यह प्रदर्शित करता है कि ये अनुकूलित ऑप्टिमाइज़र अंतिम वैलिडेशन लॉस और ट्रेनिंग स्थिरता में AdamW की तुलना में लगातार बेहतर प्रदर्शन करते हैं।