Conservation Laws for Modern Neural Architectures
यह शोध पत्र आधुनिक न्यूरल आर्किटेक्चर—जिसमें GELU, SiLU, SwiGLU एक्टिवेशन, विभिन्न अटेंशन मैकेनिज्म और मिक्स्चर-ऑफ-एक्सपर्ट्स डिज़ाइन शामिल हैं—के लिए ग्रेडिएंट फ्लो में संरक्षण नियमों (conservation laws) को अभिलक्षणित करने हेतु एक एकीकृत सैद्धांतिक ढांचा स्थापित करता है, जो ओवर-पैरामीटराइज्ड मॉडल्स के इम्प्लिसिट बायस (implicit bias) को बेहतर ढंग से समझाने के लिए प्रयोगों के माध्यम से इन निष्कर्षों को मान्य करता है।