Different Layers, Different Manifolds: Module-Wise Weight-Space Geometry in Transformer Optimization
यह शोध पत्र प्रदर्शित करता है कि ट्रांसफॉर्मर अनुकूलन (transformer optimization) मॉड्यूल-विशिष्ट मैनिफोल्ड बाधाओं (module-specific manifold constraints) से लाभान्वित होता है, विशेष रूप से यह दिखाते हुए कि अटेंशन परतों पर स्टिफ़ल ज्यामिति (Stiefel geometry) और एमएलपी परतों पर डीग्राम ज्यामिति (DGram geometry) लागू करना अटेंशन वेट्स में सिंगुलर वैल्यू वृद्धि के कारण होने वाली अस्थिरता को रोकने के लिए समान कॉन्फ़िगरेशन की तुलना में बेहतर प्रदर्शन करता है।