🤖 machine learning
Half the Nonlinearity Is Wasted: Measuring and Reallocating the Transformer's MLP Budget
यह शोध पत्र प्रदर्शित करता है कि ट्रांसफॉर्मर एमएलपी (MLP) नॉनलिनियैरिटी का एक महत्वपूर्ण हिस्सा अनावश्यक और संदर्भ-निर्भर है, जो यह दर्शाता है कि एक हल्का गेटिंग मैकेनिज्म इन गणनाओं को लीनियर सरोगेट्स (linear surrogates) के साथ गतिशील रूप से बदल सकता है ताकि कम्प्यूटेशनल बर्बादी को कम किया जा सके या, पूर्ण पुनरप्रशिक्षण (full retraining) के साथ रणनीतिक रूप से लागू होने पर, हानिकारक नॉनलिनियैरिटी को समाप्त करके मॉडल के प्रदर्शन में सक्रिय रूप से सुधार किया जा सके।