The Quantization Benefits of Residual-Free Transformers
यह शोध पत्र प्रदर्शित करता है कि ट्रांसफॉर्मर में रेसिडुअल कनेक्शन (residual connections) एक्टिवेशन की नॉन-गॉसियनता (non-Gaussianity) और क्वांटाइजेशन त्रुटियों को बढ़ाते हैं, लेकिन ऑर्थोगोनल इनिशियलाइजेशन (orthogonal initialization) और स्पेक्ट्रल ऑप्टिमाइजेशन (spectral optimization) के माध्यम से प्रशिक्षित रेसिडुअल-मुक्त आर्किटेक्चरों के साथ उन्हें बदलने से ऐसे मॉडल प्राप्त होते हैं जिनमें लगभग गॉसियन एक्टिवेशन होते हैं जो न्यूनतम फुल-प्रिसिजन प्रदर्शन हानि के साथ लो-बिट क्वांटाइजेशन के प्रति काफी अधिक सुदृढ़ होते हैं।