CascadeFormer: Depth-Tapered Transformers Motivated by Gradient Fan-in Asymmetry
प्रस्तावित ग्रेडिएंट फैन-इन एसिमेट्री (Gradient Fan-in Asymmetry) सिद्धांत से प्रेरित होकर, जो यह स्पष्ट करता है कि घटते ग्रेडिएंट प्रवाह के कारण गहरे ट्रांसफॉर्मर स्तर कम योगदान क्यों देते हैं, यह शोधपत्र कैस्केडफॉर्मर (CascadeFormer) और कैस्केडफ्लो प्रूनिंग (CascadeFlow Pruning) को पेश करता है जो मॉडल की चौड़ाई को गतिशील रूप से कम करने और अनावश्यक परतों को हटाने के लिए, जिससे प्रदर्शन से समझौता किए बिना लेटेंसी और थ्रूपुट में महत्वपूर्ण दक्षता प्राप्त की जा सके।