Depth-Staggered Fibonacci Spacing for Sparse Attention: Static Schedules Beat Learned Dilation and Extrapolate Where Dense Attention Fails
यह शोध पत्र प्रदर्शित करता है कि एक स्थिर, डेप्थ-स्टैगर्ड फाइबोनैकी स्पेसिंग शेड्यूल, स्पार्स अटेंशन के लिए सीखे गए डिलेशन स्कीम्स की तुलना में दक्षता में बेहतर प्रदर्शन करता है और प्रशिक्षण लंबाई के चार गुना तक मजबूत एक्सट्रपलेशन सक्षम करता है, जबकि घने अटेंशन मॉडल ऐसी स्थितियों में ढह जाते हैं, भले ही प्रशिक्षण लंबाई पर स्पार्स वेरिएंट का पर्प्लेक्सिटी अधिक हो।