Sink vs. diagonal patterns as mechanisms for attention switch and oversmoothing prevention
यह शोध पत्र इस बात की जांच करता है कि सिंक्स (sinks) और डायगोनल पैटर्न (diagonal patterns) ट्रांसफॉर्मर्स में अटेंशन स्विचिंग और ओवरस्मूथिंग (oversmoothing) को रोकने के तंत्र के रूप में कैसे कार्य करते हैं, जो हार्ड अटेंशन स्विचों के उनके समकक्ष होने को सिद्ध करते हैं, उन स्थितियों को स्थापित करते हैं जहाँ डेंस अटेंशन (dense attention), स्पार्स अटेंशन (sparse attention) से बेहतर प्रदर्शन करता है, और यह प्रदर्शित करते हैं कि प्रीट्रेन्ड मॉडल्स में टोकन सेल्फ-कम्युनिकेशन के लिए डायगोनल पैटर्न की तुलना में सिंक्स को क्यों प्राथमिकता दी जाती है।