Architecture Determines Observability in Transformers
यह शोध पत्र प्रदर्शित करता है कि एक ट्रांसफार्मर की अपने स्वयं के निर्णय की गुणवत्ता के बारे में संकेतों को आंतरिक रूप से संरक्षित करने की क्षमता (अवलोकनीयता) एक सामान्य गुण नहीं है, बल्कि विशिष्ट वास्तुशिल्प विकल्पों और प्रशिक्षण विधियों द्वारा निर्धारित एक उभरत् विशेषता है, जो अक्सर उन मॉडलों में भी समाप्त हो जाती है जो अन्यथा कम लॉस (loss) प्राप्त करते हैं।