Geometry of Lightning Self-Attention: Identifiability and Dimension
यह शोध पत्र अननॉर्मलाइज्ड (unnormalized) सेल्फ-अटेंशन नेटवर्क्स के फंक्शन स्पेस का विश्लेषण करने के लिए बीजगणितीय ज्यामिति (algebraic geometry) का उपयोग करता है, जो उनकी पहचान क्षमता (identifiability) और आयाम (dimension) को स्थापित करता है और सिंगुलर बिंदुओं (singular points) को अभिलक्षित करता है तथा नॉर्मलाइज्ड आर्किटेक्चर के लिए इन परिणामों का अनुमान लगाता है।