Single-Head Attention in High Dimensions: A Theory of Generalization, Weights Spectra, and Scaling Laws
यह शोधपत्र रैंडम मैट्रिक्स और स्पिन-ग्लास सिद्धांतों का उपयोग करके सिंगल-हेड टाइड-अटेंशन ट्रेनिंग का एक सटीक उच्च-आयामी लक्षण वर्णन प्रदान करता है, जो लो-रैंक कोलैप्स जैसे प्रेक्षित स्पेक्ट्रल स्ट्रक्चर के उद्भव की सफलतापूर्वक भविष्यवाणी करता है और अनुक्रमिक स्पेक्ट्रल रिकवरी के माध्यम से पावर-लॉ स्केलिंग व्यवहार को व्युत्पन्न करता है।