🤖 machine learning
Representational Capacity: Geometric Limits on Feature Representation in Transformer Language Models
यह शोध पत्र नियर-ऑर्थोगोनल (निकट-लंबवत) फीचर दिशाओं की ज्यामितीय सीमाओं का विश्लेषण करके ट्रांसफॉर्मर लैंग्वेज मॉडल्स की रिप्रजेंटेशनल कैपेसिटी (प्रतिनिधित्व क्षमता) का अनुमान लगाने के लिए एक फ्रेमवर्क प्रस्तावित करता है, जो यह प्रकट करता है कि क्षमता ऑर्थोगोनैलिटी बाधाओं के प्रति घातीय रूप से संवेदनशील है और एक समायोजित सूत्र पेश करता है जो पारंपरिक सीमाओं की तुलना में भविष्यवाणी सटीकता में महत्वपूर्ण सुधार करता है।