The Geometric Wall: Manifold Structure Predicts Layerwise Sparse Autoencoder Scaling Laws
यह शोध पत्र यह प्रदर्शित करता है कि न्यूरल नेटवर्क परतों में स्पार्स ऑटोएनकोडर्स (sparse autoencoders) के स्केलिंग लॉ सार्वभौमिक नहीं हैं, बल्कि वे सक्रियता मैनिफोल्ड (activation manifold) की अंतर्निहित ज्यामितीय संरचना, विशेष रूप से इसकी वक्रता (curvature) और आंतरिक आयाम (intrinsic dimension) द्वारा निर्धारित होते हैं, जो विभिन्न मॉडलों में एक हस्तांतरणीय (transferable) तरीके से पुनर्निर्माण त्रुटि फर्श (reconstruction error floors) और चौड़ाई घातांकों (width exponents) को पूर्वानुमानित रूप से निर्देशित करते हैं।