🤖 machine learning
How are linear representations learned? Exact solutions to the dynamics of abstraction
यह शोध पत्र अमूर्तता (abstraction) का एक गतिक सिद्धांत प्रस्तुत करता है जो रैखिक और गैर-रैखिक दोनों न्यूरल नेटवर्क में प्रशिक्षण के दौरान रैखिक अवधारणा प्रतिनिधित्व (linear concept representations) कैसे उभरते हैं, इसके सटीक समाधान व्युत्पन्न करता है, जिससे यह प्रकट होता है कि अमूर्तता डेटा ज्यामिति, नेटवर्क गहराई और इनिशियलाइजेशन स्केल द्वारा शासित होती है और एक सार्वभौमिक क्षीणन नियम (universal attenuation law) का पालन करती है जो प्री-एक्टिवेशन्स (preactivations) की तुलना में एक्टिवेशन्स (activations) में अमूर्तता को कमजोर करती है।