🤖 machine learning
Information theoretic underpinning of self-supervised learning by clustering
यह शोध पत्र स्व-पर्यवेक्षित शिक्षण (self-supervised learning) को K-L डाइवर्जेंस अनुकूलन के रूप में स्वरूपित करके इसके सूचना-सैद्धांतिक आधार को स्थापित करता है, और यह प्रदर्शित करता है कि शिक्षक वितरण (teacher distribution) पर प्रतिबंध सैद्धांतिक रूप से मोड कोलैप्स (mode collapse) को रोकने के लिए बैच सेंट्रिंग (batch centering) और इनवर्स क्लस्टर प्रायर नॉर्मलाइजेशन (inverse cluster prior normalization) जैसे सामान्य ह्यूरिस्टिक्स को न्यायसंगत ठहराते हैं।