🔢 mathematics
Why Self-Supervised Encoders Want to Be Normal
यह लेख एक ज्यामितीय और सूचना-सैद्धांतिक ढांचे का प्रस्ताव करता है जो सूचना बाधा (Information Bottleneck) सिद्धांत पर आधारित है, जो इष्टतम निरूपणों (representations) को एक भविष्य कहने वाले मैनिफोल्ड (predictive manifold) के सॉफ्ट क्लस्टरिंग के रूप में अभिलक्षणित करता है, जिससे बिना किसी वेरिएशनल बाउंड (variational bounds) की आवश्यकता के, सुपरवाइज्ड और सेल्फ-सुपरवाइज्ड लर्निंग दोनों के लिए एक सिद्धांत-आधारित वितरण-आधारित रेगुलराइज़र के रूप में रेखांकित आइसोट्रोपिक गॉसियन रेगुलराइजेशन (SIGReg) का विकास होता है।