🤖 machine learning
A Generalized Information Bottleneck Theory of Deep Learning
यह शोध पत्र एक सामान्यीकृत सूचना अवरोध (Generalized Information Bottleneck - GIB) ढांचे को प्रस्तुत करता है जो सहक्रियात्मक विशेषता अंतःक्रियाओं (synergistic feature interactions) के दृष्टिकोण से शास्त्रीय सूचना अवरोध सिद्धांत को पुनर्गठित करता है, जिससे अनुमान संबंधी चुनौतियों का समाधान होता है, ReLU नेटवर्क और ट्रांसफॉर्मर जैसे विविध आर्किटेक्चर में संपीड़न चरणों (compression phases) के विश्लेषण को सक्षम बनाया जाता है, और सामान्यीकरण एवं प्रतिकूल सुदृढ़ता (adversarial robustness) में बेहतर अंतर्दृष्टि प्रदान की जाती है।