23164 पेपर
यह शोध पत्र स्पेक्ट्रल पीयू नेबरहुड एनोटेशन (SPUNA) को प्रस्तुत करता है, जो एक ज्यामिति-जागरूक ढांचा है जो कोवेरिएट शिफ्ट का पता लगाने के लिए स्थानीय मैनिफोल्ड संरचनाओं का लाभ उठाता है ताकि मजबूत पॉजिटिव अनलेबल्ड लर्निंग को सक्षम किया जा सके, और शिफ्ट वितरण से लेबल किए गए डेटा की आवश्यकता के बिना पूर्णतः पर्यवेक्षित विधियों के तुलनीय प्रदर्शन प्राप्त करता है।
CIFAR-10 पर यह व्यवस्थित अध्ययन यह प्रदर्शित करता है कि छात्र क्षमता (student capacity) ज्ञान आसवन (knowledge distillation) की प्रभावशीलता का एक महत्वपूर्ण मॉडरेटर है, जो यह प्रकट करता है कि बड़े छात्रों (R34) को छोटे छात्रों (R18) की तुलना में काफी अधिक लाभ होता है, और साथ ही इष्टतम आसवन प्रदर्शन प्राप्त करने के लिए कार्यान्वयन बग्स (implementation bugs) और इनपुट-रिज़ॉल्यूशन विसंगतियों (input-resolution mismatches) को ठीक करने की आवश्यकता को भी रेखांकित करता है।
यह शोध पत्र टेंसर सेपरेशन लर्निंग (TSL) को प्रस्तुत करता है, जो एक रिग्रेशन मॉडल है जो एक-चर (univariate) फलनों के रैंक-1 उत्पादों के योग को सीखकर पारंपरिक योगात्मक व्याख्यात्मकता (additive explainability) विधियों की सीमाओं को दूर करता है, जिससे यह सशक्त फीचर इंटरैक्शन को संरक्षित करता है और सूचना की हानि के बिना निष्ठावान, पूर्णतः पुनर्निर्मित करने योग्य विज़ुअलाइज़ेशन सक्षम बनाता है।
यह शोध पत्र CoFRe को प्रस्तुत करता है, जो फिक्स्ड-पॉइंट मास्क्ड जनरेटिव मॉडल्स के लिए एक फ्रेमवर्क है जो टेक्स्ट और इमेज मोडैलिटीज में कम सैंपलिंग बजट के तहत जनरेशन की गुणवत्ता में सुधार करते हुए, प्रशिक्षण लागत और मेमोरी उपयोग को काफी कम करने के लिए क्रॉस-स्टेप कंसिस्टेंसी लॉस और थ्री-स्टेट रियूज स्ट्रैटेजी का लाभ उठाता है।
यह शोध पत्र यह प्रदर्शित करता है कि एकलभाषी रूप से प्रशिक्षित एक लीनियर प्रोब (linear probe), बिना पुनरप्रशिक्षण के, विविध और अनदेखी भाषाओं में बड़े भाषा मॉडलों (LLMs) में विश्वास का प्रभावी ढंग से अनुमान लगा सकता है, जो यह प्रकट करता है कि बहुभाषी LLMs साझा, हस्तांतरणीय विश्वास विशेषताओं को समाहित करते हैं जो उनकी मध्य परतों में केंद्रित होती हैं।
यह शोध पत्र स्लाइसड डिस्ट्रीब्यूशनल रिइन्फोर्समेंट लर्निंग (SDRL) को प्रस्तुत करता है, जो एक नवीन ढांचा है जो उच्च-आयामी रिटर्न डिस्ट्रीब्यूशन को एक-आयामी स्लाइसों पर प्रोजेक्ट करके डिस्ट्रीब्यूशनल RL को मल्टीवेरिएट सेटिंग्स में विस्तारित करता है ताकि सुलभ बेलमैन कॉन्ट्रैक्शन प्रमाण और विविध वातावरणों में प्रभावी शिक्षण सक्षम किया जा सके।
यह शोध पत्र TinyML के लिए ऑन-डिवाइस लर्निंग (ODL) पर लगभग 70 कार्यों का सर्वेक्षण करता है, जो वितरण परिवर्तन व्यवस्थाओं (distribution change regimes) के आधार पर उन्हें वर्गीकृत करता है ताकि यह विश्लेषण किया जा सके कि विभिन्न परिवर्तन प्रकार लागू परिदृश्यों, हार्डवेयर विकल्पों और समाधान संरचनाओं को कैसे प्रभावित करते हैं, साथ ही पद्धतिगत बेंचमार्क और वास्तविक दुनिया की तैनाती के बीच निरंतर अंतराल को भी उजागर करता है।
यह शोध पत्र एनीटाइम-वैलिड इन्फरेंस (anytime-valid inference) का उपयोग करके ऑनलाइन डिसीजन ट्रीज़ में स्प्लिट सिलेक्शन को सुधारने के लिए एक सिद्धांतपूर्ण विधि प्रस्तुत करता है, जो मौजूदा होफडिंग ट्री (Hoeffding Tree) वेरिएंट्स की सांख्यिकीय अमान्यता को दूर करते हुए गलत स्प्लिट्स के विरुद्ध कठोर गारंटी प्रदान करता है और स्थिर एवं गैर-स्थिर डेटा स्ट्रीम्स दोनों में भविष्य कहनेवाला प्रदर्शन (predictive performance) में सुधार करने के साथ-साथ ट्री के आकार को कम करता है।
यह शोध पत्र "स्पेक्ट्रल पोजीशन" (spectral position) को प्रस्तुत करता है ताकि यह प्रदर्शित किया जा सके कि बड़े न्यूरल मॉडल एम्पिरिकल न्यूरल टेंगेंट कर्नेल (empirical neural tangent kernel) की स्पेक्ट्रल टेल (spectral tail) में अपनी सीखने की क्षमता का विस्तार करके बेहतर प्रदर्शन प्राप्त करते हैं, जो एक ऐसी क्षमता है जिसे फीचर लर्निंग द्वारा सक्षम बनाया जाता है जो उन कमजोर संकेतों तक पहुँचने के लिए ग्रेडिएंट्स को अनुकूल रूप से प्रवर्धित करती है जो छोटे मॉडलों के लिए अप्राप्य होते हैं।
यह शोध पत्र न्यूनतम वास्तुशिल्प और प्रशिक्षण संशोधनों का प्रस्ताव करके स्पार्स ऑटोएनकोडर्स की सैद्धांतिक अस्थिरता को संबोधित करता है जो कम पुनर्निर्माण त्रुटि और लगभग-पहचान योग्य स्पार्स कोड वाले पहचान योग्य स्पार्स ऑटोएनकोडर्स (iSAEs) प्रदान करते हैं, जो डिक्शनरी लर्निंग और रिस्ट्रिक्टेड आइसोमेट्री प्रॉपर्टी के साथ एक संबंध द्वारा समर्थित है।