21579 पेपर
यह शोध पत्र Fold को प्रस्तुत करता है, जो एक हल्का आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) डिटेक्टर है जो इस अवलोकन का लाभ उठाता है कि इन-डिस्ट्रीब्यूशन डेटा की तुलना में OOD इनपुट अधिक हेसियन कर्वेचर (Hessian curvature) प्रदर्शित करते हैं, और न्यूनतम कम्प्यूटेशनल ओवरहेड के साथ अत्याधुनिक प्रदर्शन प्राप्त करने के लिए फीचर हेसियन और आंशिक सामान्यीकरण (partial normalization) का उपयोग करता है।
यह शोध पत्र DuoMem को प्रस्तुत करता है, जो एक द्वैत-स्थान डिस्टिलेशन (dual-space distillation) ढांचा है जो संदर्भ-स्थान मेमोरी संवर्धन (context-space memory augmentation) और पैरामीटर-स्थान फाइन-ट्यूनिंग (parameter-space fine-tuning) को संयोजित करता है ताकि कॉम्पैक्ट ऑन-डिवाइस LLMs को जटिल प्रक्रियात्मक कार्यों में शिक्षक-स्तर के प्रदर्शन को प्राप्त करने में सक्षम बनाया जा सके, जबकि विलंबता (latency) और संसाधनों की आवश्यकताओं को महत्वपूर्ण रूप से कम किया जा सके।
यह शोध पत्र Atompack को प्रस्तुत करता है, जो एक अपेंड-ओरिएंटेड (append-oriented) स्टोरेज फॉर्मेट और डिस्ट्रीब्यूशन लेयर है जिसे रीड-हेवी एटोमिस्टिक मशीन लर्निंग ट्रेनिंग के लिए अनुकूलित किया गया है, जो ASE, LMDB और HDF5 जैसे मौजूदा बेसलाइन की तुलना में तेज़ शफल्ड रीड थ्रूपुट प्रदान करके और काफी छोटे डेटासेट आर्टिफैक्ट्स बनाकर बेहतर प्रदर्शन करता है।
यह अध्ययन प्रकट करता है कि पांच आर्किटेक्चर में प्रोस्टेट एमआरआई डिटेक्शन में अवशिष्ट फाल्स पॉजिटिव (residual false positives) स्वाभाविक रूप से सौम्य ऊतकों के बजाय वास्तविक कैंसर के अनुरूप कंट्रास्ट-मैच्ड होते हैं, और यह प्रदर्शित करता है कि एक हल्का पोस्ट-हॉक रिफाइनमेंट हेड इन-डोमेन केस-लेवल विशिष्टता को महत्वपूर्ण रूप से सुधार सकता है, हालांकि यह फोल्ड-निर्भर प्रदर्शन के साथ होता है।
यह शोध पत्र T3R का प्रस्ताव करता है, जो ग्राफ न्यूरल नेटवर्क के लिए एक नवीन टेस्ट-टाइम अडैप्टेशन विधि है जो स्व-पर्यवेक्षित संकेतों (self-supervised signals) को पुनरorient करने के लिए रोटोग्राड मैट्रिसेस (Rotograd matrices) और ग्रेडिएंट रोटेशन का उपयोग करती है, जिससे अनलेबल टेस्ट डेटा पर गहरे, पूर्ण-आर्किटेक्चर अनुकूलन को सक्षम बनाया जा सके और वितरण बदलावों (distribution shifts) के तहत प्रदर्शन में महत्वपूर्ण सुधार किया जा सके।
यह शोधपत्र EnsembleGaze प्रस्तुत करता है, जो एक नवीन अनसुपरवाइज्ड एन्सेम्बल लर्निंग सिस्टम है जो फ्री-व्यूइंग गेज़ डेटा पर कंसेंसस क्लस्टरिंग लागू करता है, जो उद्दीपकों (stimuli) के लिए एम्बिएंट बनाम फोकल व्यूइंग मोड में सुदृढ़ अंतर को प्रकट करता है और यह प्रदर्शित करता है कि उपयोगकर्ता व्यवहार पैटर्न संदर्भ-निर्भर होते हैं और उन्हें बाइसक्लस्टरिंग रणनीतियों के माध्यम से सर्वोत्तम रूप से कैप्चर किया जा सकता है।
यह शोध पत्र यह प्रदर्शित करता है कि कम क्षितिज (short horizons) पर फैट-टेल्ड (fat-tailed) वित्तीय रिटर्न के पूर्वानुमान के लिए, आउटपुट हेड का चयन (विशेष रूप से एक गॉसियन मिश्रण मॉडल) टेल रिस्क को पकड़ने और वितरण सटीकता में सुधार करने में बैकबोन आर्किटेक्चर के प्रभाव की तुलना में काफी अधिक महत्वपूर्ण है, हालांकि लंबे समय के क्षितिज पर बैकबोन अधिक महत्वपूर्ण हो जाता है।
यह शोध पत्र एक डेटा-संचालित संभाव्यता ढांचे (data-driven probabilistic framework) को प्रस्तुत करता है जो पदानुक्रमित संरचनाओं (hierarchical structures) पर अनुभवजन्य हानि (empirical loss) को एक ऊर्जा-आधारित मॉडल में परिवर्तित करता है, जो लॉस लैंडस्केप्स और गिब्स मापों (Gibbs measures) के बीच एक कठोर संबंध स्थापित करके यह प्रकट करता है कि कैसे डेटा संतुलन सीखने की अवस्थाओं (equilibrium learning states) के एक परिदृश्य को परिभाषित करता है जो चरण संक्रमण (phase transitions) और बहु-अनुमान शासन (multiple inference regimes) प्रदर्शित कर सकता है।
यह शोध पत्र न्यूरल सबस्पेस रीएलोकेशन (NSR) को प्रस्तुत करता है, जो एक निरंतर सीखने (continual learning) का ढांचा है जो LoRA मॉड्यूल को एक फ्रीज्ड बैकबोन पर संपीड़ित (compressible), प्रतिग्रहित (retrievable) मेमोरी यूनिट के रूप में मानता है, और यह प्रदर्शित करता है कि टास्कनॉलेजबैंक (TaskKnowledgeBank) से सरल समानता-आधारित रिट्रीवल, भूलने की प्रक्रिया (forgetting) को कम करने और कार्य रिकवरी को तेज करने के साथ-साथ न्यूनतम मेमोरी फुटप्रिंट बनाए रखते हुए जटिल सीखे गए एलोकेशन पॉलिसियों की तुलना में काफी बेहतर प्रदर्शन करता है।
यह अध्ययन प्रदर्शित करता है कि जॉइंट-एम्बेडिंग प्रेडिक्टिव ऑब्जेक्टिव्स अक्सर नियंत्रण-प्रासंगिक लेकिन बाह्य (एक्सोजेनस) विशेषताओं को त्याग देते हैं क्योंकि वे नियंत्रण-प्रासंगिकता के बजाय टेम्पोरल प्रेडिक्टेबिलिटी को प्राथमिकता देते हैं, एक ऐसी विफलता जिसे केवल 2% रिवॉर्ड-लेबल वाले डेटा के साथ मजबूती से सुधारा जा सकता है।