23511 पेपर
यह शोध पत्र MONA को प्रस्तुत करता है, जो एक नवीन ऑप्टिमाइज़र है जो तीव्र स्थानीय मिनिमा (sharp local minima) से बचने के लिए Muon फ्रेमवर्क में नेस्टरोव-शैली के त्वरण (Nesterov-style acceleration) को एकीकृत करता है और 1B से 68B पैरामीटर्स तक की भाषा मॉडलों (language models) में अत्याधुनिक अभिसरण (state-of-the-art convergence) और डाउनस्ट्रीम प्रदर्शन प्राप्त करता है।
यह शोध पत्र 'टोकन टीचेबिलिटी' (Token Teachability) प्रस्तुत करता है, जो ऑन-पॉलिसी डिस्टिलेशन में सीखने योग्य और असंगत शिक्षक-छात्र मतभेदों के बीच अंतर करने वाला एक मीट्रिक है, और TA-OPD विधि का प्रस्ताव करता है जो बिना किसी बाहरी रिवॉर्ड मॉडल की आवश्यकता के, उच्च-टीचेबिलिटी वाले टोकन पर चुनिंदा रूप से प्रशिक्षण देकर छात्र के प्रदर्शन में महत्वपूर्ण सुधार करता है।
यह शोध पत्र उन विफलता मोडों की पहचान करता है जो केवल स्थानिक या कालिक अंतरों पर निर्भर मौजूदा ऊर्जा-आधारित मॉडल प्रशिक्षण विधियों में मौजूद हैं, और स्पैटियोटेम्पोरल नॉइज़-कॉन्ट्रास्टिव एस्टीमेशन (stNCE) प्रस्तावित करता है, जो छवियों और अणुओं पर अत्याधुनिक घनत्व अनुमान प्रदर्शन प्राप्त करने के लिए संयुक्त स्थानिक-कालिक अंतरों का लाभ उठाने वाला एक एकीकृत ढांचा है।
RAPNet एक ग्राफ न्यूरल नेटवर्क फ्रेमवर्क है जो सेटअप चरण के दौरान विरल (sparse), सुदृढ़ कोर्स-ग्रिड ऑपरेटर्स को उत्पन्न करना सीखकर अल्जेब्रिक मल्टीग्रिड सॉल्वर को त्वरित करता है, जो बड़े पैमाने की रैखिक प्रणालियों पर शास्त्रीय विधियों से बेहतर प्रदर्शन करने के लिए विरलता और अभिसरण गुणवत्ता के बीच पारंपरिक समझौते को प्रभावी ढंग से दूर करता है।
यह शोध पत्र ProMoS को प्रस्तुत करता है, जो पहला अनसुपरवाइज्ड (unsupervised) जनरलिटिस्ट ग्राफ विसंगति पहचान ढांचा (graph anomaly detection framework) है जो एक फ्रोजन सेल्फ-सुपरवाइज्ड टीचर से मिक्सचर-ऑफ-स्टूडेंट्स मॉडल तक प्रोटोटाइप-गाइडेड नॉलेज डिस्टिलेशन का लाभ उठाता है, जिससे बिना लेबल वाले डेटा के अनदेखे ग्राफ्स पर विसंगतियों का कुशल ज़ीरो-शॉट डिटेक्शन संभव हो पाता है।
यह शोध पत्र यह प्रदर्शित करता है कि फ्लैट डॉक्यूमेंट स्टोर्स को एक स्ट्रक्चर्ड नॉलेज ग्राफ लेयर से बदलने से एलएलएम-आधारित औद्योगिक परिसंपत्ति संचालन की सटीकता 65% से बढ़कर लगभग पूर्ण सटीकता तक पहुँच जाती है, क्योंकि यह एलएलएम की भूमिका को कच्चे डेटा पर तर्क करने से बदलकर एक टाइप किए गए स्कीमा के विरुद्ध डिटरमिनिस्टिक क्वेरी जेनरेट करने में बदल देता है।
यह शोध पत्र यह सिद्ध करके कि मौजूदा केंद्रीय प्रमेय केवल एक आवश्यक, न कि पर्याप्त शर्त प्रदान करता है, फैक्टर ग्राफ में कम्यूटेटिव कारकों का पता लगाने वाले अत्याधुनिक एल्गोरिदम में एक मौलिक त्रुटि को सुधारता है, और तत्पश्चात एक सुधारा गया एल्गोरिदम प्रस्तुत करता है जो दक्षता और शुद्धता दोनों सुनिश्चित करता है।
यह शोध पत्र EEG-FM-Audit प्रस्तुत करता है, जो एक व्यवस्थित मूल्यांकन पाइपलाइन है जिसमें ASHA-संचालित बेंचमार्किंग, पैराडाइम-स्तरीय एब्लेशन और न्यूरोफिज़ियोलॉजिकल प्रोबिंग शामिल है ताकि EEG फाउंडेशन मॉडल्स में पारदर्शिता संबंधी समस्याओं को संबोधित किया जा सके, जो यह प्रकट करता है कि अनुकूलित सुपरवाइज्ड बेसलाइन्स अक्सर इन मॉडल्स से बेहतर प्रदर्शन करते हैं और उनके शारीरिक विशेषताओं (फिजियोलॉजिकल फीचर्स) पर निर्भरता के बारे में अधिक गहरी अंतर्दृष्टि प्रदान करते हैं।
यह शोध पत्र एक सैद्धांतिक और अनुभवजन्य अध्ययन प्रस्तुत करता है जो यह प्रदर्शित करता है कि म्यूऑन (Muon) ऑप्टिमाइज़र, जो मैट्रिक्स-मान वाले अपडेट्स को ऑर्थोगोनलाइज़ (orthogonalize) करता है, स्पेक्ट्रल-नॉर्म स्थिरता (spectral-norm stability) लागू करके विविध आर्किटेक्चर और थ्रेट मॉडल्स में एडवर्सरियल ट्रेनिंग मजबूती को बढ़ाता है, जिससे ऑप्टिमाइज़र ज्योमेट्री को मॉडल सुरक्षा के एक महत्वपूर्ण कारक के रूप में स्थापित करता है।
यह शोध पत्र प्रदर्शित करता है कि न्यूरल नेटवर्क के बीच प्रतिनिधि संरेखण (representational alignment) सिग्नल-टू-नॉइज़ अनुपात और नमूना आकार द्वारा एक गैर-एकदिष्ट (non-monotonic) तरीके से नियंत्रित होता है, जो विशेष रूप से इंटरपोलेशन थ्रेशोल्ड के पास न्यूनतम संरेखण को दर्शाता है, एक ऐसी घटना जो सामान्यीकरण प्रदर्शन (generalization performance) से स्वतंत्र है।