23413 पेपर
यह शोध पत्र निरंतर बढ़ते एआई हब में मॉडल चयन को स्केल करने की चुनौतियों को संबोधित करने के लिए निरंतर मॉडल रूटिंग (CMR) सेटिंग को औपचारिक रूप देता है, बड़े पैमाने पर CMRBench बेंचमार्क को प्रस्तुत करता है, और CARvE का प्रस्ताव देता है, जो एक कंट्रास्टिव एम्बेडिंग विधि है जो विविध मॉडलों और कार्यों में रूटिंग सटीकता के मामले में मौजूदा बेसलाइन से काफी बेहतर प्रदर्शन करती है।
यह शोध पत्र टिखोनोव लेयर (Tikhonov layer) का परिचय देता है, जो एक ग्राफ न्यूरल नेटवर्क घटक है जिसे अपने सीखे गए मापदंडों को विशिष्ट फीचर और टोपोलॉजिकल योगदानों से सीधे मैप करके स्वाभाविक रूप से व्याख्या योग्य (interpretable) बनाने के लिए डिज़ाइन किया गया है, जबकि साथ ही वैश्विक रिसेप्टिव फील्ड्स प्राप्त करना और अपारदर्शी बेसलाइनों के प्रदर्शन के बराबर प्रदर्शन करना सुनिश्चित किया गया है।
यह शोध पत्र संचार-कुशल वितरित अनुकूलन (communication-efficient distributed optimization) में बाहरी मोमेंटम के आवधिक पुनरारंभ (periodic restarting) का प्रस्ताव और विश्लेषण करता है, जो यह प्रदर्शित करता है कि यह तंत्र चरण रद्दीकरण (phase cancellation) का लाभ उठाने के लिए पुराने मोमेंटम को त्याग देता है, जिससे हाइपरपैरामीटर की स्थिर सीमा विस्तृत होती है और उच्च-आयामी परिवेशों में अभिसरण (convergence) में सुधार होता है।
यह शोध पत्र \texttt{KT-MFLD} का प्रस्ताव करता है, जो एक नवीन एल्गोरिदम है जो कर्नेल थिनिंग (kernel thinning) का उपयोग करके कणों की अंतःक्रियाओं को आकार के एक कोसेट (coreset) तक सीमित करता है, जिससे मीन-फील्ड लैंग्विन डायनेमिक्स (Mean-Field Langevin Dynamics) की कम्प्यूटेशनल जटिलता को से घटाकर कर दिया जाता है, जबकि मूल विधि के समान अभिसरण गारंटी (convergence guarantees) को बनाए रखा जाता है।
यह शोध पत्र आंशिक न्यूनतम वर्ग (Partial Least Squares - PLS) को एक रैखिकीकृत स्व-ध्यान (self-attention) तंत्र के रूप में प्रस्तुत करने का प्रस्ताव करता है ताकि न्यूरल नेटवर्क प्रतिमान के भीतर इसका अध्ययन किया जा सके, जो यह सुझाव देता है कि PLS की आया कमी (dimensionality reduction) यह दर्शाती है कि स्व-ध्यान स्वाभाविक रूप से बेहतर सीखने के लिए आया सामान्यीकरण (dimensionality normalization) को समाहित करता है।
यह शोध पत्र पहला सैद्धांतिक प्रमाण प्रदान करता है कि एक नवीन Log-ICoT पाठ्यक्रम के साथ प्रशिक्षित एक मल्टी-लेयर ट्रांसफार्मर, बहुपद नमूना दक्षता (polynomial sample efficiency) और लघुगणकीय प्रशिक्षण चरणों (logarithmic training stages) के साथ -पैरिटी को सिद्ध रूप से सीख सकता है, जिससे वह स्पष्ट चेन-ऑफ-थॉट (Chain-of-Thought) तर्क की नमूना दक्षता प्राप्त करते हुए आंतरिककृत मध्यवर्ती चरणों के माध्यम से इसके इन्फरेंस ओवरहेड को समाप्त कर देता है।
यह शोध पत्र Under-Cali का प्रस्ताव करता है, जो एक अनिश्चितता-संचालित (uncertainty-driven) डुअल-एक्सपर्ट कैलिब्रेशन फ्रेमवर्क है जो अनुमानित अनिश्चितता के आधार पर विश्वसनीय और अविश्वसनीय विशेषज्ञों के बीच नमूनों को गतिशील रूप से रूट करके अनियमित बहुभिन्न चर समय श्रृंखला (irregular multivariate time series) के लिए कुशल और स्थिर ऑनलाइन पूर्वानुमान सक्षम करता है, और यह सब स्रोत मॉडल को स्थिर (frozen) रखते हुए किया जाता है।
यह शोध पत्र पर्याप्त स्पेक्ट्रल स्थितियाँ और अभिसरण गारंटी स्थापित करता है जो यह प्रदर्शित करती हैं कि डीप मैट्रिक्स फैक्टराइजेशन में लो-रैंक इम्प्लिसिट रेगुलराइजेशन प्रभाव लक्ष्य स्पेक्ट्रम, इनिशियलाइजेशन और गड़बड़ी के आकार पर स्पष्ट निर्भरता के साथ, शोर संबंधी गड़बड़ियों (नॉइज़ परटर्बेशन) के तहत स्थिर रहता है।
यह शोध पत्र SHIFT को प्रस्तुत करता है, जो 'वेरिफिएबल रिवॉर्ड्स के साथ रीइन्फोर्समेंट लर्निंग' (RLVR) के लिए एक ट्रेनिंग-मुक्त डेटा चयन पद्धति है, जो एकल इन्फरेंस रोलआउट के दौरान रीजनिंग-प्रेरित हिडन-स्टेट शिफ्ट को मापकर उच्च-उपयोगिता वाले इंस्टेंस की पहचान करती है, जिससे लेबल या रिवॉर्ड सिग्नल तक पहुंच के बिना प्रभावी मॉडल प्रशिक्षण सक्षम होता है।
यह शोध पत्र यह प्रदर्शित करता है कि टास्क वेक्टर्स (task vectors) को SAE फीचर सबस्पेस पर प्रोजेक्ट करना ज्यामितीय मिसअलाइनमेंट (geometric misalignment) के कारण एक मॉडल एडिटिंग रणनीति के रूप में विफल रहता है, और इसके बजाय विशिष्ट परतों में कच्चे टास्क वेक्टर्स को चुनिंदा रूप से इंजेक्ट करने के लिए SAEs को नैदानिक "स्टेथोस्कोप" के रूप में उपयोग करने का प्रस्ताव देता है, जो बिना किसी अतिरिक्त कम्प्यूटेशनल लागत के गणितीय तर्क प्रदर्शन में महत्वपूर्ण सुधार करता है।