24055 पेपर
यह शोधपत्र कॉन्ट्रास्टिव फ्यूज़ (Contrastive FUSE) प्रस्तुत करता है, जो एक तेज़ और एकीकृत ढांचा है जो आंशिक युग्मवार पर्यवेक्षण (pairwise supervision) और बिना नोड विशेषताओं वाले ग्राफ़ पर स्केलेबल नोड प्रतिनिधित्व सीखने में सक्षम बनाता है, जो एक हल्के मॉड्यूलरिटी सन्निकटन (modularity approximation) के साथ स्पेक्ट्रल कॉन्ट्रास्टिव ऑब्जेक्टिव को अनुकूलित करता है।
StruMPL एक नवीन मल्टी-टास्क डेंस रिग्रेशन फ्रेमवर्क है जो साझा एनकोडर्स, प्रोपेंसिटी और इम्प्यूटेशन हेड्स के माध्यम से स्थानिक MNAR सुधार और सीख योग्य भौतिक-आधारित बाधाओं को एकीकृत करके वन के उपरोक्त जमीनी बायोमास (aboveground biomass) और संरचनात्मक चरों का संयुक्त रूप से अनुमान लगाता है, जो विलगित आंशिक पर्यवेक्षण (disjoint partial supervision) और पक्षपाती ग्राउंड लेबल्स की चुनौतियों से प्रभावी ढंग से निपटने के लिए एक ऑगमेंटेड IPW लॉस का उपयोग करता है।
PEEK एक ऐसी प्रणाली है जो एक छोटे, निरंतर "कॉन्टेक्स्ट मैप" में बार-बार आने वाले बाहरी संदर्भों के बारे में पुन: प्रयोज्य ओरिएंटेशन ज्ञान को कैश करके लॉन्ग-कॉन्टेक्स्ट LLM एजेंटों को बेहतर बनाती है, जो मौजूदा बेसलाइन की तुलना में कंप्यूटेशनल लागत को कम करते हुए तर्क की सटीकता और दक्षता में महत्वपूर्ण सुधार करती है।
यह शोध पत्र प्रोबेबिलिस्टिक टिनी रिकर्सिव मॉडल्स (PTRM) का परिचय देता है, जो एक कार्य-अज्ञेय (task-agnostic) ढांचा है जो पुनरावृत्ति के दौरान गॉसियन शोर (Gaussian noise) को इंजेक्ट करके छोटे मॉडलों की तर्क क्षमताओं को बढ़ाता है ताकि स्टोकेस्टिक अन्वेषण संभव हो सके, जिससे बिना किसी रिट्रेनिंग और काफी कम मापदंडों का उपयोग करते हुए जटिल पहेलियों पर फ्रंटियर LLMs की तुलना में सटीकता लगभग दोगुनी हो जाती है।
GEM एक ऐसा फ्रेमवर्क है जो हार्डवेयर परिवर्तनशीलता और टोकन लोड पैटर्न के आधार पर विशेषज्ञों को GPU में मैप करके Mixture-of-Experts (MoE) मॉडल इन्फरेंस विलंबता (latency) को अनुकूलित करता है, जिससे स्ट्रैगलर प्रभावों (straggler effects) को कम किया जा सकता है और एंड-टू-एंड प्रदर्शन को 16.5% तक सुधारा जा सकता है।
यह शोध पत्र CPD Online को प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त (training-free), मॉडल-अज्ञेय (model-agnostic) डिटेक्टर है जो टोकन-स्तरीय एंट्रॉपी स्ट्रीम पर अनुक्रमिक चेंज-पॉइंट डिटेक्शन लागू करके सुव्यवस्थित अनुकूलन-आधारित (optimization-based) प्रतिकूल प्रॉम्प्ट्स की पहचान करता है, और मौजूदा परप्लेक्सिटी-आधारित विधियों की तुलना में बेहतर सटीकता और सटीक स्थानीयकरण प्राप्त करते हुए डाउनस्ट्रीम सुरक्षा फिल्टरों के लिए कम्प्यूटेशनल ओवरहेड को कम करता है।
यह शोध पत्र मल्टी-नोड लुकअहेड प्रेडिक्शन (MnLP) प्रस्तुत करता है, जो एक नवीन प्रशिक्षण रणनीति है जो भविष्य के कई नोड्स का प्रशिक्षण के दौरान एक साथ पूर्वानुमान लगाकर न्यूरल रूटिंग नीतियों को बेहतर बनाती है ताकि अल्पदृष्टि वाले निर्णय लेने की प्रक्रिया पर विजय प्राप्त की जा सके और बिना किसी इन्फरेंस ओवरहेड के दीर्घकालिक योजना में सुधार किया जा सके।
यह शोध पत्र PerfEvolve को पेश करता है, जो एक ऐसा सिस्टम है जो डेटाबेस ट्यूनिंग को स्थिर दस्तावेज़ीकरण से गतिशील, LLM-संचालित कार्यों में स्थानांतरित करता है, विशेषज्ञ कार्यप्रणालियों को निष्पादन योग्य कौशल में अनुवादित करके, जो PostgreSQL पर अत्याधुनिक बेसलाइन की तुलना में 35.2% तक प्रदर्शन सुधार प्राप्त करता है।
यह शोध पत्र तर्क देता है कि LLM बेंचमार्क डेटासेट को संदूषण-प्रतिरोधी (contamination-resistant) बनाने के लिए पुनर्गठित किया जाना चाहिए—जो प्रशिक्षण के दौरान सीखने में असमर्थ हो लेकिन अनुमान (inference) के दौरान हल करने योग्य बना रहे—ताकि संरचनात्मक विषमताओं और गणितीय प्रगतियों का लाभ उठाकर विश्वसनीय और पुनरुत्पादनीय मॉडल मूल्यांकन सुनिश्चित किया जा सके।
यह शोध पत्र एक नवीन डबल-बेयसियन संभाव्य ढांचे (double-Bayesian probabilistic framework) को प्रस्तुत करता है जो स्टोकेस्टिक ग्रेडिएंट डिसेंट के लिए एक इष्टतम लर्निंग रेट को सैद्धांतिक रूप से व्युत्पन्न करता है, और व्यापक प्रयोगों के माध्यम से यह प्रदर्शित करता है कि यह दृष्टिकोण विभिन्न कार्यों में न्यूरल नेटवर्क प्रशिक्षण को प्रभावी ढंग से बढ़ाता है।