23700 पेपर
यह शोधपत्र torchtune को प्रस्तुत करता है, जो एक PyTorch-नेटिव लाइब्रेरी है जिसे मॉडुलैरिटी (modularity), पारदर्शिता और विस्तारणीयता (extensibility) को प्राथमिकता देकर बड़े भाषा मॉडलों के पोस्ट-ट्रेनिंग जीवनचक्र को सुव्यवस्थित करने के लिए डिज़ाइन किया गया है, ताकि प्रतिस्पर्धी प्रदर्शन और मेमोरी दक्षता बनाए रखते हुए कुशल फाइन-ट्यूनिंग और तीव्र अनुसंधान पुनरावृत्ति को सक्षम बनाया जा सके।
यह शोध पत्र "रूब्रिक एम्बेडिंग्स" (rubric embeddings) का प्रस्ताव और सत्यापन करता है, जो एक व्याख्यात्मक प्रतिनिधित्व ढांचा है जो सांख्यिकीय निर्णय लेने में लेबल पूर्वाग्रह को कम करने के लिए ब्लैक-बॉक्स विशेषताओं के स्थान पर विशेषज्ञ-परिभाषित मानदंडों का उपयोग करता है, और अनुभवजन्य रूप से यह प्रदर्शित करता है कि यह दृष्टिकोण विश्वविद्यालय प्रवेश में समूह असमानताओं को कम करते हुए कोहोर्ट गुणवत्ता में सुधार करता है।
यह शोध पत्र एक मशीन लर्निंग फ्रेमवर्क का प्रस्ताव करता है जो प्रेडिक्टेड सिग्नल क्वालिटी स्कोर को वेटेड लीस्ट स्क्वायर्स GNSS पोजिशनिंग के लिए इष्टतम वेट्स में बदलने के लिए एक्टिवेशन फंक्शन्स का उपयोग करता है, जो नॉन-लाइन-ऑफ-साइट और मल्टीपाथ त्रुटियों को प्रभावी ढंग से कम करके शहरी वातावरण में सटीकता में महत्वपूर्ण सुधार करता है।
यह शोधपत्र RELEX को प्रस्तुत करता है, जो एक कंप्यूट-कुशल विधि है जो इस खोज का लाभ उठाती है कि RLVR वेट प्रक्षेपवक्र (weight trajectories) अत्यधिक पूर्वानुमेय और लो-रैंक होते हैं, ताकि भविष्य के मॉडल चेकपॉइंट्स का लीनियर रिग्रेशन के माध्यम से अनुमान लगाया जा सके, जिससे स्टोकेस्टिक ऑप्टिमाइज़ेशन शोर को फ़िल्टर करके केवल कुछ ही चरणों में पूर्ण प्रशिक्षण के तुलनीय या उससे बेहतर प्रदर्शन प्राप्त किया जा सके।
यह शोध पत्र एजेंट JIT कंपाइलेशन (Agent JIT Compilation) को प्रस्तुत करता है, जो एक योजनाकार (planner), शेड्यूलर (scheduler) और इनवेरिएंट-एनफोर्सिंग प्रोटोकॉल (invariant-enforcing protocol) से बना एक ढांचा है जो प्राकृतिक भाषा के कार्यों को निष्पादन योग्य कोड में परिवर्तित करता है ताकि पारंपरिक अनुक्रमिक वेब एजेंट लूपों की तुलना में महत्वपूर्ण गति और सटीकता में सुधार प्राप्त किया जा सके।
यह शोधपत्र FROG को प्रस्तुत करता है, जो एक ऐसा ढांचा है जो सीखने योग्य टेबल रोल मॉडलिंग और फंक्शनल डिपेंडेंसी बाधाओं के माध्यम से फुल-रेज़ोल्यूशन ग्राफ टोपोलॉजी और GNN रिप्रजेंटेशन के संयुक्त अनुकूलन को सक्षम करके रिलेशनल डीप लर्निंग में स्थिर ग्राफ संरचनाओं की सीमाओं को दूर करता है।
EvoStruct एक क्रॉस-अटेंशन एडॉप्टर और प्रोग्रेसिव अनफ्रीजिंगिंग के माध्यम से एक फ्रोजन प्रोटीन लैंग्वेज मॉडल को 3D स्ट्रक्चरल कॉन्टेक्स्ट के साथ जोड़कर एंटीबॉडी CDR डिज़ाइन में होने वाले वोकैबुलरी कोलैप्स (vocabulary collapse) को संबोधित करता है, जिससे मौजूदा GNN विधियों की तुलना में बेहतर सीक्वेंस रिकवरी, डाइवर्सिटी और बाइंडिंग कोरिलेशन प्राप्त होता है।
यह शोध पत्र हाइपरपैरामीटर ट्रांसफर को मापने के लिए एक रूपरेखा प्रस्तुत करता है और यह प्रकट करता है कि मानक पैरामीट्राइजेशन (SP) की तुलना में मैक्सिमल अपडेट (P) में देखा गया श्रेष्ठ लर्निंग रेट ट्रांसफर मुख्य रूप से एम्बेडिंग लेयर लर्निंग रेट बॉटलनेक को समाप्त करने से उत्पन्न होता है, जो प्रशिक्षण को स्थिर करता है और एक्सट्रपलेशन रोबस्टनेस (extrapolation robustness) में सुधार करता है।
यह शोध पत्र इक्विलिब्रियम रीज़नर्स (EqR) को प्रस्तुत करता है, जो एक ऐसा फ्रेमवर्क है जो लेटेंट डायनेमिकल सिस्टम्स में टास्क-कंडीशन्ड अट्रैक्टर्स को सीखकर स्केलेबल और सामान्यीकरण योग्य तर्क (reasoning) प्राप्त करता है, जिससे एडेप्टिव टेस्ट-टाइम कंप्यूट एलोकेशन सक्षम होता है जो सुडोकू-एक्सट्रीम जैसे जटिल कार्यों पर सटीकता को 2.6% से बढ़ाकर 99% से अधिक कर देता है।
यह शोध पत्र CARV को प्रस्तुत करता है, जो एक कंप्यूट-अवेयर वेरिएंस-रिडक्शन फ्रेमवर्क है जो एमोर्टाइज्ड अपस्ट्रीम कंप्यूटेशन, टाइमस्टेप इम्पोर्टेंस सैंपलिंग और स्ट्रैटिफाइड-इनवर्स-CDF कंस्ट्रक्शन का लाभ उठाकर टेक्स्ट-टू-3D और डेटा एट्रीब्यूशन जैसे डिफ्यूजन-आधारित पाइपलाइनों में मोंटे कार्लो एस्टिमेटर वेरिएंस को काफी कम करता है और कंप्यूट दक्षता में सुधार करता है।