19948 पेपर
यह शोधपत्र StickyMoE का प्रस्ताव करता है, जो एक डिफरेंशियल योग्य (differentiable) रूटिंग कंसिस्टेंसी लॉस है जो Mixture-of-Experts मॉडल्स को अर्थपूर्ण रूप से सुसंगत टोकन स्पैन (token spans) में विशेषज्ञ असाइनमेंट बनाए रखने के लिए प्रशिक्षित करता है, जिससे एज डिवाइसेस पर मेमोरी-गहन वेट स्वैपिंग (weight swapping) को न्यूनतम परप्लेक्सिटी डिग्रेडेशन के साथ काफी कम किया जा सकता है।
यह शोध पत्र रिवॉर्ड ट्रांसपोर्ट (Reward Transport) प्रस्तुत करता है, जो एक नवीन फ्लो मैचिंग फ्रेमवर्क है जो ऑप्टिमल ट्रांसपोर्ट के माध्यम से शोर-डेटा कपलिंग (noise-data coupling) में नियंत्रणीय आणविक गुणों को सीधे समाहित करता है, जिससे अतिरिक्त रिवॉर्ड मॉडल या ग्रेडिएंट गाइडेंस की आवश्यकता के बिना विशिष्ट लक्ष्यों जैसे कि logP या QED की ओर उत्पन्न अणुओं को इन्फरेंस-टाइम स्टीयरिंग (inference-time steering) सक्षम बनाया जा सके।
यह शोध पत्र HERO को पेश करता है, जो फेडरेटेड कॉन्टिनुअल लर्निंग के लिए एक विषमता-जागरूक (heterogeneity-aware) बेंचमार्क लाइब्रेरी है जो टास्क स्प्लिट्स, क्लाइंट डेटा वितरण और टास्क सीक्वेंस को अलग करती है ताकि पुनरुत्पादनीय (reproducible) मूल्यांकन सक्षम किया जा सके, जो यह प्रकट करता है कि विभिन्न विषमता सेटिंग्स में विधियों का प्रदर्शन कैसे भिन्न होता है और औसत मेट्रिक्स द्वारा इसे कैसे छिपाया जा सकता है।
यह शोध पत्र एक नवीन तीन-स्तरीय मैट्रिक्स स्टोरेज फॉर्मेट और एक हाइब्रिड SpMM कर्नेल प्रस्तावित करता है जो आधुनिक GPU पर मध्यम रूप से अनस्ट्रक्चर्ड स्पार्स LLM इन्फरेंस को सक्षम करने के लिए स्पार्स और CUDA कोर्स का संयुक्त रूप से लाभ उठाते हैं, जिससे डेंस मैट्रिक्स मल्टीप्लिकेशन पर पहला कर्नेल-स्तरीय स्पीडअप प्राप्त होता है और SpInfer एवं FlashLLM जैसी अत्याधुनिक विधियों से बेहतर प्रदर्शन होता है।
यह शोध पत्र EHR-MPC को प्रस्तुत करता है, जो सेप्सिस उपचार के लिए इन्फरेंस-टाइम मॉडल प्रिडिक्टिव कंट्रोल को सक्षम करने हेतु जनरेटिव पेशेंट डिजिटल ट्विन्स का लाभ उठाता है, जिससे सीखी गई क्लिनिकल डायनेमिक्स पर रीयल-टाइम सिमुलेशन के माध्यम से निर्णयों को अनुकूलित करके फिक्स्ड रिइन्फोर्समेंट लर्निंग पॉलिसियों की अनुकूलन क्षमता संबंधी सीमाओं को दूर किया जा सके।
यह शोध पत्र दबायोकलेक्शन (TheBioCollection) को प्रस्तुत करता है, जो एक एकीकृत 52.6B-टोकन प्री-ट्रेनिंग कॉर्पस है जो विविध जैविक संसाधनों को गणनात्मक गुणों और निर्देश कार्यों से समृद्ध एक सुसंगत प्रारूप में संकलित करता है, जो एक 16B-पैरामीटर मॉडल की सामान्य भाषाई क्षमताओं को संरक्षित करते हुए कई डोमेन में इसकी जैविक समझ और प्रदर्शन को महत्वपूर्ण रूप से बढ़ाता है।
यह शोध पत्र प्रॉम्प्ट-ड्रिवन एक्सप्लोरेशन (PDE) को प्रस्तुत करता है, जो एक सुदृढीकरण शिक्षण (reinforcement learning) रणनीति है जो रोलआउट विश्लेषण के आधार पर प्राकृतिक भाषा प्रॉम्प्ट्स को पुनरावर्ती रूप से परिष्कृत करने के लिए एक विजन-लैंग्वेज मॉडल का लाभ उठाती है, जिससे यह एक्शन-स्पेस नॉइज़ पर निर्भर किए बिना प्रभावी वैश्विक अन्वेषण और विरल पुरस्कारों (sparse rewards) से सीखने में सक्षम होता है।
यह शोध पत्र Mixture of Probes (MoP) को प्रस्तुत करता है, जो एक नया ढांचा है जो केवल प्रशिक्षण के दौरान उपलब्ध विशेषाधिकार प्राप्त मोडालिटीज़ का लाभ उठाकर, संरचित प्रोबिंग और एक विशेष क्रॉस-मोडल प्रशिक्षण रणनीति के माध्यम से मोडालिटी-विशिष्ट और सामान्य संकेतों को अलग करके मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स को महत्वपूर्ण रूप से उन्नत करता है, जिससे अनुमान (inference) के समय सहायक मोडालिटीज़ की अनुपस्थिति में भी पर्याप्त प्रदर्शन लाभ प्राप्त होता है।
यह शोध पत्र अमूर्तता (abstraction) का एक गतिक सिद्धांत प्रस्तुत करता है जो रैखिक और गैर-रैखिक दोनों न्यूरल नेटवर्क में प्रशिक्षण के दौरान रैखिक अवधारणा प्रतिनिधित्व (linear concept representations) कैसे उभरते हैं, इसके सटीक समाधान व्युत्पन्न करता है, जिससे यह प्रकट होता है कि अमूर्तता डेटा ज्यामिति, नेटवर्क गहराई और इनिशियलाइजेशन स्केल द्वारा शासित होती है और एक सार्वभौमिक क्षीणन नियम (universal attenuation law) का पालन करती है जो प्री-एक्टिवेशन्स (preactivations) की तुलना में एक्टिवेशन्स (activations) में अमूर्तता को कमजोर करती है।
यह शोधपत्र Clean2FX को प्रस्तुत करता है, जो क्लीन इलेक्ट्रिक गिटार ऑडियो को विभिन्न प्रभावों में बदलने के लिए एक लेबल-कंडीशन्ड फ्रेमवर्क है, जिसमें U-Net मॉडल का उपयोग किया गया है जो संगीत सामग्री को संरक्षित करने में वेरिएशनल ऑटोएनकोडर्स (variational autoencoders) से बेहतर प्रदर्शन करते हुए डिस्टॉर्शन (distortion), डिले (delay) और रिवर्ब (reverb) जैसे लक्षित प्रभावों को सटीक रूप से संश्लेषित करते हैं।