24832 पेपर
यह शोध पत्र एक डिफ्यूजन-आधारित अनुक्रमिक मोंटे कार्लो ढांचे को प्रस्तुत करता है जो डिफ्यूजन पथों के साथ सहायक चरों को विकसित करके लक्ष्य वितरणों के लिए स्कोर और घनत्वों का कुशलतापूर्वक अनुमान लगाता है, जिसे विचरण को कम करने के लिए कंट्रोल वेरिएट्स के साथ उन्नत किया गया है और विभिन्न स्टोकेस्टिक प्रक्रियाओं एवं डेटासेटों में मान्य किया गया है।
यह शोध पत्र ESSAM को पेश करता है, जो एक मेमोरी-कुशल फुल पैरामीटर फाइन-ट्यूनिंग फ्रेमवर्क है जो इवोल्यूशन स्ट्रेटजीज (Evolution Strategies) को शार्पनेस-अवेयर मैक्सिमाइजेशन (Sharpness-Aware Maximization) के साथ जोड़ता है ताकि पारंपरिक सुदृढीकरण शिक्षण (reinforcement learning) विधियों जैसे कि PPO और GRPO की तुलना में GPU मेमोरी के उपयोग को काफी कम करते हुए LLMs पर प्रतिस्पर्धी गणितीय तर्क प्रदर्शन प्राप्त किया जा सके।
यह शोध पत्र CGF-Softmax प्रस्तुत करता है, जो सॉफ्टमैक्स फलन का एक नवीन पुनर्गठन है जो संचयी जनरेटिंग फंक्शन (cumulant generating function) का उपयोग करके खर्चीले होमोमॉर्फिक विभाजन और अधिकतम घटाव को समाप्त करता है, जिससे कम मल्टीप्लिकेटिव डेप्थ के साथ होमोमॉर्फिक एन्क्रिप्शन के तहत ट्रांसफार्मर मॉडल के लिए कुशल और सटीक गोपनीयता-संरक्षित अनुमान (privacy-preserving inference) सक्षम होता है।
यह शोध पत्र एक सैद्धांतिक ढांचा प्रस्तुत करता है जो यह प्रदर्शित करता है कि मिनी-बैच शोर (mini-batch noise) एडम (Adam) के मोमेंटम हाइपरपैरामीटर्स के निहित पूर्वाग्रह (implicit bias) को मौलिक रूप से बदल देता है, जिससे यह स्पष्ट होता है कि जबकि मानक विन्यास छोटे बैचों के लिए इष्टतम है, बड़े बैचों के लिए एंटी-रेगुलराइजेशन (anti-regularization) से बचने और सामान्यीकरण (generalization) में सुधार करने के लिए को के करीब समायोजित करने की आवश्यकता होती है।
यह शोध पत्र बेयसियन कॉन्फॉर्मल प्रेडिक्शन (BCP) को प्रस्तुत करता है, जो एक ऐसा ढांचा है जो कॉन्फॉर्मल प्रेडिक्शन को निर्णय-जोखिम अनुकूलन समस्या के रूप में सूत्रबद्ध करता है ताकि मॉडल मिसस्पेसिफिकेशन (model misspecification) के तहत भी सीमित-नमूना कवरेज गारंटी के साथ कुशल, संभावित रूप से विलगित (disjoint) उच्चतम पश्च घनत्व (Highest Posterior Density) भविष्यवाणी सेट उत्पन्न किए जा सकें।
यह शोध पत्र CaRE का प्रस्ताव करता है, जो 300 से अधिक कार्यों के अत्यंत लंबे टास्क अनुक्रमों को प्रभावी ढंग से संभालने के लिए एक द्वि-स्तरीय रूटिंग मिक्सचर-ऑफ-एक्सपर्ट्स तंत्र का उपयोग करने वाला एक स्केलेबल कॉन्टिनुअल लर्निंग फ्रेमवर्क है, जिसके साथ मूल्यांकन के लिए चुनौतीपूर्ण OmniBenchmark-1K डेटासेट का परिचय भी दिया गया है।
यह शोध पत्र प्रदर्शित करता है कि 2D दृश्यों में अनुक्रमिक टोकन की भविष्यवाणी करने के लिए प्रशिक्षित एक रिकरेंट न्यूरल नेटवर्क स्वतः ही पाथ इंटीग्रेशन और डायनेमिक ऑब्जेक्ट-लोकेशन बाइंडिंग तंत्र विकसित कर लेता है, जो लचीले इन-कॉन्टेक्स्ट लर्निंग और नवीन दृश्यों के सुदृढ़ पूर्वानुमान को सक्षम बनाता है।
यह शोध पत्र मैनिफोल्ड रैंडम फीचर्स (MRFs) को प्रस्तुत करता है, जो एक नवीन प्रतिमान (पैराडाइम) है जो सामान्य मैनिफोल्ड्स पर द्वि-चर (bi-variate) फलनों के धनात्मक, परिबद्ध (bounded), निरंतर सन्निकटन उत्पन्न करने के लिए मैनिफोल्ड विविक्तीकरण (discretization) और ग्राफ रैंडम फीचर्स का लाभ उठाता है, जबकि विविक्त (discrete) और निरंतर रैंडम फीचर्स के बीच एक गहरा सैद्धांतिक संबंध स्थापित करता है और लीनियर-अटेंशन ट्रांसफॉर्मर्स जैसे अनुप्रयोगों के लिए गॉसियन कर्नेल सन्निकटन को सरल बनाता है।
यह शोध पत्र अनुकूल नियंत्रण सिद्धांत (optimal control theory) का उपयोग करके रैंडम फीचर मॉडल्स के लिए इष्टतम लर्निंग रेट शेड्यूल्स को सैद्धांतिक रूप से व्युत्पन्न और मान्य करता है, जो विशिष्ट "आसान" और "कठिन" प्रशिक्षण चरणों की पहचान करता है जो यह निर्धारित करते हैं कि मानक बेंचमार्क की तुलना में पॉलीनोमियल डिके या वॉर्मअप-स्टेबल-डिके रणनीतियाँ बेहतर प्रदर्शन प्रदान करती हैं।
यह शोध पत्र SOCKET को प्रस्तुत करता है, जो एक नवीन स्पार्स अटेंशन मैकेनिज्म है जो कुशल, मेमोरी-लाइट टोकन चयन को सक्षम करने के लिए पारंपरिक हार्ड लोकैलिटी-सेंसिटिव हैशिंग को एक संभाव्य सॉफ्ट कोलिजन कर्नेल से बदल देता है और लॉन्ग-कॉन्टेक्स्ट इन्फरेंस के दौरान FlashAttention की तुलना में 1.5x तक अधिक थ्रूपुट प्राप्त करता है।