24717 पेपर
यह शोधपत्र सैद्धांतिक रूप से स्थापित करता है कि Muon ऑप्टिमाइज़र एक गैर-रेखीय स्पेक्ट्रल शेपिंग तंत्र का उपयोग करके उच्च-आयामी LLM प्रशिक्षण परिदृश्यों में डायमेंशन-फ्री सैडल-पॉइंट एस्केप प्राप्त करता है, जिससे यह AdamW जैसे एलिमेंट-वाइज एडेप्टिव ऑप्टिमाइज़र्स को फँसाने वाले आयामी अभिशाप (dimensional curse) को दरकिनार कर देता है।
यह शोध पत्र FAR-SIGN प्रस्तुत करता है, जो पूरी तरह से एसिंक्रोनस पैरामीटर-सर्वर-वर्कर सिस्टम के लिए एक सुदृढ़ अनुकूलन एल्गोरिदम है, जो साइन-आधारित दिशात्मक अपडेट और दो-टाइमस्केल तंत्र का उपयोग करता है ताकि प्रथम-क्रम और शून्य-क्रम दोनों सेटिंग्स के लिए सिद्ध अभिसरण (convergence) और निकट-इष्टतम दरों के साथ विरोधी-लचीला (adversary-resilient) शिक्षण प्राप्त किया जा सके।
यह शोध पत्र वन-शॉट न्यूरल नेटवर्क प्रूनिंग में एक "सिलेक्शन प्लेटो" (Selection Plateau) की पहचान करता है जहाँ सभी रैंक-मोनोटोन स्कोरर्स समान सटीकता पर अभिसरित होते हैं, और यह प्रदर्शित करने के लिए स्पर्सिटी-इंफॉर्मेशन-कॉम्प्लेक्सिटी स्पेक्ट्रम (SICS) परिकल्पना प्रस्तावित करता है कि इस प्लेटो से बाहर निकलने के लिए उन गैर-मोनोटोन विशेषताओं की आवश्यकता होती है जिनका जटिलता स्तर विशेष रूप से लक्षित स्पर्सिटी के अनुकूल हो।
यह शोध पत्र नेटवर्क वाले माइक्रोकंट्रोलर्स के लिए एक सूक्ष्म-स्तरीय (fine-grained) स्प्लिट इन्फरेंस सिस्टम प्रस्तुत करता है जो कर्नेल और न्यूरॉन स्तर पर कई उपकरणों में सीएनएन (CNN) मॉडलों को विभाजित करके मेमोरी की सीमाओं को दूर करता है, जिससे व्यावहारिक विलंबता (latency) बनाए रखते हुए अन्यथा असंभव मॉडलों का निष्पादन सक्षम होता है।
Skill-R1 एक सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जो एक द्वि-स्तरीय उद्देश्य द्वारा प्रशिक्षित एक हल्के जनरेटर के माध्यम से पुन: प्रयोज्य प्राकृतिक भाषा कौशल को अनुकूलित करता है, जिससे अंतर्निहित फ्रोजन मॉडल को अपडेट किए बिना जटिल कार्यों पर एजेंटिक LLMs के लागत प्रभावी, मॉडल-अज्ञेय सुधार को सक्षम बनाया जा सके।
यह शोध पत्र यह प्रदर्शित करता है कि दो-खिलाड़ी शून्य-योग खेलों (two-player zero-sum games) में, जहाँ बैंडिट फीडबैक के साथ खिलाड़ी प्रतिद्वंद्वी की क्रियाओं को भी देखते हैं, एक कुशल एल्गोरिदम उच्च संभाव्यता के साथ निकट-इष्टतम लास्ट-इटरैट अभिसरण (last-iterate convergence) प्राप्त कर सकता है, जो उन पिछली सीमाओं को दूर करता है जिन्होंने केवल लॉस फीडबैक उपलब्ध होने पर अभिसरण को धीमी दरों तक सीमित कर दिया था।
यह शोध पत्र GibbsTTS प्रस्तुत करता है, जो एक ज़ीरो-शॉट टेक्स्ट-टू-स्पीच सिस्टम है जो मौजूदा बेसलाइन की तुलना में बेहतर स्वाभाविकता और वक्ता समानता प्राप्त करने के लिए एक ट्रेनिंग-मुक्त काइनेटिक-ऑप्टिमल शेड्यूलर को परिमित-चरण मोमेंट सुधार (finite-step moment correction) के साथ जोड़कर मेट्रिक-इंड्यूस्ड डिस्क्रीट फ्लो मैचिंग को उन्नत करता है।
यह शोध पत्र D2ACE का प्रस्ताव करता है, जो एक नवीन मल्टी-लेबल बैच चयन विधि है जो प्रशिक्षण विकास और स्थानीय लेबल निर्भरता को बेहतर ढंग से पकड़ने के लिए ड्यूल डायनेमिक्स (स्टेज-वाइज सैंपलिंग और डायनेमिक लेबल वेटिंग) को एडेप्टिव कोरिलेशन एन्हांसमेंट के साथ एकीकृत करके प्रशिक्षण दक्षता और भविष्य कहनेवाला प्रदर्शन में सुधार करता है।
यह शोध पत्र Gravity-GraphSAGE (GG-SAGE) को प्रस्तुत करता है, जो एक नवीन GraphSAGE-आधारित मॉडल है जिसमें एक गुरुत्वाकर्षण-प्रेरित (gravity-inspired) डिकोडर है जो कई बेंचमार्क और वास्तविक दुनिया के डेटासेट पर अत्याधुनिक तकनीकों से बेहतर प्रदर्शन करके, दिशात्मक, एट्रिब्यूटेड ग्राफ में लिंक प्रेडिक्शन की अल्प-अन्वेषित चुनौती को प्रभावी ढंग से संबोधित करता है।
यह शोध पत्र कंडीशनल डिस्ट्रीब्यूशन मैचिंग (CDM) को प्रस्तुत करता है, जो एक एकल बिंदु के बजाय एक विशिष्ट लक्षित कंडीशनल डिस्ट्रीब्यूशन को प्रेरित करने वाले इनपुट्स खोजने के लिए एक नया इनवर्स-डिज़ाइन समस्या वर्ग है, और MLGD-F का प्रस्ताव करता है, जो एक ट्रेनिंग-फ्री इन्फरेंस-टाइम एल्गोरिदम है जो इस समस्या को कुशलतापूर्वक हल करने के लिए एक प्रीट्रेनड डिफ्यूजन मॉडल को एक फास्ट कंडीशनल सैंपलर के साथ जोड़ता है।