22423 पेपर
यह शोध पत्र LoRDO का प्रस्ताव करता है, जो एक वितरित प्रशिक्षण ढांचा (डिस्ट्रीब्यूटेड ट्रेनिंग फ्रेमवर्क) है जो सबस्पेस एक्सप्लोरेशन को बहाल करने के लिए एक फुल-रैंक क्वासी-हाइपरबोलिक अपडेट पेश करके लो-रैंक ऑप्टिमाइज़ेशन को विरल संचार (इन्फ्रीक्वेंट कम्युनिकेशन) के साथ एकीकृत करता है, जिससे मानक DDP प्रदर्शन के साथ लगभग समानता प्राप्त करते हुए संचार ओवरहेड को लगभग 10 गुना कम किया जा सकता है।
यह शोध पत्र MonoSoup को प्रस्तुत करता है, जो एक सरल, डेटा-मुक्त और हाइपरपैरामीटर-मुक्त पोस्ट-हॉक विधि है, जो सिंगुलर वैल्यू डिकम्पोजिशन (Singular Value Decomposition) और एंट्रॉपी-आधारित प्रभावी रैंक (entropy-based effective rank) का उपयोग करके एक एकल फाइन-ट्यून किए गए चेकपॉइंट को पुन: भारित (re-weight) करके इन-डिस्ट्रीब्यूशन सटीकता और आउट-ऑफ-डिस्ट्रीब्यूशन मजबूती के बीच संतुलन बनाती है, जो मॉडल सूप्स (Model Soups) जैसी मल्टी-चेकपॉइंट एंसेम्बलिंग तकनीकों के लिए एक गणनात्मक रूप से कुशल विकल्प प्रदान करती है।
यह शोध पत्र एक गोपनीयता-संरक्षित, एज-डिप्लॉयड (edge-deployed) संवादात्मक सहायक प्रस्तुत करता है जो प्रक्रियात्मक मैनुअल कार्यों के लिए वास्तविक समय में, सक्रिय मार्गदर्शन प्रदान करने हेतु केवल ऑडियो और IMU डेटा का उपयोग करता है, यह प्रदर्शित करते हुए कि एक लैंग्वेज मॉडल को फाइन-ट्यून करना अनावश्यक संवाद को सीमित करने में इसकी सटीकता (precision) और उपयोगकर्ता के प्रश्नों का उत्तर देने में इसकी रिकॉल (recall) को महत्वपूर्ण रूप से सुधारता है।
यह शोध पत्र गतिशील क्रिया उपलब्धता बाधाओं के तहत अनुक्रमिक निर्णय लेने को मॉडल करने के लिए फ्लिकरिंग मल्टी-आर्म्ड बैंडिट्स (FMAB) ढांचे को प्रस्तुत करता है, जो एक दो-चरणीय लेज़ी रैंडम वॉक एल्गोरिदम का प्रस्ताव करता है जो स्टोकेस्टिक रूप से विकसित होने वाले ग्राफ वातावरण में सूचना प्राप्ति और नेविगेशन ओवरहेड के बीच संतुलन बनाकर निकट-इष्टतम उप-रैखिक रिग्रेट (sublinear regret) प्राप्त करता है।
यह शोध पत्र RL-aware Distillation (RLAD) का प्रस्ताव करता है, जो एक विधि है जो वितरण बेमेल (distribution mismatch) और उद्देश्य हस्तक्षेप (objective interference) को दूर करने के लिए Trust Region Ratio Distillation (TRRD) ऑब्जेक्टिव के माध्यम से सुदृढीकरण शिक्षण (reinforcement learning) में चयनात्मक अनुकरण (selective imitation) को एकीकृत करती है, जिससे छोटे भाषा मॉडल अन्वेषण (exploration) और दोहन (exploitation) को संतुलित करते हुए बड़े शिक्षकों से प्रभावी ढंग से लंबी चेन-ऑफ-थॉट (chain-of-thought) तर्क क्षमताओं को विरासत में प्राप्त कर पाते हैं।
यह शोध पत्र एक डीप लर्निंग फ्रेमवर्क प्रस्तुत करता है जो उच्च-रिज़ॉल्यूशन (1 किमी, 15-मिनट) लैंड सरफेस टेम्परेचर (LST) क्षेत्रों को उत्पन्न करने के लिए जियोस्टेशनरी और पोलर-ऑर्बिटिंग सैटेलाइट डेटा को एक U-Net डाउनस्केलिंग मॉडल के माध्यम से संयोजित करता है और तत्पश्चात एक ConvLSTM नाउकास्टिंग मॉडल का उपयोग करके इंट्राडे (intraday) LST विविधताओं का पूर्वानुमान लगाता है, जो प्रमुख यूरोपीय शहरों में उच्च सटीकता प्राप्त करता है।
यह शोध पत्र संरचनात्मक विशेषताओं के आधार पर ग्राफों को क्लस्टर करके शॉर्टेस्ट-पाथ एल्गोरिदम के बेंचमार्किंग के लिए एक इंस्टेंस-लैंडस्केप फ्रेमवर्क प्रस्तुत करता है, जो यह प्रकट करता है कि जबकि संरचनात्मक समानता स्थिर क्षेत्र बनाती है, यह विभिन्न खोज प्रतिमानों (सर्च पैराडाइम्स) में सुसंगत एल्गोरिद्मिक प्रदर्शन की गारंटी नहीं देती है।
यह शोध पत्र गॉसियन मिक्सचर अटेंशन (GMA) को प्रस्तुत करता है, जो एक संभाव्य अनुक्रम मिक्सर (probabilistic sequence mixer) है जो स्पष्ट युग्व pair-wise टोकन इंटरैक्शन को सीखे गए गॉसियन घटकों के माध्यम से रूटिंग द्वारा प्रतिस्थापित करके रैखिक-समय जटिलता (linear-time complexity) और स्थिर मेमोरी स्केलिंग प्राप्त करता है, जो लंबी-संदर्भ मॉडलिंग (long-context modeling) के लिए एक प्रतिस्पर्धी और व्याख्या योग्य विकल्प प्रदान करता है और अनुकूलित स्टेट-स्पेस मॉडलों के विरुद्ध वर्तमान सीमाओं को स्वीकार करता है।
यह शोध पत्र शॉक-वेव थ्योरी (shock-wave theory) और न्यूरल नेटवर्क में सिमेट्री-रिड्यूस्ड स्टोकेस्टिक ग्रेडिएंट डिसेंट (symmetry-reduced stochastic gradient descent) के बीच एक कठोर गणितीय संबंध स्थापित करता है, यह प्रदर्शित करते हुए कि कोटिएंटेड लर्निंग डायनेमिक्स (quotiented learning dynamics) प्रशिक्षण चरण संक्रमणों (training phase transitions) की निगरानी के लिए नए सैद्धांतिक अंतर्दृष्टि और व्यावहारिक निदान प्रदान करने हेतु विस्कस हैमिल्टन-जैकोबी (viscous Hamilton–Jacobi) और बर्गर्स-प्रकार के समीकरणों (Burgers-type equations) की संतुष्टि करते हैं।
यह शोध पत्र मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) मॉडल्स के लिए एक स्ट्रक्चरल प्रूनिंग फ्रेमवर्क प्रस्तावित करता है जो फाइन-ग्रेन्ड रेडंडेंसी रिमूवल प्राप्त करने के लिए एट्रिब्यूशन-आधारित एप्रोक्सिमेशन के माध्यम से चैनल-स्कोर कवरेज को मैक्सिमाइज करता है, जिससे उच्च कंप्रेशन रेश्यो के तहत सटीकता बनाए रखते हुए मेमोरी फुटप्रिंट को महत्वपूर्ण रूप से कम किया जाता है।