24235 पेपर
यह शोध पत्र डाइलेटेड अनमास्किंग शेड्यूलर (DUS) का परिचय देता है, जो एक केवल-अनुमान (inference-only) विधि है जो संयुक्त एंट्रॉपी लाभ को न्यूनतम करने के लिए अनुक्रम स्थितियों को गैर-समीपवर्ती समूहों में विभाजित करके समानांतर अनमास्किंग करती है, जिससे गुणवत्ता से समझौता किए बिना या अंतर्निहित डिनोइज़र को संशोधित किए बिना मास्क किए गए डिफ्यूजन लैंग्वेज मॉडल्स में 5.8 गुना तक तेज़ टेक्स्ट जनरेशन प्राप्त किया जाता है।
LoRA-Mixer एक मॉड्यूलर Mixture-of-Experts फ्रेमवर्क है जो टास्क-विशिष्ट LoRA विशेषज्ञों को अटेंशन प्रोजेक्शन लेयर्स में रूट करके और एक एडेप्टिव Routing Specialization Loss का उपयोग करके मल्टी-टास्क अनुकूलन को बढ़ाता है, जिससे विविध बेंचमार्क पर अत्याधुनिक बेसलाइन्स की तुलना में बेहतर प्रदर्शन और पैरामीटर दक्षता प्राप्त होती है।
AdeptHEQ-FL एक एकीकृत हाइब्रिड क्लासिकल-क्वांटम फेडरेटेड लर्निंग फ्रेमवर्क है जो गैर-IID विकेंद्रीकृत वातावरणों में मॉडल प्रदर्शन को बढ़ाने, औपचारिक गोपनीयता गारंटी सुनिश्चित करने और संचार ओवरहेड को कम करने के लिए एडेप्टिव होमोमोर्फिक एन्क्रिप्शन, डायनेमिक लेयर स्पैरिंग और एक्यूरेसी-वेटेड एग्रीगेशन को समाहित करता है।
यह शोध पत्र रेयर डिज़ीज़ माइनिंग एजेंट्स (RDMA) को प्रस्तुत करता है, जो एक एजेंटिक फ्रेमवर्क है जो विशिष्ट उपकरणों के साथ छोटे, क्वांटाइज्ड LLMs का लाभ उठाता है ताकि बिना किसी टास्क-विशिष्ट प्रशिक्षण के असंरचित इलेक्ट्रॉनिक स्वास्थ्य रिकॉर्ड से दुर्लभ रोग संबंधी जानकारी को सटीक रूप से निकाला जा सके, जिससे फाइन-ट्यून्ड या RAG-आधारित बेसलाइन की तुलना में बेहतर प्रदर्शन और महत्वपूर्ण लागत कटौती प्राप्त होती है और साथ ही निजी, ऑन-प्रिमाइज़ परिनियोजन को सक्षम बनाया जाता है।
यह शोध पत्र यह स्थापित करता है कि GPTQ, इनपुट हेसियन (Hessian) द्वारा परिभाषित एक लैटिस (lattice) पर क्लोजेस्ट वेक्टर प्रॉब्लम (closest vector problem) को हल करने के लिए बाबाई (Babai) के नियरएस्ट प्लेन एल्गोरिदम (nearest plane algorithm) के गणितीय रूप से समकक्ष है, जिससे एक ज्यामितीय व्याख्या, सैद्धांतिक त्रुटि सीमाएं, और बेहतर, क्लिपिंग-मुक्त क्वांटाइजेशन विधियों को विकसित करने के लिए एक आधार प्राप्त होता है।
यह शोध पत्र को-ऑपरेटिव सैंपलिंग एरर रिडक्शन (CoSER) प्रस्तुत करता है, जो एक केंद्रीकृत अनुकूलनशील सैंपलिंग विधि है जो क्रिया चयन को समन्वित करके मल्टी-एजेंट सुदृढीकरण सीखने में संयुक्त सैंपलिंग त्रुटियों को कम करती है, जिससे स्वतंत्र ऑन-पॉलिसी एल्गोरिदम की विश्वसनीयता और अभिसरण में महत्वपूर्ण सुधार होता है।
यह शोध पत्र GNNev को प्रस्तुत करता है, जो एक सटीक सत्यापन उपकरण (exact verification tool) है जो संरचनात्मक और विशेषता संबंधी परिवर्तनों (structural and attribute perturbations) के विरुद्ध मैसेज-पासिंग ग्राफ न्यूरल नेटवर्क के लिए साउंड और कंप्लीट रोबस्टनेस गारंटी प्रदान करने हेतु इंक्रीमेंटल कंस्ट्रेंट सॉल्विंग का उपयोग करता है, जो सम (sum), मैक्स (max) और मीन (mean) एग्रीगेशन फंक्शनों के समर्थन का विस्तार करता है और वास्तविक दुनिया के डेटासेट पर प्रदर्शित प्रभावशीलता को दर्शाता है।
GLASS एक प्रशिक्षण-मुक्त (training-free) फ्रेमवर्क है जो रैंक एकत्रीकरण (rank aggregation) के माध्यम से स्थानीय प्रॉम्प्ट-विशिष्ट सक्रियणों (local prompt-specific activations) और वैश्विक मॉडल-अंतर्निहित पूर्वग्रहों (global model-intrinsic priors) को एकत्रित करके बड़े भाषा मॉडलों के लिए इन्फरेंस-टाइम स्पारसिफिकेशन (inference-time sparsification) में सुधार करता है, जिससे डायनेमिक FFN प्रूनिंग स्थिर होती है और विशेष रूप से लघु-प्रॉम्प्ट, दीर्घ-रूप परिदृश्यों में जनरेशन फिडेलिटी और डिकोडिंग गति में उल्लेखनीय वृद्धि होती है।
CR-Net एक पैरामीटर-कुशल फ्रेमवर्क है जो एक डुअल-पाथ आर्किटेक्चर और विशिष्ट रीकंप्यूटेशन रणनीति के माध्यम से इंटर-लेयर एक्टिवेशन रेसिडुअल्स के लो-रैंक गुणों का लाभ उठाता है ताकि LLM प्री-ट्रेनिंग में मौजूदा लो-रैंक विधियों से बेहतर प्रदर्शन करते हुए कम्प्यूटेशनल और मेमोरी लागत को काफी कम किया जा सके।
यह शोध पत्र DAWM का प्रस्ताव करता है, जो एक मॉड्यूलर डिफ्यूजन-आधारित वर्ल्ड मॉडल है जो वर्तमान अवस्थाओं और क्रियाओं पर आधारित भविष्य की स्टेट-रिवॉर्ड ट्राजेक्टरीज को उत्पन्न करता है, जिसे क्रियाओं का अनुमान लगाने के लिए एक इनवर्स डायनेमिक्स मॉडल के साथ जोड़ा गया है, जिससे ऑफलाइन रिइन्फोर्समेंट लर्निंग के लिए कुशल वन-स्टेप टेम्पोरल डिफरेंस ट्रेनिंग सक्षम होती है और D4RL बेंचमार्क पर मौजूदा बेसलाइन्स से बेहतर प्रदर्शन करती है।