24514 पेपर
यह शोध पत्र PARSE का प्रस्ताव करता है, जो एक पोस्ट-ट्रेनिंग फ्रेमवर्क है जो एक ऑफलाइन-प्रशिक्षित राउटर और पैटर्न कैशिंग के माध्यम से व्यक्तिगत प्रॉम्प्ट्स के लिए इष्टतम रैंकों को गतिशील रूप से चुनकर SVD-आधारित LLM संपीड़न (compression) को बढ़ाता है, जिससे स्टेटिक रैंक ट्रंकेशन विधियों की तुलना में मॉडल की सटीकता और इन्फरेंस दक्षता दोनों में महत्वपूर्ण सुधार होता है।
यह शोध पत्र प्रकट करता है कि मौजूदा प्री-ट्रेन्ड मिक्स्चर-ऑफ-एक्सपर्ट्स (MoE) मॉडल्स स्वाभाविक रूप से पर्याप्त इंट्रा-एक्सपर्ट एक्टिवेशन स्पैरसिटीिटी (intra-expert activation sparsity) रखते हैं, जिसका लाभ vLLM एक्जीक्यूशन पाइपलाइन में संशोधन करके निष्क्रिय न्यूरॉन गणनाओं को स्किप करने के लिए उठाया जा सकता है, जिससे बिना किसी मॉडल रिट्रेनिंग या पैरामीटर संशोधन के MoE लेयर एक्जीक्यूशन में 2.5x तक की स्पीडअप और एंड-टू-एंड स्पीडअप में 1.2x की वृद्धि प्राप्त होती है।
यह शोध पत्र काज़ार्क (Kaczmarz) लीनियर अटेंशन (KLA) को प्रस्तुत करता है, जो एक संशोधित गेटेड डेल्टानेट (Gated DeltaNet) है जो अपने अनुभवजन्य रूप से सीखे गए अपडेट गुणांक को सैद्धांतिक रूप से व्युत्पन्न, की-नॉर्म-नॉर्मलाइज्ड (key-norm-normalized) काज़ार्क स्टेप साइज से बदल देता है, जिसके परिणामस्वरूप मॉडल की संरचना या स्टेट शेप (state shape) को बदले बिना बेहतर परप्लेक्सिटी (perplexity), दीर्घ-संदर्भ स्थिरता (long-context stability) और डिकोडिंग दक्षता प्राप्त होती है।
यह शोध पत्र लैटिस डिडक्शन ट्रांसफॉर्मर (LDT) का परिचय देता है, जो एक आवर्ती (recurrent) मॉडल है जो लैटिस प्रोजेक्शन और एब्स्ट्रैक्ट इंटरप्रिटेशन के माध्यम से सुदृढ़ निष्कर्ष (sound deduction) का अनुमान लगाकर सुडोकू और भूलभुलैया जैसे जटिल तर्क पहेलियों पर लगभग पूर्ण सटीकता प्राप्त करता है, जो अनुभवजन्य सुदृढ़ता (empirical soundness) बनाए रखते हुए अत्याधुनिक एलएलएम (LLMs) से काफी बेहतर प्रदर्शन करता है।
यह शोध पत्र फाइन-ग्रेन्ड प्लांट पैथोलॉजी 2021 डेटासेट पर छह ओओडी (OOD) डिटेक्शन विधियों का व्यवस्थित रूप से मूल्यांकन करता है, जो यह प्रदर्शित करता है कि एनर्जी-बेस्ड फाइन-ट्यूनिंग एम्बेडिंग स्पेस को पुनर्गठित करके और स्कोर को कैलिब्रेट करके बेसलाइन्स से बेहतर प्रदर्शन करती है, साथ ही यह उन व्यावहारिक प्रशिक्षण अस्थिरताओं को भी उजागर करता है जो कंस्ट्रेंड ऑप्टिमाइज़ेशन विधियों में अक्सर मानक बेंचमार्क में अनदेखी कर दी जाती हैं।
यह शोधपत्र STRIDE प्रस्तुत करता है, जो एक नवीन ढांचा (framework) है जो LLM तर्क को निरंतर एम्बेडिंग्स (continuous embeddings) में एक क्रॉस-मोडल प्रायोर (cross-modal prior) के रूप में आसवित (distill) करके टाइम सीरीज़ फाउंडेशन मॉडल्स को उन्नत करता है, जिससे मोडैलिटी गैप को पाटकर अत्याधुनिक पूर्वानुमान सटीकता प्राप्त करने के साथ-साथ मानव-व्याख्या योग्य गुणात्मक तर्क भी जोड़ा जाता है।
यह शोध पत्र एक सहयोगात्मक बुद्धिमत्ता प्रतिमान (collaborative intelligence paradigm) प्रस्तावित करता है जहाँ विभिन्न उपकरणों और क्लाउड में वितरित कई लार्ज लैंग्वेज मॉडल्स, विविध संसाधन बाधाओं के तहत उच्च गुणवत्ता वाले उत्तर देने के लिए ऊर्ध्वाधर (vertical) और क्षैतिज (horizontal) सहयोग के माध्यम से मिलकर कार्य करते हैं, साथ ही प्रशिक्षण रणनीतियों और खुले अनुसंधान चुनौतियों को भी संबोधित करते हैं।
PAAC एक गोपनीयता-जागरूक एजेंटिक फ्रेमवर्क है जो टाइप किए गए प्लेसहोल्डर टोकन और एक नियत रजिस्ट्री का उपयोग करके प्लानर-एक्जीक्यूटर अपघटन को डिवाइस-क्लाउड सीमा के साथ संरेखित करता है, जिससे मौजूदा अत्याधुनिक बेसलाइन की तुलना में सटीकता में उल्लेखनीय सुधार होता है और डेटा रिसाव को नाटकीय रूप से कम किया जाता है।
यह शोध पत्र AgentCollabBench प्रस्तुत करता है, जो एक नैदानिक बेंचमार्क है जो यह प्रकट करता है कि मल्टी-एजेंट सिस्टम की विफलताएं अक्सर संरचनात्मक संचार बाधाओं और निर्देश क्षय (instruction decay) एवं मिथ्या-विश्वास संचरण (false-belief contagion) जैसे विशिष्ट व्यवहार संबंधी जोखिमों से उत्पन्न होती हैं, जो यह दर्शाता है कि विश्वसनीय सहयोग मॉडल की बुद्धिमत्ता को बढ़ाने के बजाय वास्तुशिल्प डिजाइन (architectural design) पर अधिक निर्भर करता है।
FLUX एक ज्यामिति-जागरूक अनुदैर्ध्य फ्लो मैचिंग फ्रेमवर्क है जो अनपेयर्ड (unpaired) जैविक स्नैपशॉट्स से निरंतर परिवहन गतिकी को संयुक्त रूप से मॉडल करने और लेटेंट रिजीम स्विचों की खोज करने के लिए एक मिक्सचर-ऑफ-एक्सपर्ट्स आर्किटेक्चर का उपयोग करता है, जो स्पार्स वेलोसिटी फील्ड डिकंपोजिशन को निर्देशित करने के लिए एक डेटा-डिपेंडेंट मेट्रिक को सीखता है।