27989 पेपर
यह शोध पत्र नियर-पॉलिसी डिस्टिलेशन (NPD) का प्रस्ताव करता है, जो एक एसिंक्रोनस फ्रेमवर्क है जो जनरेशन को ट्रेनिंग से अलग करके और पॉलिसी विलंब (policy delay) को कम करने के लिए -IFD फ़िल्टरिंग का उपयोग करके ऑन-पॉलिसी नॉलेज डिस्टिलेशन को तेज़ करता है, जिससे मानक SFT और बड़े मॉडलों की तुलना में 8.1 गुना गति और बेहतर प्रदर्शन प्राप्त होता है।
यह शोध पत्र यह प्रदर्शित करता है कि जबकि समान एनकोडिंग बजट वाले विभिन्न वेरिएशनल क्वांटम सर्किट आर्किटेक्चर समान फ्रीक्वेंसी स्पेक्ट्रा उत्पन्न करते हैं, उनकी प्रशिक्षण क्षमता (trainability) मौलिक रूप से आर्किटेक्चरल आकार द्वारा नियंत्रित होती है, जहाँ सीरियल डिज़ाइन जैकोबियन रैंक की कमी के कारण स्ट्रक्चरल ग्रेडिएंट स्टार्वेशन (structural gradient starvation) से ग्रस्त होते हैं, जबकि पैरेलल डिज़ाइन और फीचर मैप परतों का जुड़ना पैरामीटर दक्षता और सुदृढ़ अभिसरण (robust convergence) सुनिश्चित करता है।
यह शोध पत्र हाइपरस्फेरिकल कॉन्फिडेंस मैपिंग (HCM) को प्रस्तुत करता है, जो एक सरल, सैंपलिंग-मुक्त और डिस्ट्रीब्यूशन-मुक्त ढांचा है जो रिग्रेशन और क्लासिफिकेशन दोनों कार्यों के लिए नियत (डिटरमिनिस्टिक), व्याख्या योग्य और लागत प्रभावी अनिश्चितता अनुमान प्रदान करने के लिए यूनिट हाइपरस्फीयर पर ज्यामितीय बाधाओं का लाभ उठाता है, जो कॉन्फिडेंस-एरर एलाइनमेंट में मौजूदा एन्सेम्बल और एविडेंशियल विधियों से बेहतर प्रदर्शन करता है।
यह शोध पत्र सिद्ध करता है कि कर्नेलकृत बैंडिट ऑप्टिमाइज़ेशन (kernelized bandit optimization) में मिसस्पेसिफिकेशन पेनल्टी को — ऑफलाइन (सिंपल रिग्रेट) और ऑनलाइन (क्युमुलेटिव रिग्रेट) दोनों ही मामलों में — ऑफलाइन सेटिंग में स्पेक्ट्रल लोकलाइजेशन (spectral localization) और ऑनलाइन सेटिंग में स्पेक्ट्रल डोमेन-स्प्लिटिंग (spatial domain-splitting) का लाभ उठाकर, जटिलता के वर्गमूल कारक (square-root-of-complexity factor) से घटाकर एक लॉगरिदमिक या पॉलीलॉगरिदमिक (logarithmic or polylogarithmic) कारक तक कम किया जा सकता है।
यह शोध पत्र KV-कंप्रेशन अवेयर ट्रेनिंग (KV-CAT) को प्रस्तुत करता है, जो एक निरंतर प्रीट्रेनिंग विधि है जो प्रशिक्षण के दौरान KV स्लॉट्स को मास्क करती है ताकि स्वाभाविक रूप से संपीड़ित (compressible) प्रतिनिधित्व सीखने को प्रोत्साहित किया जा सके, जिससे लॉन्ग-कॉन्टेक्स्ट लैंग्वेज मॉडलिंग के लिए पोस्ट-हॉक KV कैश कंप्रेशन की प्रभावशीलता में उल्लेखनीय सुधार होता है।
यह शोध पत्र एक कंसिस्टेंसी-डिस्टिल्ड फ्लो मैचिंग फ्रेमवर्क प्रस्तावित करता है जो वैज्ञानिक प्रवाह पुनर्निर्माण के लिए उच्च-सटीकता वाले जनरेटिव मॉडल्स को कुशल वन-स्टेप आर्किटेक्चर में संकुचित करता है, जिससे विविध फ्लूइड डायनेमिक्स बेंचमार्क में भौतिक निष्ठा बनाए रखते हुए महत्वपूर्ण इन्फरेंस स्पीडअप और बेहतर प्रशिक्षण दक्षता प्राप्त होती है।
यह शोध पत्र DiBA प्रस्तुत करता है, जो एक कॉम्पैक्ट मैट्रिक्स फैक्टराइजेशन विधि है जो स्टोरेज और गणना लागत को महत्वपूर्ण रूप से कम करने के लिए डायगोनल और बाइनरी मैट्रिसेस का उपयोग करके डेंस न्यूरल नेटवर्क वेट्स का अनुमान लगाता है, साथ ही DiBA-Greedy और DiBARD एल्गोरिदम भी पेश करता है जो बाइनरी घटकों को पुन: प्रशिक्षित किए बिना उच्च सटीकता और कुशल डाउनस्ट्रीम अनुकूलन प्राप्त करते हैं।
यह शोध पत्र यह सिद्ध करता है कि दो या तीन रैंडमाइज्ड हेडामार्ड ट्रांसफॉर्म्स (RHTs) को संयोजित करना ग्रेडिएंट कम्प्रेशन और वेक्टर क्वांटाइजेशन के लिए क्रमशः यूनिफॉर्म रैंडम रोटेशन्स (URRs) के प्रदर्शन को सैद्धांतिक रूप से मेल खाने के लिए पर्याप्त है, जो गॉसियन कन्वर्जेंस और कोवेरिएंस डिके बाउंड्स स्थापित करके किया गया है, साथ ही यह उपयोग किए जाने वाले ट्रांसफॉर्म्स की संख्या को गतिशील रूप से अनुकूलित करने के लिए एक लीनियर-टाइम रनटाइम चेक भी प्रस्तावित करता है।
यह शोध पत्र मल्टी-एलएलएम (multi-LLM) निर्णय लेने की प्रक्रिया का विश्लेषण करने के लिए एक सिद्धांत-आधारित ब्लैकवेल सूचनात्मकता (Blackwell informativeness) ढांचे को प्रस्तुत करता है, जो यह प्रदर्शित करता है कि बेयसियन पूल्ड पोस्टीरियर मैक्सिमाइजेशन (Bayesian pooled posterior maximization) एक सूचना-सैद्धांतिक ऊपरी सीमा है और एक व्यावहारिक प्रोडक्ट-ऑफ-पोस्टीरियर्स (product-of-posteriors) अनुमानक प्रस्तावित करता है जो प्रश्नोत्तर (QA) बेंचमार्क पर मौजूदा वोटिंग और डिबेट विधियों से बेहतर प्रदर्शन करता है।
यह शोध पत्र एक बड़े पैमाने पर अनुभवजन्य अध्ययन प्रस्तुत करता है जो यह प्रकट करता है कि टाइम सीरीज़ फोरकास्टिंग (समय श्रृंखला पूर्वानुमान) के लिए सिंथेटिक डेटा ऑग्मेंटेशन के परिणाम आर्किटेक्चर-निर्भर होते हैं, जो चैनल-मिक्सिंग मॉडल्स को महत्वपूर्ण रूप से लाभान्वित करते हैं जबकि चैनल-इंडिपेंडेंट मॉडल्स को खराब करते हैं, और इष्टतम लाभ केवल विशिष्ट स्थितियों जैसे क्रमिक एनीलिंग (gradual annealing) और सीजनल-ट्रेंड जनरेटर्स के उपयोग के तहत ही देखे जाते हैं।