23163 पेपर
यह शोध पत्र GPU कर्नेल प्रदर्शन का पूर्वानुमान लगाने के लिए चयनात्मक, सुदृढीकरण-सीखने (reinforcement-learning) द्वारा संवर्धित सरोगेट्स के रूप में भाषा मॉडलों का उपयोग करने का प्रस्ताव देता है, जिससे महंगी ऑन-डिवाइस मूल्यांकनों को कम किया जा सके और सीमित माप बजट के भीतर तेज़ कर्नेल्स की खोज को सक्षम बनाया जा सके।
यह शोध पत्र बैलेंस्ड लोरा (BaLoRA) प्रस्तुत करता है, जो एक ऐसी विधि है जो पैरामीटर इनवेरिएंस (parameter invariance) को समाप्त करने के लिए लो-रैंक एडेप्टेशन इटरेट्स (low-rank adaptation iterates) को एक बैलेंस्ड मैनिफोल्ड पर प्रोजेक्ट करती है, जिससे प्रदर्शन को बनाए रखते हुए लॉस लैंडस्केप की कंडीशनिंग में सुधार होता है और अभिसरण (convergence) की गति बढ़ती है।
यह शोधपत्र CoRP को प्रस्तुत करता है, जो एक ग्रेडिएंट-मुक्त पोस्ट-ट्रेनिंग विधि है जो लो-रैंक संरचना का लाभ उठाकर रिवॉर्ड-वेटेड गॉसियन परम्यूटेशन्स (reward-weighted Gaussian perturbations) को एक एकल मॉडल अपडेट में समेकित करती है, जिससे RandOpt जैसे एन्सेम्बल-आधारित दृष्टिकोणों के मल्टी-पास इन्फरेंस ओवरहेड को समाप्त करते हुए बेस मॉडल की तुलना में महत्वपूर्ण प्रदर्शन लाभ प्राप्त होता है।
यह शोध पत्र इस बात की जांच करता है कि कैसे छोटे ट्रांसफॉर्मर वेरिएबल असाइनमेंट और मॉड्यूलर एडिशन (modular addition) की एक नियंत्रित सेटिंग में कंपोजिशनल जनरलाइजेशन (compositional generalization) प्राप्त करते हैं, जो यह प्रकट करता है कि मॉडल प्रत्यक्ष और अप्रत्यक्ष दोनों इनपुट के लिए आंतरिक तंत्रों का पुन: उपयोग करते हैं और अनदेखे संयोजनों तक स्वाभाविक रूप से सामान्यीकरण करने के लिए विशिष्ट शिक्षण चरणों से गुजरते हैं।
यह शोध पत्र स्केलेबल इन्फरेंस-टाइम एनीलिंग (SITA) को प्रस्तुत करता है, जो ऊर्जा-आधारित मॉडलों का उपयोग करके तेज़ सरोगेट लाइकलीहुड्स (surrogate likelihoods) प्रदान करता है, जिससे बड़े आणविक प्रणालियों के लिए मौजूदा इन्फरेंस-टाइम एनीलिंग तकनीकों की जटिलता को दूर करते हुए, पेप्टाइड्स पर बिना किसी महंगी डाइवर्जेंस गणना के अत्याधुनिक सैंपलिंग प्रदर्शन प्राप्त किया जा सके।
यह शोध पत्र तीन प्रमुख लेयर परिवारों—SpMM, रिडक्शन (reduction), और अटेंशन (attention)—के लिए I/O-जागरूक GPU कर्नल कार्यान्वयन प्रस्तावित करके ग्राफ न्यूरल नेटवर्क में मेमोरी एक्सेस बाधाओं को संबोधित करता है, जो मौजूदा फ्रेमवर्क की तुलना में विविध ग्राफ संरचनाओं में महत्वपूर्ण गति वृद्धि और मेमोरी कमी प्राप्त करते हैं।
यह शोध पत्र इस बात की जांच करता है कि क्यों रिकवरेबल ऑब्जेक्ट इंफॉर्मेशन (recoverable object information) होने के बावजूद CLIP जैसे विजन-लैंग्वेज मॉडल्स कॉन्सेप्ट बाइंडिंग (concept binding) में संघर्ष करते हैं, जो यह प्रकट करता है कि उनके उच्च-जटिलता वाले बाइंडिंग फंक्शन्स सामान्यीकरण (generalization) में बाधा डालते हैं, जबकि पर्याप्त डेटा के साथ प्रशिक्षित नियंत्रित ट्रांसफार्मर मॉडल्स कम-जटिलता वाले मल्टीप्लिकेटिव इंटरैक्शन (multiplicative interactions) सीखते हैं जो व्यवस्थित बाइंडिंग (systematic binding) को सक्षम करते हैं।
यह शोध पत्र स्पार्स ऑटोएनकोडर्स (sparse autoencoders) में फीचर डेथ (feature death) के प्राथमिक कारण के रूप में डायमेंशन-लेवल एक्टिवेशन आउटलेयर्स (dimension-level activation outliers) की पहचान करता है, यह प्रदर्शित करते हुए कि उच्च आउटलेयर गंभीरता प्री-एक्टिवेशन्स (pre-activations) को स्थायी रूप से नकारात्मक मानों की ओर स्थानांतरित कर देती है और विभिन्न मॉडलों में इस समस्या को समाप्त करने के लिए एक प्रभावी समाधान के रूप में मीन-सेंटरिंग (mean-centering) का प्रस्ताव करता है।
यह शोध पत्र Chem-PerturBridge को प्रस्तुत करता है, जो 37,000 यौगिकों और 136 कोशिकीय संदर्भों में 1.25 मिलियन से अधिक ट्रांसक्रिप्टोमिक नमूनों का एक सामंजस्यपूर्ण संग्रह है, जो कठोर क्रॉस-डेटासेट सहमति विश्लेषण को सक्षम बनाता है और मौजूदा बेसलाइन की तुलना में यौगिक प्रतिनिधित्व शिक्षण मॉडलों में महत्वपूर्ण सुधार करता है।
यह शोध पत्र एक सैद्धांतिक संबंध स्थापित करता है जो यह दर्शाता है कि -रेगुलर गुणों को संतुष्ट करने वाली नीतियों के लिए वैल्यू फंक्शन (value functions), स्ट्रीट सुपरमार्टिंगेल प्रमाणपत्रों (Streett supermartingale certificates) को एनकोड करते हैं, जिससे औपचारिक सत्यापन (formal verification) और सुदृढीकरण लर्निंग (reinforcement learning) के बीच एक सेतु बनता है ताकि परिमित (finite), गणनीय अनंत (countably infinite) और निरंतर (continuous) अवस्था स्थानों में सिद्धांत-आधारित प्रमाण-संश्लेषण (principled certificate synthesis) को सक्षम किया जा सके।