26236 पेपर
यह शोध पत्र की-वैल्यू मीन्स (KVM) को प्रस्तुत करता है, जो अटेंशन के लिए एक नवीन ब्लॉक-रिकरेंस तंत्र है जो ट्रांसफॉर्मर्स और लीनियर RNNs के लाभों को एकीकृत करता है, जिससे मानक ऑपरेशन्स और न्यूनतम अतिरिक्त पैरामीटर्स का उपयोग करते हुए कुशल, चंक-पैरेललाइज़ेबल ट्रेनिंग के साथ लचीले स्टेट ग्रोथ और सबक्वाड्रेटिक प्रीफिल टाइम को सक्षम बनाया जा सके।
यह शोध पत्र टॉप क्वार्क टैगिंग के लिए एक पार्टिकल ट्रांसफॉर्मर पर मैकेनिस्टिक इंटरप्रिटेबिलिटी तकनीकों को लागू करता है, जिससे यह प्रकट होता है कि एक स्पार्स सिक्स-हेड सर्किट, 2-प्रोंग सबस्ट्रक्चर की पहचान करने के लिए एक एनर्जी कोरिलेटर-आधारित प्रतिनिधित्व का उपयोग करके पूर्ण मॉडल के प्रदर्शन को प्रभावी रूप से दोहराता है, जिससे यह सिद्ध होता है कि ग्रेडिएंट डिसेंट बिना किसी पर्यवेक्षण के जेट भौतिकी में भौतिक रूप से सार्थक विशेषताओं को पुनः खोज सकता है।
यह शोध पत्र यह प्रदर्शित करता है कि न्यूरल नेटवर्क परतों में स्पार्स ऑटोएनकोडर्स (sparse autoencoders) के स्केलिंग लॉ सार्वभौमिक नहीं हैं, बल्कि वे सक्रियता मैनिफोल्ड (activation manifold) की अंतर्निहित ज्यामितीय संरचना, विशेष रूप से इसकी वक्रता (curvature) और आंतरिक आयाम (intrinsic dimension) द्वारा निर्धारित होते हैं, जो विभिन्न मॉडलों में एक हस्तांतरणीय (transferable) तरीके से पुनर्निर्माण त्रुटि फर्श (reconstruction error floors) और चौड़ाई घातांकों (width exponents) को पूर्वानुमानित रूप से निर्देशित करते हैं।
यह शोधपत्र "ऑब्जर्वेबल वासरस्टीन डिस्टेंस" (observable Wasserstein distance) प्रस्तुत करता है, जो एक गणनात्मक रूप से कुशल ढांचा है जो 1-लिप्सचिट्ज़ ऑब्जर्वेबल्स के माध्यम से प्रायिकता मापों को वास्तविक रेखा पर प्रक्षेपित करके वासरस्टीन दूरी पर निचली सीमाएं व्युत्पन्न करता है, जो एक सैद्धांतिक पदानुक्रम स्थापित करता है जो माप के समर्थन के मेट्रिक कविंग आयाम के आधार पर अद्वितीय रिकवरी की गारंटी देता है।
यह शोध पत्र NaiAD को प्रस्तुत करता है, जो लगभग 59,000 विज्ञापन-अंतर्निहित प्रतिक्रियाओं और एक विच्छेदित (decoupled) जनरेशन पाइपलाइन वाली LLM-नेटिव विज्ञापन के लिए पहली व्यापक डेटासेट है, जो मॉडलों को विशिष्ट अर्थ संबंधी रणनीतियों और नियंत्रणीय इन-कॉन्टेक्स्ट लर्निंग के माध्यम से उपयोगकर्ता अनुभव और वाणिज्यिक राजस्व को एक साथ अनुकूलित करने में सक्षम बनाती है।
यह शोधपत्र VIGOR को प्रस्तुत करता है, जो एक वर्िफायर-मुक्त (verifier-free) सुदृढीकरण लर्निंग (reinforcement learning) विधि है जो बाहरी वर्िफायर या गोल्ड लेबल पर निर्भर हुए बिना गणितीय तर्क और कोड जनरेशन में LLM के प्रदर्शन को प्रभावी ढंग से सुधारने के लिए स्वयं पॉलिसी मॉडल से प्राप्त आंतरिक ग्रेडिएंट-नॉर्म रिवार्ड्स का लाभ उठाता है।
यह शोध पत्र बोरुटा (Boruta) फीचर सिलेक्शन एल्गोरिदम के दो GPU-त्वरित संस्करणों का प्रस्ताव करता है, जो यह प्रदर्शित करते हैं कि वे मूल CPU-आधारित पद्धति के समान सटीकता बनाए रखते हुए बड़े पैमाने के डेटासेट के लिए कम्प्यूटेशनल दक्षता में महत्वपूर्ण सुधार करते हैं, हालांकि इम्प्योरिटी-आधारित (impurity-based) संस्करण कुछ फीचर्स के महत्व को बढ़ा-चढ़ाकर दिखा सकता है।
G-Zero एक वर्िफायर-मुक्त (verifier-free), सह-विकासवादी (co-evolutionary) ढांचा है जो एक आंतरिक "Hint-" रिवॉर्ड का उपयोग करके LLM के ओपन-एंडेड आत्म-सुधार को सक्षम बनाता है, जिससे एक प्रपोजर (Proposer) मॉडल को चुनौतीपूर्ण प्रश्न और संकेत उत्पन्न करने के लिए प्रशिक्षित किया जाता है, जिससे एक जनरेटर (Generator) मॉडल DPO के माध्यम से उनसे सीखता है, और इस प्रकार बाहरी जजों की सीमाओं को दरकिनार करता है।
यह शोध पत्र कंसोलिडेशन-एक्सपेंशन ऑपरेटर मैकेनिक्स (OpMech) फ्रेमवर्क प्रस्तुत करता है, जो विविध शिक्षण प्रणालियों में अभिसरण (convergence) और अनुकूली ठहराव (adaptive stopping) को निर्धारित करने के लिए एक वास्तविक समय, सिद्धांत-आधारित नियंत्रण संकेत के रूप में एक गणनीय "ऑर्डर-गैप" मीट्रिक का उपयोग करता है, जो प्रभावी रूप से ह्यूरिस्टिक विधियों को साक्ष्य-आधारित गारंटियों से प्रतिस्थापित करता है।
यह शोध पत्र यह प्रदर्शित करता है कि ऑटोरेग्रेसिव रूप से उत्पन्न टोकन के माध्यम से मीन पूलिंग (mean pooling) करने से व्यक्तिगत टोकन अवस्थाओं की तुलना में बेहतर सिमेंटिक निरूपण प्राप्त होते हैं, जो यह प्रकट करता है कि सूचना किसी एक स्थिति तक सीमित होने के बजाय पूरी पीढ़ी प्रक्रिया के दौरान वितरित होती है।