26003 पेपर
यह शोधपत्र UFO का प्रस्ताव करता है, जो एक एकीकृत प्रवाह-उन्मुख (flow-oriented) ढांचा है जो रिप्ले के लिए प्रवाह-आधारित जनरेटिव मॉडलिंग और दूषित ज्ञान को कम करने के लिए इंस्टेंस-स्तरीय विश्वसनीयता स्कोरिंग का उपयोग करके निरंतर ग्राफ लर्निंग में कैटास्ट्रोफिक फॉरगेटिंग और शोरयुक्त सुपरविजन की दोहरी चुनौतियों का समाधान करता है।
यह शोध पत्र प्रदर्शित करता है कि ट्रांसफॉर्मर्स को निरंतर लेटेंट कॉन्टेक्स्ट टोकन (continuous latent context tokens) से सुसज्जित करने से वे वेटेड मेजॉरिटी (weighted majority) और क्यू-लर्निंग (Q-learning) जैसे ऑनलाइन लर्निंग एल्गोरिदम को कुशलतापूर्वक लागू करने में सक्षम होते हैं, जिससे छोटे मॉडल दीर्घकालिक अनुकूली कार्यों (long-term adaptive tasks) पर काफी बड़े एलएलएम (LLMs) से बेहतर प्रदर्शन कर पाते हैं।
यह शोध पत्र की-वैल्यू मीन्स (KVM) को प्रस्तुत करता है, जो अटेंशन के लिए एक नवीन ब्लॉक-रिकरेंस तंत्र है जो ट्रांसफॉर्मर्स और लीनियर RNNs के लाभों को एकीकृत करता है, जिससे मानक ऑपरेशन्स और न्यूनतम अतिरिक्त पैरामीटर्स का उपयोग करते हुए कुशल, चंक-पैरेललाइज़ेबल ट्रेनिंग के साथ लचीले स्टेट ग्रोथ और सबक्वाड्रेटिक प्रीफिल टाइम को सक्षम बनाया जा सके।
यह शोध पत्र टॉप क्वार्क टैगिंग के लिए एक पार्टिकल ट्रांसफॉर्मर पर मैकेनिस्टिक इंटरप्रिटेबिलिटी तकनीकों को लागू करता है, जिससे यह प्रकट होता है कि एक स्पार्स सिक्स-हेड सर्किट, 2-प्रोंग सबस्ट्रक्चर की पहचान करने के लिए एक एनर्जी कोरिलेटर-आधारित प्रतिनिधित्व का उपयोग करके पूर्ण मॉडल के प्रदर्शन को प्रभावी रूप से दोहराता है, जिससे यह सिद्ध होता है कि ग्रेडिएंट डिसेंट बिना किसी पर्यवेक्षण के जेट भौतिकी में भौतिक रूप से सार्थक विशेषताओं को पुनः खोज सकता है।
यह शोध पत्र यह प्रदर्शित करता है कि न्यूरल नेटवर्क परतों में स्पार्स ऑटोएनकोडर्स (sparse autoencoders) के स्केलिंग लॉ सार्वभौमिक नहीं हैं, बल्कि वे सक्रियता मैनिफोल्ड (activation manifold) की अंतर्निहित ज्यामितीय संरचना, विशेष रूप से इसकी वक्रता (curvature) और आंतरिक आयाम (intrinsic dimension) द्वारा निर्धारित होते हैं, जो विभिन्न मॉडलों में एक हस्तांतरणीय (transferable) तरीके से पुनर्निर्माण त्रुटि फर्श (reconstruction error floors) और चौड़ाई घातांकों (width exponents) को पूर्वानुमानित रूप से निर्देशित करते हैं।
यह शोधपत्र "ऑब्जर्वेबल वासरस्टीन डिस्टेंस" (observable Wasserstein distance) प्रस्तुत करता है, जो एक गणनात्मक रूप से कुशल ढांचा है जो 1-लिप्सचिट्ज़ ऑब्जर्वेबल्स के माध्यम से प्रायिकता मापों को वास्तविक रेखा पर प्रक्षेपित करके वासरस्टीन दूरी पर निचली सीमाएं व्युत्पन्न करता है, जो एक सैद्धांतिक पदानुक्रम स्थापित करता है जो माप के समर्थन के मेट्रिक कविंग आयाम के आधार पर अद्वितीय रिकवरी की गारंटी देता है।
यह शोध पत्र NaiAD को प्रस्तुत करता है, जो लगभग 59,000 विज्ञापन-अंतर्निहित प्रतिक्रियाओं और एक विच्छेदित (decoupled) जनरेशन पाइपलाइन वाली LLM-नेटिव विज्ञापन के लिए पहली व्यापक डेटासेट है, जो मॉडलों को विशिष्ट अर्थ संबंधी रणनीतियों और नियंत्रणीय इन-कॉन्टेक्स्ट लर्निंग के माध्यम से उपयोगकर्ता अनुभव और वाणिज्यिक राजस्व को एक साथ अनुकूलित करने में सक्षम बनाती है।
यह शोधपत्र VIGOR को प्रस्तुत करता है, जो एक वर्िफायर-मुक्त (verifier-free) सुदृढीकरण लर्निंग (reinforcement learning) विधि है जो बाहरी वर्िफायर या गोल्ड लेबल पर निर्भर हुए बिना गणितीय तर्क और कोड जनरेशन में LLM के प्रदर्शन को प्रभावी ढंग से सुधारने के लिए स्वयं पॉलिसी मॉडल से प्राप्त आंतरिक ग्रेडिएंट-नॉर्म रिवार्ड्स का लाभ उठाता है।
यह शोध पत्र बोरुटा (Boruta) फीचर सिलेक्शन एल्गोरिदम के दो GPU-त्वरित संस्करणों का प्रस्ताव करता है, जो यह प्रदर्शित करते हैं कि वे मूल CPU-आधारित पद्धति के समान सटीकता बनाए रखते हुए बड़े पैमाने के डेटासेट के लिए कम्प्यूटेशनल दक्षता में महत्वपूर्ण सुधार करते हैं, हालांकि इम्प्योरिटी-आधारित (impurity-based) संस्करण कुछ फीचर्स के महत्व को बढ़ा-चढ़ाकर दिखा सकता है।
G-Zero एक वर्िफायर-मुक्त (verifier-free), सह-विकासवादी (co-evolutionary) ढांचा है जो एक आंतरिक "Hint-" रिवॉर्ड का उपयोग करके LLM के ओपन-एंडेड आत्म-सुधार को सक्षम बनाता है, जिससे एक प्रपोजर (Proposer) मॉडल को चुनौतीपूर्ण प्रश्न और संकेत उत्पन्न करने के लिए प्रशिक्षित किया जाता है, जिससे एक जनरेटर (Generator) मॉडल DPO के माध्यम से उनसे सीखता है, और इस प्रकार बाहरी जजों की सीमाओं को दरकिनार करता है।