10025 पेपर
StepPRM-RTL एक नवीन ढांचा है जो पूर्ववर्ती विधियों की तुलना में बेहतर कार्यात्मक शुद्धता और लॉन्ग-होरिज़न रीजनिंग प्राप्त करने के लिए स्टेपवाइज़ ट्राजेक्टरी मॉडलिंग, प्रोसेस-रिवॉर्ड मॉडलिंग और रिट्रीवल-ऑगमेंटेड फाइन-ट्यूनिंग को एकीकृत करके LLM-आधारित RTL कोड जनरेशन को बढ़ाता है।
यह शोध पत्र Curation-Bench को प्रस्तुत करता है यह प्रदर्शित करने के लिए कि जबकि सामान्यवादी कोडिंग एजेंट डेटा क्यूरेशन लूप को स्वचालित कर सकते हैं और मौजूदा बेसलाइन से मेल खा सकते हैं, उच्च-स्तरीय, अनुसंधान-स्तर की डेटा नीतियों को प्राप्त करने के लिए ऐसे स्कैफोल्डिंग (scaffolding) की आवश्यकता होती है जो एजेंटों को ओपन-एंडेड प्रॉम्प्टिंग पर निर्भर रहने के बजाय पूर्व विधियों को उद्धृत करने और उन्हें अनुकूलित करने के लिए बाध्य करे।
यह शोध पत्र यह प्रदर्शित करता है कि कार्य-विशिष्ट फाइन-ट्यून किए गए मॉडल, विशेष रूप से RoBERTa, रेडिट पर गलत सूचना प्रतिक्रियाओं को वर्गीकृत करने में ज़ीरो-शॉट लार्ज लैंग्वेज मॉडल्स की तुलना में काफी बेहतर प्रदर्शन करते हैं क्योंकि वे विश्वास-प्रसारित सामग्री का बेहतर पता लगाते हैं, जिससे इस धारणा को चुनौती मिलती है कि सूक्ष्म गलत सूचना सत्यापन के लिए केवल मॉडल का पैमाना ही पर्याप्त है।
यह शोध पत्र एक स्पार्स मिक्स्चर-ऑफ-एक्सपर्ट्स (MoE) रिवॉर्ड मॉडल प्रस्तावित करता है जो बाइनरी प्रेफरेंस डेटा से व्याख्या योग्य और विशिष्ट विशेषज्ञों को सीखने के लिए, बिना किसी अतिरिक्त एनोटेशन लागत के, मानव प्राथमिकता विविधता को प्रभावी ढंग से कैप्चर करने और व्यक्तिगत संरेखण को बढ़ाने के लिए है।
यह शोध पत्र तापमान स्केलिंग (temperature scaling), हाइपरपैरामीटर अनुकूलन और व्याख्यात्मकता विधियों के साथ एक उन्नत 'कॉज़लबर्ट' (CausalBERT) ढांचे का प्रस्ताव करता है ताकि ऑनलाइन समीक्षा रेटिंग पर विशिष्ट पहलुओं के कारण प्रभावों को अलग किया जा सके, जो 6,00,000 से अधिक अमेरिकी K-12 स्कूल समीक्षाओं के अध्ययन के माध्यम से यह प्रदर्शित करता है कि स्कूल प्रशासन और बेंचमार्क प्रदर्शन समग्र रेटिंग के महत्वपूर्ण चालक हैं।
LazyAttention एक नवीन अटेंशन मैकेनिज्म पेश करता है जो डिफ़र्ड पोजीशनल एनकोडिंग को कर्नलइज़ करता है ताकि KV कैश का ज़ीरो-कॉपी, पोजीशन-अग्नोस्टिक पुन: उपयोग सक्षम किया जा सके, जो आउटपुट की गुणवत्ता से समझौता किए बिना RAG जैसे लॉन्ग-कॉन्टेक्स्ट अनुप्रयोगों में इंफरेंस थ्रूपुट और टाइम-टू-फर्स्ट-टोकन में महत्वपूर्ण सुधार करता है।
यह शोध पत्र प्रस्तावित करता है कि भाषा प्रसंस्करण में नकारात्मक ध्रुवीयता भ्रम (negative polarity illusions) शोर युक्त स्मृति एन्कोडिंग (noisy memory encoding) से उत्पन्न होते हैं, जहाँ निर्धारकों (determiners) का अपूर्ण प्रतिनिधित्व लोगों को व्याकरणिक संघर्षों को हल करने के लिए वाक्यों का तर्कसंगत पुनर्गठन करने के लिए प्रेरित करता है, एक ऐसा परिकल्पना जिसे उन प्रयोगों द्वारा समर्थित किया गया है जो अधिक समान निर्धारक युग्मों के साथ अधिक प्रबल भ्रम प्रभाव दिखाते हैं।
Video2LoRA एक ऐसी विधि है जो फ्रोजन विजन-लैंग्वेज मॉडल्स को एक परसेवर हाइपरनेटवर्क के माध्यम से वीडियो सामग्री को एक एकल लो-रैंक एडाप्टेशन (LoRA) एडॉप्टर में आंतरिक रूप से समाहित करने में सक्षम बनाती है, जिससे सीधे वीडियो प्रोसेसिंग के समान प्रदर्शन के साथ कुशल, टोकन-मुक्त क्वेरी इन्फरेंस संभव होता है और साथ ही कंप्यूटेशनल लागत को काफी कम करता है और लंबे वीडियो तक प्रभावी ढंग से स्केल करता है।
यह शोध पत्र एक ऑन-साइट नियंत्रण समूह के साथ एकल डोमेन पर आधारित लॉग-आधारित प्राकृतिक प्रयोग का उपयोग करके यह प्रदर्शित करता है कि जबकि रॉ चैटजीपीटी (ChatGPT) रेफरल वृद्धि मुख्य रूप से प्लेटफॉर्म विस्तार द्वारा संचालित है, लक्षित आंसर इंजन ऑप्टिमाइज़ेशन (AEO) हस्तक्षेप लगभग 1.82x का सांख्यिकीय रूप से सुधारात्मक लेकिन निर्णायक नहीं होने वाला कारण संबंधी उत्थान (causal lift) प्रदान करते हैं, जो प्लेटफॉर्म के अनुकूल प्रभावों (tailwinds) को वास्तविक अनुकूलन प्रभावों से अलग करने की आवश्यकता को रेखांकित करता है।
यह शोधपत्र GlossAssist को प्रस्तुत करता है, जो एक ग्लॉसिंग टूल है जो रिट्रीवल-आधारित आर्किटेक्चर और एक एक्टिव लर्निंग फीडबैक लूप का लाभ उठाता है ताकि फील्ड भाषाविदों को पूर्ण मॉडल रिट्रेनिंग की आवश्यकता के बिना एक परिवर्तनीय लेक्सिकन (lexicon) को पुनरावर्ती रूप से परिष्कृत करके कुशलतापूर्वक इंटरलीनियर ग्लॉस्ड टेक्स्ट बनाने में सक्षम बनाया जा सके।