22285 पेपर
CauScale एक न्यूरल आर्किटेक्चर है जो एक रिडक्शन यूनिट और टाइड अटेंशन वेट्स का उपयोग करके 1000 नोड्स तक के बड़े ग्राफ पर कुशल कॉज़ल डिस्कवरी को सक्षम बनाता है ताकि उच्च सटीकता बनाए रखते हुए समय और स्थान की दक्षता में महत्वपूर्ण सुधार किया जा सके।
यह शोध पत्र कोडिंग एजेंटों के लिए रिपॉजिटरी-स्तर की संदर्भ फ़ाइलों (जैसे AGENTS.md) की प्रभावशीलता का मूल्यांकन करता है और पाता है कि, सामान्य अभ्यास के विपरीत, वे आम तौर पर कार्य सफलता दर में सुधार करने में विफल रहते हैं जबकि इनसे इन्फरेंस लागत में 20% से अधिक की वृद्धि होती है।
यह शोध पत्र प्रदर्शित करता है कि प्रशिक्षित निम्न-डिग्री परिमेय सक्रियण कार्यों (low-degree rational activation functions) का उपयोग करने वाले न्यूरल नेटवर्क, मानक स्थिर सक्रियणों की तुलना में काफी अधिक अभिव्यक्ति क्षमता और पैरामीटर दक्षता प्राप्त करते हैं, जो घातांकीय सन्निकटन लाभ प्रदान करते हैं जो सैद्धांतिक रूप से सिद्ध और अनुभवजन्य रूप से मान्य दोनों हैं।
यह शोध पत्र अनुभवजन्य रूप से यह प्रदर्शित करता है कि मध्यम-स्तरीय भाषा मॉडल (लगभग 1.5 से 3B पैरामीटर) AI-नेटिव 6G नेटवर्क के लिए नियत तर्क स्थिरता (deterministic reasoning stability) और कम्प्यूटेशनल दक्षता के बीच इष्टतम संतुलन प्रदान करते हैं, जो एक एज-अनुकूलित बेंचमार्क के विरुद्ध मूल्यांकन किए जाने पर छोटे और बड़े दोनों मॉडलों से बेहतर प्रदर्शन करते हैं।
SplitZip एक GPU-अनुकूल, लॉसलेस कंप्रेसर है जो एक फिक्स्ड-लेंथ कोडबुक और स्पार्स एस्केप स्ट्रीम के माध्यम से फ्लोटिंग-पॉइंट एक्सपोनेंट रेडंडेंसी का लाभ उठाकर डिसएग्रिगेटेड LLM सर्विंग में KV कैश ट्रांसफर को त्वरित करता है, जिससे मौजूदा तरीकों की तुलना में काफी अधिक थ्रूपुट और कम विलंबता प्राप्त होती है।
यह शोध पत्र प्रदर्शित करता है कि विकिपीडिया स्वयंसेवकों का एक छोटा, समन्वित समूह पशु कल्याण जैसे विशिष्ट विषयों के संबंध में बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) के मूल्यों और प्रतिक्रियाओं को महत्वपूर्ण रूप से आकार दे सकता है, क्योंकि उनके लक्षित संपादन असंबंधित सामग्री की तुलना में मॉडल प्रशिक्षण और व्यवहार में असमान रूप से प्रभावशाली हो जाते हैं।
यह शोध पत्र ReviewGuard को प्रस्तुत करता है, जो एक दो-चरणीय ढांचा है जो LLM-जनित सहकर्मी समीक्षाओं (peer reviews) को तत्काल मानवीय प्राथमिकताओं के बजाय दीर्घकालिक उद्धरण प्रभाव (long-term citation impact) के साथ संरेखित करता है, जो मानव समीक्षकों और पर्यवेक्षित विशेषज्ञ मॉडलों दोनों की तुलना में उच्च-क्षमता वाले अनुसंधान की पहचान करने की काफी बेहतर क्षमता प्रदर्शित करता है जिसे अक्सर शुरुआत में अस्वीकार कर दिया जाता है।
यह शोध पत्र RWGBench प्रस्तुत करता है, जो एक नया बेंचमार्क और बहुआयामी मूल्यांकन ढांचा है जो पारंपरिक पाठ समानता के बजाय उद्धरण निर्णय लेने (citation decision-making) और विद्वत्तापूर्ण स्थिति निर्धारण (scholarly positioning) के आधार पर संबंधित कार्य पीढ़ी (Related Work Generation) का आकलन करता है, जिससे यह पता चलता है कि वर्तमान मॉडल प्रवाहपूर्ण पाठ उत्पन्न करने के बावजूद अक्सर महत्वपूर्ण शैक्षणिक कार्यों में विफल रहते हैं।
यह शोध पत्र प्रकट करता है कि डेंस पर-लूप क्रॉस-एन्ट्रॉपी सुपरविजन, स्केल-इनवेरिएंट रीडआउट्स के कारण हिडन-स्टेट स्केल को नियंत्रित करने में विफल रहता है क्योंकि वे इस वेरिएबल को लॉस से छिपा देते हैं, जिससे अनबाउंडेड नॉर्म ग्रोथ को रोकने और परप्लेक्सिटी में सुधार करने के लिए या तो स्केल-विज़िबल रीडआउट्स, स्पष्ट नॉर्म पेनल्टीज़, या स्केल-रिमूविंग रिकरेंस की आवश्यकता होती है।
यह शोध पत्र बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) के अनुसंधान-स्तरीय गणितीय तर्क में विफलता के चार रूपों का एक वर्गीकरण प्रस्तावित करता है और अनुभवजन्य रूप से यह प्रदर्शित करता है कि "प्रिमिस स्मगलिंग" (premise smuggling)—मौलिक दावों का unverified या अपुष्ट अभिकथन—एक व्यापक, उद्धरण-सत्यापन-प्रतिरोधी दोष है जिसके लिए पोस्ट-हॉक डिटेक्शन के बजाय इन्फरेंस-टाइम रोकथाम रणनीतियों की आवश्यकता है।