26757 पेपर
यह शोध पत्र प्रदर्शित करता है कि मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) आर्किटेक्चर को लेयर लूपिंग और अर्ली-एग्जिट मैकेनिज्म के साथ संयोजित करने से भाषा मॉडल मानक ट्रांसफॉर्मर की तुलना में स्केलिंग दक्षता में बेहतर प्रदर्शन करने में सक्षम होते हैं और साथ ही मेमोरी और इन्फरेंस लागत को काफी कम करते हैं।
यह शोध पत्र WorldSpeech को प्रस्तुत करता है, जो 76 भाषाओं में 65,000 घंटों के संरेखित (aligned) ऑडियो-ट्रांसक्रिप्ट डेटा वाला एक बड़े पैमाने का बहुभाषी संग्रह है, जो कम संसाधन वाली भाषाओं के लिए स्वचालित वाक् पहचान (automatic speech recognition) प्रदर्शन में सुधार करते हुए शब्द त्रुटि दर (word error rate) को औसतन 63.5% तक कम कर देता है।
यह शोध पत्र CIVeX को प्रस्तुत करता है, जो एक कारण संबंधी हस्तक्षेप सत्यापनकर्ता (causal intervention verifier) है जो प्रस्तावित कार्यों को संरचनात्मक कारण प्रश्नों (structural causal queries) में मैप करके भाषा एजेंटों में विश्वसनीय टूल उपयोग सुनिश्चित करता है ताकि पहचान योग्य कारण प्रभावों की गारंटी दी जा सके, जिससे उन कन्फाउंडेड वर्कफ़्लो (confounded workflows) में गलत निष्पादन को रोका जा सके जहाँ मानक सत्यापन सुरक्षा उपाय विफल हो जाते हैं।
यह शोध पत्र एक मानकीकृत मिथ्याकरण बेंचमार्क (falsification benchmark) प्रस्तुत करता है ताकि यह प्रदर्शित किया जा सके कि यह दावा कि प्रेडिक्शन बॉटलनैक्स (prediction bottlenecks) कारण संरचना (causal structure) की खोज करते है, गलत है, जो इसके बजाय यह प्रकट करता है कि देखे गए लाभ काफी हद तक नमूना-आकार के भ्रम (sample-size confounds) या विधि-अज्ञेय प्रभाव (method-agnostic effects) हैं जो ग्रेंजर कॉज़ैलिटी (Granger causality) और लासो (Lasso) जैसी शास्त्रीय विधियों द्वारा पीछे छोड़ दिए जाते हैं।
यह सर्वेक्षण बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) के लिए अनुकूलन एल्गोरिदम (ऑप्टिमाइज़ेशन एल्गोरिदम) की एक व्यापक समीक्षा प्रदान करता है, जो शास्त्रीय प्रथम-क्रम दृष्टिकोणों से लेकर म्यूऑन (Muon) जैसे उन्नत मैट्रिक्स-आधारित ऑप्टिमाइज़र तक विधियों को वर्गीकृत करता है, और एक कठोर, स्केल-जागरूक बेंचमार्किंग का समर्थन करता है जो अभिसरण (कन्वर्जेंस), स्थिरता, मेमोरी दक्षता और कार्यान्वयन जटिलता का संयुक्त रूप से मूल्यांकन करता है।
यह शोधपत्र SeqRejectron प्रस्तुत करता है, जो चयनात्मक अनुकरण शिक्षण (selective imitation learning) के लिए एक एल्गोरिदम है जो एक क्षितिज-मुक्त (horizon-free) स्टॉपिंग नियम का निर्माण करके एजेंटों को मनमानी गतिकी परिवर्तनों (arbitrary dynamics shifts) के तहत सुरक्षित रूप से कार्य करने से बचने में सक्षम बनाता है, जिसके पास सिद्ध नमूना जटिलता गारंटी (provable sample complexity guarantees) है।
यह शोध पत्र यह प्रदर्शित करता है कि लीनियर प्रोब्स (linear probes) द्वारा प्रमाणित, प्री-ट्रेनिंग के दौरान फ्रोजन डिकोडर-ओनली ट्रांसफॉर्मर में सिमेंटिक रोल (semantic role) की समझ आंशिक रूप से उभरती है, हालांकि पूर्ण प्रदर्शन के लिए फाइन-ट्यूनिंग की आवश्यकता होती है और मॉडल स्केल बढ़ने के साथ इन भूमिकाओं का आंतरिक प्रतिनिधित्व तेजी से वितरित होता जाता है।
यह शोध पत्र DARE का प्रस्ताव करता है, जो एक एकीकृत ढांचा है जो विभिन्न कार्य कठिनाइयों के माध्यम से प्रशिक्षण दक्षता, अंतिम प्रदर्शन और अनुमान संक्षिप्तता को एक साथ सुधारने के लिए सेल्फ-नॉर्मलाइज्ड इम्पोर्टेंस सैंपलिंग और एडेप्टिव कंप्यूट एलोकेशन के माध्यम से पॉलिसी के साथ कठिनाई अनुमान को सह-विकसित करता है।
यह शोध पत्र सिंगल-पॉलिसी कंसेंट्रैबिलिटी के तहत फॉरवर्ड-केएल (forward-KL) रेगुलाइजेशन वाले ऑफलाइन कॉन्टेक्स्टुअल बैंडिट्स के लिए पहले फास्ट सैंपल कॉम्प्लेक्सिटी अपर बाउंड्स स्थापित करता है, जो एक नवीन कॉनवेक्स-एनालिटिकल विश्लेषण के माध्यम से टैबुलर और जनरल फंक्शन एप्रोक्सिमेशन सेटिंग्स को एकीकृत करता है और मैचिंग लोअर बाउंड्स के माध्यम से इन दरों की टाइटनेस को सिद्ध करता है।
Flame3D एक प्रशिक्षण-मुक्त (training-free) फ्रेमवर्क है जो दृश्यों को संपादन योग्य दृश्य-पाठ्य स्मृतियों (visual-textual memories) के रूप में प्रदर्शित करके और ऑफ-द-शेल्फ MLLMs को ओपन-एंडेड इन्फरेंस के लिए कस्टम स्थानिक उपकरणों (spatial tools) को गतिशील रूप से संश्लेषित करने हेतु सशक्त बनाकर ज़ीरो-शॉट कंपोजिशनल 3D सीन रीजनिंग को सक्षम बनाता है।