9654 पेपर
यह शोध पत्र VASAE प्रस्तुत करता है, जो एक ऐसी विधि है जो वोकैबुलरी-अलाइन्ड एंकरिंग (vocabulary-aligned anchoring) के साथ स्पार्स ऑटोएनकोडर्स को प्रशिक्षित करती है ताकि प्रशिक्षण के दौरान फीचर्स को उनके अंतर्निहित टोकन नाम दिए जा सकें, जिससे ट्रांसफॉर्मर मॉडल्स के शैलो (shallow) और मिडिल लेयर्स में पुनर्निर्माण की गुणवत्ता से समझौता किए बिना उच्च संरेखण दर प्राप्त होती है।
यह शोध पत्र DG^VoiC को प्रस्तुत करता है, जो एक वॉइस क्लस्टरिंग फ्रेमवर्क है जो ग्राहक इंटरैक्शन के दौरान दोहराए जाने वाले वक्ताओं की पहचान करने के लिए गुमनाम रियल कॉल-सेंटर ऑडियो का लाभ उठाता है, जिससे वक्ता की निरंतरता को सत्यापित करके बीमा धोखाधड़ी की जांच को बढ़ाने के लिए उच्च क्लस्टरिंग सटीकता (100% होमोजेनिटी तक) प्राप्त होती है।
मल्टीहैशफॉर्मर (MultiHashFormer) एक नवीन हैश-आधारित ऑटोरेग्रेसिव फ्रेमवर्क पेश करता है जो टोकन को हैश आईडी के अद्वितीय अनुक्रमों के रूप में निरूपित करता है ताकि स्थिर शब्दावली फुटप्रिंट के साथ पैरामीटर-कुशल भाषा मॉडलिंग सक्षम हो सके, जो कई पैमानों और बहुभाषी परिदृश्यों में मानक ट्रांसफॉर्मर्स की तुलना में बेहतर प्रदर्शन प्रदर्शित करता है।
यह शोध पत्र लो-प्रिसिजन फ्लैश अटेंशन और MoE राउटर जैसे महत्वपूर्ण मॉड्यूल की कार्यात्मक भूमिकाओं से व्युत्पन्न तंत्र-संचालित मॉनिटर्स (mechanism-driven monitors) का प्रस्ताव करता है, ताकि लॉस डाइवर्जेंस (loss divergence) होने से हजारों स्टेप्स पहले प्रशिक्षण अस्थिरता का पता लगाया जा सके, जिससे लार्ज लैंग्वेज मॉडल प्रशिक्षण में होने वाली महंगी विफलताओं को रोका जा सके।
यह शोध पत्र लार्ज लैंग्वेज मॉडल्स (LLMs) और वर्ल्ड मॉडल्स के बीच के द्विआधारी अंतर को चुनौती देता है, यह तर्क देते हुए कि LLMs, वर्ल्ड मॉडल्स का एक डिजेनरेट विशेष मामला (degenerate special case) हैं, और टोकन प्रेडिक्शन से लेकर लेटेंट-स्पेस सिमुलेशन तक की आर्किटेक्चर की एक निरंतर स्पेक्ट्रम का प्रस्ताव देते हुए, एक्शन-लेबल वाले वातावरणों में स्केल करने और निरंतर-स्टेट प्रेडिक्शन के लिए ट्रांसफॉर्मर आर्किटेक्चर को अनुकूलित करने में महत्वपूर्ण अनुसंधान चुनौतियों पर प्रकाश डालते हैं।
यह शोध पत्र एक मानव-एआई सहयोगात्मक ढांचे और व्यावहारिक रणनीतियों को प्रस्तुत करता है जो विद्वत्तापूर्ण कठोरता बनाए रखते हुए शैक्षणिक लेखन की गुणवत्ता, दक्षता और समावेशिता को बढ़ाने के लिए जनरेटिव एआई (generative AI) का लाभ उठाने पर केंद्रित है।
यह शोध पत्र Mixture-of-Depths Ensemble (MoDE) प्रस्तुत करता है, जो एक ट्यूनिंग फ्रेमवर्क है जो तर्क करने की क्षमता (reasoning performance) में सुधार करने के लिए सीखे गए रूटिंग वेट्स के साथ लेट-लेयर रिप्रेजेंटेशन्स के एक एनसेम्बल का लाभ उठाता है और यह प्रदर्शित करता है कि ये इंटरमीडिएट लेयर्स बड़े ट्रेन करने योग्य मॉड्यूल्स का प्रभावी ढंग से विकल्प बन सकती हैं।