11611 पेपर
यह शोध पत्र AIANO को प्रस्तुत करता है, जो एक AI-संवर्धित एनोटेशन टूल है जो सूचना पुनर्प्राप्ति (इन्फॉर्मेशन रिट्रीवल) कार्यों के लिए डेटासेट निर्माण को महत्वपूर्ण रूप से गति देने, उपयोगिता में सुधार करने और पुनर्प्राप्ति सटीकता बढ़ाने के लिए मानव विशेषज्ञता के साथ LLM सहायता को एकीकृत करता है।
यह शोध पत्र 'ट्रस्ट द टिपिकल' (T3) को पेश करता है, जो एक नवीन एलएलएम (LLM) सुरक्षा ढांचा है जो सुरक्षा को आउट-ऑफ-डिस्ट्रीब्यूशन डिटेक्शन समस्या के रूप में मानता है, जो हानिकारक प्रशिक्षण डेटा की आवश्यकता के बिना सुरक्षित प्रॉम्प्ट्स के वितरण को सीखकर, विविध खतरों और भाषाओं में कम इन्फरेंस ओवरहेड बनाए रखते हुए अत्याधुनिक प्रदर्शन प्राप्त करता है।
यह शोध पत्र तर्कपूर्ण निबंधों के स्वचालित लक्षण-आधारित स्कोरिंग के लिए दो पूरक दृष्टिकोणों का प्रस्ताव और मूल्यांकन करता है, जो यह प्रदर्शित करता है कि एक सुपरवाइज्ड बिगबर्ड (BigBird) मॉडल ऑर्डिनल रिग्रेशन के साथ मानव रेटर्स के अनुरूप होने में बेसलाइन से काफी बेहतर प्रदर्शन करता है, जबकि छोटे ओपन-सोर्स एलएलएम (LLMs) बिना किसी कार्य-विशिष्ट फाइन-ट्यूनिंग के व्याख्या योग्य, रूब्रिक-संरेखित फीडबैक उत्पन्न करने के लिए एक प्रतिस्पर्धी, गोपनीयता-संरक्षण विकल्प प्रदान करते हैं।
यह शोध पत्र RexBERT को प्रस्तुत करता है, जो एक विशाल 350-बिलियन-टोकन वाले ई-कॉमर्स कॉर्पस पर तीन-चरणीय प्रीट्रेनिंग रेसिपी का उपयोग करके प्रशिक्षित विशेषीकृत BERT-शैली के एनकोडर्स का एक परिवार है, जो काफी कम पैरामीटर्स होने के बावजूद डोमेन-विशिष्ट कार्यों पर बड़े सामान्य-उद्देश्य वाले मॉडलों से बेहतर प्रदर्शन करता है।
यह शोध पत्र लगभग 56 मिलियन वैज्ञानिक प्रकाशनों वाले वेब ऑफ साइंस डेटासेट के अर्थ संबंधी परिदृश्य (सेमेंटिक लैंडस्केप) को मैप करने के लिए एलएलएम एम्बेडिंग मॉडल को ग्राफ-आधारित विश्लेषण के साथ संयोजित करने की व्यावहारिकता को प्रदर्शित करता है।
यह शोध पत्र जनरेटिव रिवॉर्ड मॉडल्स के भ्रामक संरेखण (deceptive alignment) को संबोधित करने के लिए "रेशनल कंसिस्टेंसी" (तर्क सुसंगतता) को एक महत्वपूर्ण मीट्रिक के रूप में प्रस्तुत करता है, जो तर्क संरेखण और परिणाम सटीकता को संयोजित करने वाले एक हाइब्रिड प्रशिक्षण संकेत का प्रस्ताव करता है ताकि अत्याधुनिक प्रदर्शन प्राप्त किया जा सके और पारंपरिक केवल-परिणाम-आधारित प्रशिक्षण में देखे गए तर्क की गुणवत्ता में गिरावट को रोका जा सके।
यह शोध पत्र एक एकीकृत स्पेक्ट्रल परिप्रेक्ष्य के माध्यम से Muon ऑप्टिमाइज़र का विश्लेषण करता है, जिसमें स्पेक्ट्रल रूपांतरणों के एक परिवार और एक कुशल युग्मित न्यूटन इटरेशन (coupled Newton iteration) को पेश करते हुए यह प्रदर्शित किया गया है कि जबकि Muon एक प्रभावी स्पेक्ट्रल नॉर्मलाइज़ेशन विधि के रूप में कार्य करता है, यह लगातार Adam से बेहतर प्रदर्शन नहीं करता है और प्रथम-मोमेंट अपडेट के बजाय RMS-सामान्यीकृत अपडेट पर लागू होने पर सबसे स्थिर होता है।
यह शोध पत्र ERNIE 5.0 को प्रस्तुत करता है, जो एक अल्ट्रा-स्पार्स मिक्स्चर-ऑफ-एक्सपर्ट्स आर्किटेक्चर और एक नवीन इलास्टिक ट्रेनिंग प्रतिमान के माध्यम से टेक्स्ट, इमेज, वीडियो और ऑडियो में मल्टीमॉडल समझ और पीढ़ी को नेटिव रूप से सपोर्ट करने वाला पहला सार्वजनिक रूप से घोषित प्रोडक्शन-स्केल ट्रिलियन-पैरामीटर यूनिफाइड ऑटोरेग्रेसिव फाउंडेशन मॉडल है।
यह शोधपत्र LiteToken प्रस्तुत करता है, जो एक ऐसी विधि है जो मॉडल मापदंडों (parameters) को कम करने और शोर वाले इनपुट के विरुद्ध मजबूती सुधारने के लिए BPE वोकैबुलरी से विरल "रेसिड्यू" (residue) टोकन की पहचान करती है और उन्हें हटाती है, जो अक्सर प्री-ट्रेन्ड मॉडल्स के अतिरिक्त फाइन-ट्यूनिंग की आवश्यकता के बिना किया जाता है।
यह शोधपत्र यह प्रदर्शित करता है कि भाषाई रूप से सूचित मेट्रिक्स जैसे कि फीचर एरर रेट (FER) और टोन-अवेयर एक्सटेंशन (TER), पारंपरिक वर्ड एरर रेट (WER) की तुलना में अफ्रीकी भाषाओं के लिए बहुभाषी ऑटोमैटिक स्पीच रिकग्निशन मॉडलों के अधिक सूक्ष्म और सटीक मूल्यांकन प्रदान करते हैं, जो यह प्रकट करता है कि जहाँ मॉडल टोनल फीचर्स के साथ संघर्ष करते हैं, वहीं वे सेगमेंटल फीचर्स पर WER के सुझाव की तुलना में काफी बेहतर प्रदर्शन प्राप्त करते हैं।