11654 पेपर
यह अध्ययन इस बात की जांच करता है कि विभिन्न चैटबॉट संदर्भ रणनीतियाँ (कोई नहीं, शब्दशः, या पैराफ्रेज़) उपयोगकर्ता जुड़ाव और गोपनीयता संबंधी चिंताओं को कैसे प्रभावित करती हैं, जिसमें यह पाया गया है कि जबकि शब्दशः और पैराफ्रेज़ विधियाँ कथित बुद्धिमत्ता और जुड़ाव को बढ़ाती हैं, शब्दशः संदर्भ विशेष रूप से उच्च गोपनीयता चिंताओं को जन्म देता है।
यह शोध पत्र OMGEval को प्रस्तुत करता है, जो कि पांच भाषाओं में 804 कठोरता से सत्यापित, सांस्कृतिक रूप से स्थानीयकृत मुक्त-अंत वाले प्रश्नों वाला पहला ओपन-सोर्स बहुभाषी जनरेटिव मूल्यांकन बेंचमार्क है, जिसका उद्देश्य बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) की बहुभाषी क्षमताओं का आकलन करना और उनमें सुधार करना है।
यह अध्ययन प्रदर्शित करता है कि जबकि BERT ट्रांसफॉर्मर मॉडल फेक न्यूज का पता लगाने में SVM मॉडलों की तुलना में बेहतर सटीकता (99.98%) प्राप्त करता है, BoW या TF-IDF वेक्टराइजेशन के साथ SVM का उपयोग करने वाले पारंपरिक मशीन लर्निंग दृष्टिकोण काफी कम कम्प्यूटेशनल आवश्यकताओं के साथ अत्यधिक प्रतिस्पर्धी प्रदर्शन (99.81% तक सटीकता) प्रदान करते हैं।
यह शोधपत्र डिस्क्रिमिनेटिव अलाइनमेंट इंडेक्स () को प्रस्तुत करता है ताकि यह प्रदर्शित किया जा सके कि बड़े भाषा मॉडलों (large language models) में क्रॉस-लिंगुअल प्रदर्शन मध्य परतों (middle layers) में गैर-अंग्रेजी निरूपणों (non-English representations) के अंग्रेजी के साथ संरेखण (alignment) द्वारा कारणवत रूप से संचालित होता है, जहाँ मिसअलाइनमेंट (misalignment) ऐसी त्रुटियों की ओर ले जाता है जिन्हें एक्टिवेशन पैचिंग (activation patching) के माध्यम से सुधारा जा सकता है।
यह शोध पत्र सात रैखिकीकृत (linearized) भाषा मॉडल आर्किटेक्चर का एक तुलनात्मक अध्ययन प्रस्तुत करता है, जो यह प्रकट करता है कि आर्किटेक्चरल इंडक्टिव बायस—विशेष रूप से त्रुटि-सुधार नियम (error-correcting update rules) और गेटेड डेल्टा फॉर्मुलेशन (gated delta formulations)—प्रदर्शन और दीर्घ-संदर्भ क्षमता (long-context capability) के प्राथमिक निर्धारक हैं, क्योंकि प्रशिक्षण के शुरुआती चरणों में स्थापित ये लाभ पैरामीटर स्केलिंग या टोकन बजट के बावजूद बने रहते हैं।
LightRetriever एक नवीन रिट्रीवल आर्किटेक्चर है जो डॉक्यूमेंट एनकोडिंग के लिए एक पूर्ण आकार के LLM को बरकरार रखते हुए एम्बेडिंग लुकअप तक सीमित एक हल्केवेट क्वेरी एनकोडर का उपयोग करके 1000x से अधिक तेज़ क्वेरी इन्फरेंस और 10x उच्च थ्रूपुट प्राप्त करता है, और यह सब मूल रिट्रीवल प्रदर्शन का 95% बनाए रखते हुए किया जाता है।
यह शोध पत्र एक नमूना-कुशल (sample-efficient), दो-चरणीय प्रशिक्षण रणनीति प्रस्तावित करता है जो भाषा मॉडलों को सामान्य तर्क कौशल प्राप्त करने के लिए 'नाइट्स एंड नेव्स' (Knights & Knaves) तर्क पहेलियों पर "वॉर्म अप" करती है, जिससे छोटे, लक्षित-डोमेन डेटासेट पर सुदृढीकरण लर्निंग (Reinforcement Learning) के साथ बाद में फाइन-ट्यून करने पर उनके प्रदर्शन और डेटा दक्षता में उल्लेखनीय वृद्धि होती है।
यह शोध पत्र कारणत्मक हस्तक्षेपों (causal interventions) का उपयोग यह प्रकट करने के लिए करता है कि जबकि ट्रांसफॉर्मर्स और SSMs एसोसिएटिव रिकॉल कार्यों पर समान सटीकता प्राप्त कर सकते हैं, वे मौलिक रूप से भिन्न तंत्रों पर निर्भर करते हैं—विशेष रूप से, ट्रांसफॉर्मर्स और बेस्ड मॉडल इन-कॉन्टेक्स्ट इंडक्शन का उपयोग करते हैं जबकि अधिकांश SSMs सिंगल-लेयर स्टेट कंप्यूटेशन पर निर्भर करते हैं, जिसमें मम्बा (Mamba) अपने मुख्य SSM घटक के बजाय शॉर्ट कन्वोल्यूशन के माध्यम से इंडक्शन प्राप्त करने में अद्वितीय है।
यह शोधपत्र Diverse-NS को प्रस्तुत करता है, जो एक लंबाई-नियंत्रित डेटा चयन रणनीति है जो भाषा मॉडलों में छोटे आउटपुट के प्रति व्यवस्थित पूर्वाग्रह को कम करती है, जिससे गुणवत्ता बनाए रखते हुए विभिन्न रचनात्मक कार्यों में प्रतिक्रिया विविधता और अभिव्यक्ति को महत्वपूर्ण रूप से बढ़ाया जाता है।
यह अध्ययन प्रकट करता है कि एक चैटबॉट को "अजनबी" के रूप में प्रस्तुत करना गुमनामी प्रदान करके प्रारंभिक भावनात्मक आत्म-प्रकटीकरण के दौरान सहजता को बढ़ाता है, जबकि एक "परिचित" के रूप में प्रस्तुति केवल कम जोखिम वाले तथ्यात्मक आदान-प्रदान के माध्यम से तालमेल स्थापित होने के बाद ही आनंद को बढ़ावा देती है।