10551 पेपर
यह शोध पत्र GKnow प्रस्तुत करता है, जो यह दर्शाता है कि तथ्यात्मक लैंगिक ज्ञान और लैंगिक पूर्वाग्रह भाषा मॉडलों के सर्किट और न्यूरॉन स्तरों पर गहराई से जुड़े हुए हैं, जिससे न्यूरॉन एब्लेशन (neuron ablation) डिबायसिंग (debiasing) के लिए एक अविश्वसनीय विधि बन जाती है क्योंकि यह अनजाने में तथ्यात्मक सटीकता को कम कर देती है।
यह शोध पत्र कैटेगोरिकल एरर सेंसिटिविटी इंडेक्स (ISEC) को प्रस्तुत करता है, जो एक स्केलेबल, वेक्टर-आधारित ऑर्डिनल मीट्रिक है जो मैनुअल डेटा एंट्री सिस्टम में अपूरणीय कैटेगोरिकल त्रुटियों के संरचनात्मक जोखिमों की सक्रिय रूप से पहचान करने और उन्हें रैंक करने के लिए सिमेंटिक, मॉर्फोलॉजिकल और एम्पिरिकल डेटा को एकीकृत करता है, जिससे लघु एवं मध्यम उद्यमों के लिए निर्णय लेने की प्रक्रिया को बेहतर बनाया जा सके।
यह शोध पत्र पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग (PEFT) में सिंगल-टास्क ट्रेनिंग से आगे सामान्यीकरण करने की विधियों की जांच करता है और यह प्रदर्शित करता है कि इन्फरेंस के समय अलग-अलग प्रशिक्षित QLoRA मॉड्यूल्स के आउटपुट को जोड़ना प्लग-एंड-प्ले, मल्टी-एट्रीब्यूट नियंत्रित टेक्स्ट जनरेशन के लिए एक अत्यधिक प्रभावी रणनीति है, जो अक्सर वैकल्पिक कंपोजिशन तकनीकों और सिंगल-टास्क विशिष्ट मॉडल्स दोनों से बेहतर प्रदर्शन करती है।
यह अध्ययन प्रदर्शित करता है कि उच्च "अभिसरण" (convergence)—जो इस बात का माप है कि संकेत गलत उत्तरों को कितनी प्रभावी ढंग से समाप्त करते हैं—वाले वाक्यों का उपयोग करके लार्ज लैंग्वेज मॉडल्स के लिए गद्यांशों का निर्माण करना, पारंपरिक कोसाइन सिमिलरिटी चयन की तुलना में अनुमानात्मक प्रश्नों पर प्रदर्शन में महत्वपूर्ण सुधार करता है, जिसमें इन वाक्यों को अभिसरण के अवरोही क्रम में व्यवस्थित करने से और अधिक लाभ प्राप्त होता है।
पूर्णतः दृश्यमान डोलमा (Dolma) कॉर्पस और ओएलएमओ (OLMo) मॉडल्स का लाभ उठाते हुए, यह अध्ययन प्रदर्शित करता है कि लार्ज लैंग्वेज मॉडल्स के लोकप्रियता संबंधी निर्णय मुख्य रूप से प्रीट्रेनिंग एक्सपोज़र सांख्यिकी द्वारा संचालित होते हैं न कि बाहरी वास्तविक दुनिया के लोकप्रियता संकेतों द्वारा, जिसमें एक्सपोज़र मॉडल पूर्वाग्रह के लिए विकिपीडिया पेजव्यू की तुलना में अधिक सटीक भविष्यवक्ता के रूप में कार्य करता है।
यह शोधपत्र नियंत्रित टेक्स्ट जनरेशन प्रणालियों की निष्पक्ष तुलना के लिए एक समान अवसर मूल्यांकन ढांचे (level-playing-field evaluation framework) को प्रस्तुत करता है, जो यह प्रकट करता है कि मानकीकृत मूल्यांकन अक्सर मूल रूप से रिपोर्ट किए गए परिणामों की तुलना में काफी खराब प्रदर्शन दर्शाता है और भ्रामक दावों से बचने के लिए पुनरुत्पादनीय मूल्यांकन प्रथाओं की तत्काल आवश्यकता पर प्रकाश डालता है।
यह शोध पत्र Q-DAPS को प्रस्तुत करता है, जो उत्तर की संभाव्यता स्कोर (answer plausibility scores) की एंट्रॉपी की गणना करके बड़े भाषा मॉडलों के लिए प्रश्न की कठिनाई का अनुमान लगाने वाली एक नवीन विधि है, जो मौजूदा दृष्टिकोणों की तुलना में कई डेटासेट पर बेहतर प्रदर्शन, मजबूती और मानवीय निर्णयों के साथ संरेखण प्रदर्शित करती है।
यह शोध पत्र एक लक्ष्य-अनुकूलन टेक्स्ट-टेबुलर मॉडलिंग फ्रेमवर्क प्रस्तावित करता है जो सीमित इंटरेक्शन हिस्ट्री से अपरिचित एआई (AI) वार्ताकार के निर्णयों की प्रभावी ढंग से भविष्यवाणी करने के लिए एक फ्रोजन "LLM-as-Observer" से प्राप्त हिडन रिप्रेजेंटेशन्स का लाभ उठाता है, जो डायरेक्ट प्रॉम्प्टिंग और मानक फीचर-आधारित बेसलाइन्स से बेहतर प्रदर्शन करता है।
यह शोध पत्र प्रस्तावित करता है कि बड़े भाषा मॉडल (large language models) निम्न-आयामी, संरचित "वैचारिक विश्वास स्थानों" (conceptual belief spaces) में नेविगेट करके इन-कॉन्टेक्स्ट लर्निंग (in-context learning) करते हैं, जहाँ विश्वास अपडेट ज्यामितीय प्रक्षेपवक्र (geometric trajectories) के रूप में प्रकट होते हैं जो मॉडल के व्यवहार और आंतरिक निरूपणों दोनों में निरंतर प्रतिबिंबित होते हैं और जिन्हें रैखिक हस्तक्षेपों (linear interventions) के माध्यम से कार्य-कारण रूप से हेरफेर किया जा सकता है।
यह शोध पत्र यह प्रदर्शित करता है कि ट्रांसफॉर्मर एक ज्यामितीय तंत्र के माध्यम से तथ्यात्मक संबंधों को याद कर सकते हैं जहाँ विषय एम्बेडिंग (subject embeddings) गुणों के रैखिक सुपरपोजिशन (linear superpositions) को एनकोड करती हैं और एक छोटा MLP एक सामान्य, संबंध-आधारित चयनकर्ता (relation-conditioned selector) के रूप में कार्य करता है, जो रैखिक पैरामीटर वृद्धि पर निर्भर रहने के बजाय लघुगणकीय स्केलिंग (logarithmic scaling) और नए तथ्यों में ज़ीरो-शॉट ट्रांसफर सक्षम बनाता है।