9509 पेपर
ChineseBERT एक प्रीट्रेनिंग मॉडल है जो ग्लिफ (दृश्य) और पिनयिन (उच्चारण) जानकारी को एकीकृत करके चीनी भाषा की समझ को बढ़ाता है, जिससे कम प्रशिक्षण चरणों के साथ विभिन्न एनएलपी कार्यों में अत्याधुनिक प्रदर्शन प्राप्त होता है।
यह शोध पत्र 17 भाषाओं में वैचारिक न्यूनतम युग्मों (conceptual minimal pairs) के एक बहुभाषी बेंचमार्क, XCOMPS को प्रस्तुत करता है, जो यह प्रकट करता है कि लार्ज लैंग्वेज मॉडल्स कम-संसाधन और रूपात्मक रूप से जटिल भाषाओं के साथ संघर्ष करते हैं, इंस्ट्रक्शन ट्यूनिंग से सीमित आंतरिक क्षमता लाभ दिखाते हैं, और सूक्ष्म वैचारिक तर्क के लिए गहरे परतों की आवश्यकता होती है।
यह शोध पत्र ScienceMeter प्रस्तुत करता है, जो तीन मापदंडों—संरक्षण (preservation), अधिग्रहण (acquisition) और प्रक्षेपण (projection)—के माध्यम से लार्ज लैंग्वेज मॉडल्स में वैज्ञानिक ज्ञान के अपडेट का मूल्यांकन करने के लिए एक ढांचा है—जो यह प्रकट करता है कि वर्तमान अपडेट विधियाँ मौजूदा ज्ञान को बनाए रखने के साथ-साथ नए तथ्यों को प्रभावी ढंग से सीखने और भविष्य की वैज्ञानिक प्रगति का पूर्वानुमान लगाने में संघर्ष करती हैं।
यह शोध पत्र ReaGAN का प्रस्ताव करता है, जो एक रिट्रीवल-ऑगमेंटेड ग्राफ एजेंटिक नेटवर्क है जो पारंपरिक ग्राफ न्यूरल नेटवर्क में फिक्स्ड एग्रीगेशन मैकेनिज्म की सीमाओं को दूर करने के लिए नोड्स को स्वायत्त निर्णय लेने की क्षमता और ग्लोबल सिमेंटिक रिट्रीवल से सशक्त बनाता है, जिससे बिना फाइन-ट्यूनिंग के प्रतिस्पर्धी फ्यू-शॉट प्रदर्शन प्राप्त होता है।
यह शोध पत्र शैली-व्यक्तिगत पाठ निर्माण के आकलन के लिए सामान्य मेट्रिक्स की सीमाओं का आलोचनात्मक मूल्यांकन करता है और एक नए बहु-कार्य बेंचमार्क के माध्यम से यह प्रदर्शित करता है कि विविध मूल्यांकन विधियों के समूह, लेखक-विशिष्ट शैली को विश्वसनीय रूप से मापने में एकल-मूल्यांकनकर्ता दृष्टिकोणों की तुलना में काफी बेहतर प्रदर्शन करते हैं।
यह शोध पत्र हाइपरडायमेंशनल प्रोब (Hyperdimensional Probe) प्रस्तुत करता है, जो एक हाइब्रिड विधि है जो इनपुट-केंद्रित फीचर निष्कर्षण और आउटपुट-उन्मुख विश्लेषण को एकीकृत करने के लिए वेक्टर सिम्बोलिक आर्किटेक्चर का लाभ उठाती है, जिससे लार्ज लैंग्वेज मॉडल (Large Language Model) के निरूपणों में गहरे अर्थ संबंधी अंतर्दृष्टि प्रदान करने के लिए मौजूदा व्याख्यात्मकता तकनीकों की सीमाओं को पार किया जा सके।
यह शोध पत्र P-StaT ढांचे को प्रस्तुत करता है जो यह प्रदर्शित करता है कि बड़े भाषा मॉडल अपरिचित कृत्रिम कथनों की तुलना में परिचित काल्पनिक कथनों को संसाधित करते समय अधिक विश्वास स्थिरता प्रदर्शित करते हैं, जिससे यह प्रकट होता है कि ज्ञान संबंधी परिचितता (epistemic familiarity) अर्थ संबंधी-प्रेरित विश्वास अस्थिरता को कम करने में एक प्रमुख कारक है।
यह शोध पत्र LP-SFT का प्रस्ताव करता है, जो एक सुपरवाइज्ड फाइन-ट्यूनिंग विधि है जो एक स्थानीय रूप से सामान्यीकृत KL डाइवर्जेंस के माध्यम से गैर-लक्ष्य टोकन (non-target tokens) के बीच प्रीट्रेन्ड मॉडल की अंतर्निहित मल्टीमॉडल एंट्रॉपी संरचना को संरक्षित करती है, जिससे पूर्व-मौजूदा क्षमताओं और सैंपलिंग विविधता के क्षरण को कम करते हुए डाउनस्ट्रीम प्रदर्शन में सुधार होता है।
यह शोध पत्र MUX को प्रस्तुत करता है, जो एक ऐसी विधि है जो डिस्क्रीट रीजनिंग स्टेप्स (discrete reasoning steps) को लॉसलेस, मल्टीप्लेक्सड लेटेंट टोकन्स (lossless, multiplexed latent tokens) में डिस्टिल करके भाषा मॉडलों में कुशल और उच्च-बैंडविड्थ निरंतर तर्क (continuous reasoning) को सक्षम बनाती है, जिससे व्याख्यात्मकता बनाए रखते हुए और मौजूदा बेसलाइनों से बेहतर प्रदर्शन करते हुए प्राकृतिक भाषा अभिव्यक्ति की कम्प्यूटेशनल बाधाओं को दूर किया जा सके।
यह शोध पत्र यह प्रकट करता है कि जैसे-जैसे भाषा मॉडल स्केल होते हैं, वे तेजी से एक आत्म-निरंतर "ऑटो-रिग्रेसिव रिस्क रिजीम" (auto-regressive risk regime) में प्रवेश करते हैं जहाँ कम-संभाव्यता वाले टोकन त्रुटियाँ आत्मविश्वासपूर्ण, हिमस्खलन जैसी बढ़ती हुई मतिभ्रम (hallucinations) को ट्रिगर करती हैं जो मॉडल के अपने अनिश्चितता संकेतों द्वारा पता लगाए जाने की क्षमता से भी अधिक समय तक बनी रहती हैं, जिससे अंततः बड़े मॉडल अपनी सामान्य क्षमता प्राप्त करने के बावजूद गलतियों को अधिक तेजी से संचित करते हैं।