10348 पेपर
यह शोध पत्र लार्ज लैंग्वेज मॉडल्स के लिए एक नींद जैसी सुदृढ़ीकरण (consolidation) प्रक्रिया का प्रस्ताव करता है जो ऑफलाइन रिकरेंट पासेस के दौरान हालिया कॉन्टेक्स्ट को निरंतर फास्ट वेट्स में परिवर्तित करता है, जिससे अटेंशन स्केलिंग की सीमाओं को दूर किया जा सके और इन्फरेंस लेटेंसी को सुरक्षित रखते हुए लॉन्ग-होरिज़न और डीप-रीज़निंग कार्यों पर प्रदर्शन में महत्वपूर्ण सुधार किया जा सके।
यह शोध पत्र 'स्पीक-टू-स्ट्रक्चर' (S^2-Bench) को प्रस्तुत करता है, जो ओपन-डोमेन, वन-टू-मेनी नेचुरल लैंग्वेज-ड्रिवन मॉलिक्यूल जनरेशन कार्यों पर लार्ज लैंग्वेज मॉडल्स का मूल्यांकन करने के लिए डिज़ाइन किया गया पहला बेंचमार्क है, साथ ही इसमें 'ओपनमोलइन्स' (OpenMolIns) भी शामिल है, जो एक ऐसा डेटासेट है जो फाइन-ट्यून्ड मॉडल्स को यथार्थवादी आणविक डिजाइन में अग्रणी एलएलएम (LLMs) से बेहतर प्रदर्शन करने में सक्षम बनाता है।
यह अध्ययन प्रदर्शित करता है कि प्रीट्रेनिंग डेटा का भाषाई रजिस्टर लार्ज लैंग्वेज मॉडल के प्रदर्शन को महत्वपूर्ण रूप से प्रभावित करता है, जो यह प्रकट करता है कि जहाँ समाचार (News) टेक्स्ट उप-इष्टतम हैं, वहीं ओपिनियन (Opinion), हाउ-टू-इंस्ट्रक्शंस (How-to-Instructions) और सूचनात्मक विवरण (Informational Description) रजिस्टरों को शामिल करने से मॉडल की क्षमताओं में पर्याप्त सुधार होता है।
InfiGFusion एक नवीन संरचना-जागरूक मॉडल फ्यूजन फ्रेमवर्क पेश करता है जो शब्दावली चैनलों (vocabulary channels) के बीच अर्थ संबंधी निर्भरताओं को पकड़ने के लिए एक कुशल, क्लोज्ड-फॉर्म ग्रोमोव-वासरस्टीन सन्निकटन (Gromov-Wasserstein approximation) के साथ ग्राफ-ऑन-लॉगिट्स डिस्टिलेशन का उपयोग करता है, जिससे यह जटिल तर्क कार्यों में मौजूदा बेसलाइन से काफी बेहतर प्रदर्शन करता है।
यह शोध पत्र KG-R1 को प्रस्तुत करता है, जो एक सुदृढीकरण शिक्षण (reinforcement learning) आधारित एजेंटिक फ्रेमवर्क है जो फिक्स्ड मल्टी-मॉड्यूल पाइपलाइनों पर निर्भर हुए बिना कुशल, हस्तांतरणीय और उच्च-सटीक नॉलेज ग्राफ RAG प्राप्त करने के लिए रिट्रीवल और रीजनिंग को एक एकल एजेंट में एकीकृत करता है।
यह शोध पत्र परमुटेड ब्लॉक-स्पार्स अटेंशन (PBS-Attn) को प्रस्तुत करता है, जो एक प्लग-एंड-प्ले विधि है जो लॉन्ग-कॉन्टेक्स्ट LLMs में ब्लॉक-लेवल स्पर्सिटी को अनुकूलित करने के लिए टोकन परम्यूटेशन का लाभ उठाती है, जिससे फुल अटेंशन के समान सटीकता बनाए रखते हुए प्रीफिलिंग में 2.75x तक की गति वृद्धि प्राप्त होती है।
यह शोध पत्र DELICATE को प्रस्तुत करता है, जो ऐतिहासिक इतालवी के लिए एक नवीन न्यूरो-सिम्बोलिक एंटिटी लिंकिंग पद्धति है, जो मानविकी क्षेत्र में अधिक व्याख्यात्मकता प्रदान करते हुए और बड़े पैमाने के न्यूरल मॉडलों से बेहतर प्रदर्शन करने के लिए ENEIDE कॉर्पस के साथ-साथ टेम्पोरल प्लाउज़िबिलिटी (सामयिक संभाव्यता) और विकीडेटा संदर्भ का लाभ उठाता है।
यह शोध पत्र यह प्रदर्शित करता है कि संसाधन-सीमित सिंगल-लेबल टेक्स्ट क्लासिफिकेशन के लिए, फाइनल-टोकन एम्बेडिंग्स पर क्लासिफिकेशन हेड के साथ कॉज़ल एलएलएम (LLMs) को फाइन-ट्यून करना, इंस्ट्रक्शन ट्यूनिंग की तुलना में काफी अधिक पैरामीटर-कुशल है और यह इंस्ट्रक्शन-ट्यून्ड एलएलएम एवं डोमेन-विशिष्ट बर्ट (BERT) मॉडल्स दोनों की तुलना में समान या बेहतर प्रदर्शन प्राप्त करता है।
यह शोधपत्र SciNet को प्रस्तुत करता है, जो वैज्ञानिक साहित्य की खोज (रिट्रीवल) के लिए एक बड़े पैमाने का, संबंध-जागरूक (रिलेशन-अवेयर) डेटासेट है, जो जटिल विद्वत्तापूर्ण संबंधों को समझने में वर्तमान एआई एजेंटों की सीमाओं को उजागर करता है और इस संबंधात्मक संदर्भ से लैस होने पर उनके प्रदर्शन में महत्वपूर्ण सुधार को प्रदर्शित करता है।
यह शोध पत्र GradingAttack को प्रस्तुत करता है, जो एक सूक्ष्म (fine-grained) एडवरसेरियल फ्रेमवर्क है जो यह प्रदर्शित करता है कि कैसे टोकन-स्तरीय और प्रॉम्प्ट-स्तरीय हेरफेर प्रभावी ढंग से और गुप्त रूप से LLM-आधारित शैक्षिक ग्रेडिंग एजेंटों की सुरक्षा से समझौता कर सकते हैं, जो स्वचालित मूल्यांकन प्रणालियों में मजबूत सुरक्षा उपायों की तत्काल आवश्यकता को रेखांकित करता है।