10792 पेपर
यह शोध पत्र CHIMERA को प्रस्तुत करता है, जो साहित्य से स्वचालित रूप से खनन की गई वैज्ञानिक विचार पुनर्संयोजन (scientific idea recombination) का पहला बड़े पैमाने का ज्ञान आधार है, जो अंतर्विषयक नवाचार पैटर्न के अनुभवजन्य विश्लेषण को सक्षम बनाता है और प्रेरक अनुसंधान परिकल्पनाओं को उत्पन्न करने वाले मॉडलों के प्रशिक्षण में सहायता करता है।
यह शोध पत्र \textbf{\ExtAgents} को प्रस्तुत करता है, जो एक मल्टी-एजेंट फ्रेमवर्क है जो विशाल बाहरी ज्ञान इनपुट्स को समानांतर एजेंटों में वितरित करके LLMs की कॉन्टेक्स्ट विंडो सीमाओं को दूर करता है, जिससे बिना किसी लंबे-कॉन्टेक्स्ट ट्रेनिंग के मल्टी-हॉप प्रश्न उत्तर और लॉन्ग सर्वे जनरेशन जैसे जटिल कार्यों पर प्रदर्शन को महत्वपूर्ण रूप से बढ़ाता है।
यह शोध पत्र प्रकट करता है कि जहाँ मल्टीमॉडल लैंग्वेज मॉडल्स बुनियादी शब्दावली पर मानवीय प्रदर्शन के करीब पहुँच जाते हैं, वहीं वे परिप्रेक्ष्य संबंधी शब्दों जैसे कि संबंधवाचक (possessives) और संकेतवाचक (demonstratives) के मामले में परिप्रेक्ष्य लेने (perspective-taking) और स्थानिक तर्क (spatial reasoning) की कमियों के कारण मनुष्यों की तुलना में काफी अधिक संघर्ष करते हैं।
यह शोध पत्र LIFT का प्रस्ताव करता है, जो एक मेमोरी-कुशल फाइन-ट्यूनिंग विधि है जो केवल शीर्ष 5% "प्रिंसिपल वेट्स" (लो-रैंक एप्रोक्सिमेशन के बाद सबसे बड़े परिमाण वाले भार) की पहचान और अपडेट करती है ताकि फुल फाइन-ट्यूनिंग और LoRA की तुलना में बेहतर रीजनिंग प्रदर्शन और बेहतर ज्ञान प्रतिधारण प्राप्त किया जा सके।
यह शोध पत्र PodSarc को प्रस्तुत करता है, जो मानव सत्यापन के साथ एक LLM-सहायता प्राप्त एनोटेशन पाइपलाइन के माध्यम से निर्मित एक बड़े पैमाने का व्यंग्यात्मक भाषण डेटासेट है, जो डेटा की कमी को संबोधित करता है और 73.63% F1 स्कोर प्राप्त करते हुए प्रभावी स्पीच-ओनली (केवल भाषण) व्यंग्य पहचान को सक्षम बनाता है।
यह शोध पत्र कॉमन कॉर्पस (Common Corpus) को प्रस्तुत करता है, जो विविध भाषाओं और डोमेन में लगभग दो ट्रिलियन टोकन की गैर-कॉपीराइट या ओपन-लाइसेंस वाली सामग्री से बना एलएलएम (LLM) प्री-ट्रेनिंग के लिए सबसे बड़ा खुला डेटासेट है, जिसे छोटे भाषा मॉडलों के प्रशिक्षण के माध्यम से प्रमाणित किया गया है जो समान आकार के मौजूदा मॉडलों के तुलनीय प्रदर्शन करते हैं।
यह शोध पत्र एक नैदानिक ढांचे (diagnostic framework) को प्रस्तुत करता है जो यह प्रकट करता है कि संदर्भ-स्मृति संघर्षों (context-memory conflicts) का एलएलएम (LLM) प्रदर्शन पर प्रभाव स्वाभाविक रूप से कार्य-निर्भर है, जहाँ तर्क (rationales) जैसी रणनीतियाँ केवल-संदर्भ वाले कार्यों में सुधार कर सकती हैं जबकि पैरामीट्रिक ज्ञान की आवश्यकता वाले कार्यों को नुकसान पहुँचा सकती हैं, जो अंततः वर्तमान एलएलएम मूल्यांकन विधियों की विश्वसनीयता को चुनौती देती हैं।
यह शोधपत्र GeometryZero को प्रस्तुत करता है, जो ज्यामिति तर्क (geometry reasoning) मॉडलों का एक किफायती परिवार है, जो सहायक निर्माण और ज्यामितीय तर्क पर छोटे मॉडलों को प्रभावी ढंग से प्रशिक्षित करने के लिए एक नवीन ग्रुप कॉन्ट्रास्टिव पॉलिसी ऑप्टिमाइज़ेशन (GCPO) ढांचे का लाभ उठाता है, जो मानक बेंचमार्क पर मौजूदा सुदृढीकरण शिक्षण (reinforcement learning) बेसलाइन से बेहतर प्रदर्शन करता है।
यह शोध पत्र स्पीच सेल्फ-सुपरवाइज्ड लर्निंग के लिए ट्रांसफॉर्मर आर्किटेक्चर के कुशल विकल्पों के रूप में मांबा-आधारित हबर्ट (Mamba-based HuBERT) मॉडलों का अन्वेषण करता है, जो लॉन्ग-कॉन्टेक्स्ट और स्ट्रीमिंग एएसआर (ASR) कार्यों में उनके बेहतर प्रदर्शन, प्रोबिंग बेंचमार्क पर प्रतिस्पर्धी परिणामों, और स्पीकर फीचर्स एवं क्वांटाइज्ड रिप्रेजेंटेशन को कैप्चर करने की उन्नत क्षमता को प्रदर्शित करता है।
यह शोध पत्र PrefixMemory-Tuning को प्रस्तुत करता है, जो एक नवीन आर्किटेक्चर है जो पारंपरिक Prefix-Tuning में निहित ट्रेड-ऑफ्स (tradeoffs) को हल करने के लिए प्रिफिक्स मॉड्यूल को अटेंशन हेड से अलग करता है, जिससे आधुनिक लार्ज लैंग्वेज मॉडल्स पर इसके प्रदर्शन में उल्लेखनीय सुधार होता है और यह अत्याधुनिक परिणाम प्राप्त करता है।