9899 पेपर
यह शोध पत्र एक प्रोजेक्टर-आधारित LLM-ASR फ्रेमवर्क प्रस्तावित करता है जो क्रॉस-लिंगुअल अनुकूलन क्षमता के लिए 'मिक्सचर ऑफ एक्सपर्ट्स' आर्किटेक्चर और डायनेमिक डाउनसैंपलिंग के लिए 'कंटीन्यूअस इंटीग्रेट-एंड-फायर' मैकेनिज्म का लाभ उठाता है, जिससे बहुभाषी स्पीच रिकग्निशन में मजबूत बेसलाइन्स की तुलना में पर्याप्त प्रदर्शन सुधार प्राप्त होता है।
SpenseGPT एक व्यावहारिक वन-शॉट प्रूनिंग विधि पेश करता है जो मॉडल की सटीकता बनाए रखते हुए और कस्टम कंपाइलर सपोर्ट की आवश्यकता के बिना स्ट्रिक्ट सेमी-स्ट्रक्चर्ड स्पर्सिटी की सीमाओं को पार करते हुए, B200 GPU पर 1.2x तक एंड-टू-एंड LLM डिकोडिंग स्पीडअप प्राप्त करने के लिए हाइब्रिड स्पार्स-डेंस वेट फॉर्मेट का उपयोग करता है।
यह अध्याय भाषाई, दृश्य और भावनात्मक संकेतकों का विश्लेषण करके, मशीन लर्निंग और एनएलपी (NLP) पद्धतियों की समीक्षा करके, और विश्वसनीय जानकारी तथा सार्वजनिक जागरूकता प्रसारित करने के लिए इन प्लेटफार्मों का लाभ उठाने हेतु भविष्य की अनुसंधान दिशाओं को रेखांकित करते हुए, कोविड-19 महामारी के दौरान सोशल मीडिया डेटा के उपयोग का अन्वेषण करता है।
यह शोध पत्र LakeQA को प्रस्तुत करता है, जो 9.5 TB के विषम डेटा पर निर्मित एक व्यापक बेंचमार्क है जो बड़े भाषा मॉडलों (large language models) को दस्तावेज़ पुनर्प्राप्ति (document retrieval) को जटिल मल्टी-हॉप रीजनिंग (multi-hop reasoning) के साथ जोड़कर खोज-केंद्रित प्रश्नोत्तर करने की चुनौती देता है, जो सीमावर्ती मॉडलों (frontier models) में भी महत्वपूर्ण प्रदर्शन अंतराल को उजागर करता है।
UniSVQ एक नवीन 2-बिट यूनिफाइड क्वांटाइजेशन फ्रेमवर्क है जो कोडवर्ड्स को इंटिजर लैटिस के एफ़ाइन ट्रांसफॉर्म्स के रूप में पैरामीट्राइज़ करके स्केलर और वेक्टर क्वांटाइजेशन के बीच के अंतर को पाटता है, जिससे मौजूदा तरीकों की तुलना में लार्ज लैंग्वेज मॉडल्स के लिए बेहतर प्रदर्शन और इन्फरेंस दक्षता प्राप्त होती है।
यह शोध पत्र LC-QAT को प्रस्तुत करता है, जो एक डेटा-कुशल 2-बिट वेट-ओनली क्वांटाइजेशन-अवेयर ट्रेनिंग फ्रेमवर्क है जो डिफरेंशिएबल एंड-टू-एंड ऑप्टिमाइजेशन को सक्षम करने के लिए वेक्टर क्वांटाइजेशन को एक लर्नड एफ़ाइन मैपिंग के साथ जोड़ता है, जिससे केवल 0.1% से 10% प्रशिक्षण डेटा का उपयोग करके लार्ज लैंग्वेज मॉडल्स पर अत्याधुनिक प्रदर्शन प्राप्त होता है।
यह शोध पत्र Prefilling-dLLM को प्रस्तुत करता है, जो एक ट्रेनिंग-फ्री फ्रेमवर्क है जो प्रासंगिक प्रीफिक्स चंक्स (prefix chunks) को कैश और स्पार्सली सेलेक्ट करके डिफ्यूजन लैंग्वेज मॉडल्स में लॉन्ग-कॉन्टेक्स्ट इन्फरेंस को तेज करता है, जिससे कम्प्यूटेशनल कॉम्प्लेक्सिटी को फुल सीक्वेंस लेंथ के द्विघात (quadratic) से घटाकर डिकोड लेंथ के द्विघात तक कम कर दिया जाता है, जिससे स्टेट-ऑफ-द-आर्ट स्पीडअप प्राप्त होता है और 'लॉस्ट-इन-द-मिडल' घटना को कम किया जाता है।
यह शोध पत्र लार्ज लैंग्वेज मॉडल्स में नॉलेज एडिटिंग (ज्ञान संपादन) के मूल्यांकन के लिए एक नया बेंचमार्क प्रस्तुत करता है जो मल्टी-हॉप प्रश्नों के माध्यम से तार्किक परिणामों का आकलन करता है, जिससे यह पता चलता है कि वर्तमान विधियाँ प्रत्यक्ष तथ्यों को सफलतापूर्वक सम्मिलित करने के बावजूद निहित ज्ञान को प्रसारित करने में अक्सर विफल रहती हैं।
यह शोध पत्र कॉज़ल एन्सेम्बल एजेंट (CEA) का प्रस्ताव करता है, जो एक नवीन ढांचा है जो सांख्यिकीय विशेषज्ञों के अंतर्दृष्टि को एकत्रित करके और संघर्षों को हल करने तथा अधिक सटीक कॉज़ल ग्राफ उत्पन्न करने के लिए एक एलएलएम (LLM) को मेटा-रेफरी के रूप में उपयोग करके उन्हें गतिशील रूप से पुन: भारित करके कॉज़ल डिस्कवरी को बढ़ाता है।
यह शोध पत्र FlowTracer को प्रस्तुत करता है, जो एक सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जो तर्क को एक अटेंशन-प्रेरित प्रवाह नेटवर्क (attention-induced flow network) के रूप में मॉडल करके LLMs में टोकन-स्तरीय क्रेडिट असाइनमेंट की समस्या का समाधान करता है ताकि उन उच्च-प्रभाव वाले टोकनों की पहचान और उन्हें पुरस्कृत किया जा सके जो सही उत्तरों की ओर सूचना प्रसार को मध्यस्थता प्रदान करते हैं।