10449 पेपर
यह शोध पत्र MTR-Bench प्रस्तुत करता है, जो 40 कार्यों और 3,600 इंस्टेंसों से बना एक व्यापक, पूर्णतः-स्वचालित बेंचमार्क है जिसे लार्ज लैंग्वेज मॉडल्स की मल्टी-टर्न इंटरैक्टिव रीजनिंग क्षमताओं का मूल्यांकन करने के लिए डिज़ाइन किया गया है, जो यह प्रकट करता है कि अत्याधुनिक मॉडल भी ऐसे कार्यों के साथ संघर्ष करते हैं।
यह शोध पत्र STAND को प्रस्तुत करता है, जो एक मॉडल-मुक्त स्पेक्युलेटिव डिकोडिंग विधि है जो अंतर्निहित रीजनिंग रिडंडेंसी का लाभ उठाने के लिए स्टोकेस्टिक एडेप्टिव N-ग्राम ड्राफ्टिंग का उपयोग करती है, जिससे सटीकता से समझौता किए बिना या अतिरिक्त मॉडल प्रशिक्षण की आवश्यकता के बिना विभिन्न रीजनिंग कार्यों में इन्फरेंस लेटेंसी में 60-65% की कमी आती है।
यह शोध पत्र 'LLM-as-a-Judge' प्रणालियों में स्कोरिंग पूर्वाग्रह के अल्प-अन्वेषित मुद्दे को संबोधित करता है, जिसमें तीन नवीन पूर्वाग्रह प्रकारों—रूब्रिक ऑर्डर (rubric order), स्कोर आईडी (score ID), और संदर्भ उत्तर स्कोर (reference answer score) पूर्वाग्रहों को परिभाषित और परिमाणित किया गया है, तथा बेहतर प्रॉम्प्ट डिज़ाइन और स्वचालित मूल्यांकन के माध्यम से उन्हें कम करने के लिए एक व्यापक ढांचे का प्रस्ताव दिया गया है।
यह शोधपत्र स्ट्रक्टसेंस (StructSense) को प्रस्तुत करता है, जो एक मॉड्यूलर, कार्य-अज्ञेय (task-agnostic), ओपन-सोर्स फ्रेमवर्क है जो विविध वैज्ञानिक डोमेन में सुदृढ़, सामान्यीकरण योग्य संरचित सूचना निष्कर्षण प्राप्त करने के लिए ऑन्टोलॉजी-निर्देशित प्रतीकात्मक ज्ञान, एजेंटिक स्व-मूल्यांकन और मानव-इन-द-लूप सत्यापन को संयोजित करता है।
यह शोधपत्र RAGCap-Bench प्रस्तुत करता है, जो एजेंटिक रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) सिस्टम के मध्यवर्ती तर्क कार्यों का मूल्यांकन करने के लिए डिज़ाइन किया गया एक क्षमता-उन्मुख बेंचमार्क है, जो यह प्रदर्शित करता है कि इन सूक्ष्म क्षमताओं पर बेहतर प्रदर्शन करने वाले मॉडल उत्कृष्ट एंड-टू-एंड परिणाम प्राप्त करते हैं।
यह शोध पत्र MAP4TS का प्रस्ताव करता है, जो एक मल्टी-आस्पेक्ट प्रॉम्प्टिंग फ्रेमवर्क है जो सांख्यिकीय गुणों और टेम्पोरल डिपेंडेंसीज़ को प्रभावी ढंग से कैप्चर करने के लिए एलएलएम (LLM) प्रॉम्प्ट्स में क्लासिकल टाइम-सीरीज विश्लेषण (ऑटोकोरिलेशन और फूरियर विश्लेषण सहित) को एकीकृत करता है, जिससे यह टाइम-सीरीज फोरकास्टिंग में मौजूदा स्टेट-ऑफ-द-आर्ट विधियों से बेहतर प्रदर्शन करता है।
यह शोध पत्र Whisper-small पर पोस्ट-ट्रेनिंग क्वांटाइजेशन का एक क्रॉस-लाइब्रेरी मूल्यांकन प्रस्तुत करता है, जो यह प्रदर्शित करता है कि ऑप्टिमम-क्वांटो (Optimum-Quanto) का उपयोग करके डायनेमिक int8 क्वांटाइजेशन, बिना पुन: प्रशिक्षण के मॉडल के आकार को 57% कम करते हुए और वर्ड एरर रेट (word error rate) में सुधार करते हुए इष्टतम संतुलन प्रदान करता है।
यह शोध पत्र स्ट्रक्चरल एंकर प्रूनिंग (SAP) को पेश करता है, जो एक प्रशिक्षण-मुक्त और क्वेरी-अज्ञेय फ्रेमवर्क है जो मॉडल के मध्यवर्ती परतों के भीतर एक स्थिर "स्ट्रक्चरल प्लेटो" की पहचान करके और उसे संरक्षित करके उच्च-संपीड़न दृश्य दस्तावेज़ पुनर्प्राप्ति प्राप्त करता है, जिससे प्रति-मॉडल ट्यूनिंग की आवश्यकता के बिना 90% से अधिक विज़ुअल टोकन को हटाते हुए 90% से अधिक पुनर्प्राप्ति प्रदर्शन को बनाए रखा जाता है।
यह शोध पत्र ऑर्डर-एक्सप्रेसिव मास्कड डिफ्यूजन मॉडल (OeMDM) फ्रेमवर्क और इसके लर्नबल वेरिएंट (LoMDM) को प्रस्तुत करता है, जो विभिन्न जनरेशन ऑर्डर्स को एकीकृत करते हैं और मौजूदा डिस्क्रीट डिफ्यूजन मॉडल्स की तुलना में बेहतर भाषा जनरेशन प्रदर्शन प्राप्त करने के लिए डिफ्यूजन बैकबोन के साथ ऑर्डरिंग पॉलिसीज़ को स्क्रैच से संयुक्त रूप से अनुकूलित करते हैं।
यह शोधपत्र सिंगुलर वैल्यू कैलिब्रेशन (SVC) को प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त विधि है जो साझा स्पेक्ट्रल ज्ञान के अत्यधिक संचय के कारण मॉडल मर्जिंग में होने वाले प्रदर्शन ह्रास को कम करती है, जो सबस्पेस ओवरलैप को मात्रात्मक रूप से मापकर और फूले हुए सिंगुलर मानों को पुन: स्केल करके किया जाता है, जिससे विजन और लैंग्वेज बेंचमार्क पर अत्याधुनिक परिणाम प्राप्त होते हैं।