11158 पेपर
यह शोध पत्र RAEE का प्रस्ताव करता है, जो एक सुदृढ़ रिट्रीवल-ऑगमेंटेड फ्रेमवर्क है जो समान डेटा की एग्जिट जानकारी का लाभ उठाने के लिए अर्ली एग्जिट को एक डिस्ट्रीब्यूशन प्रेडिक्शन समस्या के रूप में मॉडल करता है ताकि एडेप्टिव लेयर टर्मिनेशन को निर्देशित किया जा सके, जिससे कई कार्यों में ज़ीरो-शॉट प्रदर्शन को बनाए रखते हुए या बढ़ाते हुए LLM इन्फरेंस को त्वरित किया जा सके।
यह शोधपत्र एक नवीन ढांचे का प्रस्ताव करता है जो ऑस्ट्रेलियन नेशनल यूनिवर्सिटी के कंप्यूटर साइंस स्कॉलरली नॉलेज ग्राफ के साथ लार्ज लैंग्वेज मॉडल्स को एकीकृत करता है, जिसमें स्वचालित LLM-SPARQL फ्यूजन के माध्यम से अनुसंधान कलाकृतियों की सटीक, सूक्ष्म-स्तरीय सिमेंटिक रिट्रीवल को सक्षम करने के लिए एक डीप डॉक्यूमेंट मॉडल और KG-एन्हांस्ड क्वेरी प्रोसेसिंग का उपयोग किया गया है।
यह शोधपत्र LMUnit को प्रस्तुत करता है, जो एक ऐसा ढांचा है जो मानव और स्वचालित मूल्यांकन की सीमाओं को दूर करने के लिए प्राकृतिक भाषा यूनिट टेस्ट और एक एकीकृत स्कोरिंग मॉडल का उपयोग करता है, जिससे इंटर-एनोटेटर एग्रीमेंट में महत्वपूर्ण सुधार होता है और प्रमुख बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त होता है।
यह शोध पत्र "प्रेफरेंस लीकेज" (preference leakage) की पहचान और अनुभवजन्य रूप से सत्यापन करता है, जो एक व्यापक संदूषण समस्या है जहाँ LLM जज उन स्टूडेंट मॉडल्स के प्रति महत्वपूर्ण पूर्वाग्रह प्रदर्शित करते हैं जिनके साथ उनका कोई संबंध होता है (जैसे कि एक ही मॉडल होना, एक इनहेरिटेंस लिंक होना, या एक ही परिवार से संबंधित होना), जिससे वे LLM-as-a-judge मूल्यांकन प्रतिमानों की विश्वसनीयता को चुनौती देते हैं।
यह शोध पत्र PubHealthBench प्रस्तुत करता है, जो सार्वजनिक स्वास्थ्य ज्ञान पर LLMs का मूल्यांकन करने के लिए यूके सरकारी मार्गदर्शन से प्राप्त 8,000 से अधिक प्रश्नों वाला एक नया बेंचमार्क है, और यह पाता है कि जहाँ अत्याधुनिक मॉडल बहुविकल्पीय कार्यों में उत्कृष्ट हैं, वहीं मुक्त-रूप (free-form) प्रतिक्रियाओं पर उनका प्रदर्शन सीमित बना हुआ है, जो वास्तविक दुनिया के अनुप्रयोगों में अतिरिक्त सुरक्षा उपायों की आवश्यकता को रेखांकित करता है।
यह शोध पत्र मल्टी-ऑब्जेक्टिव बैलेंस्ड कवरिंग (MoB) को प्रस्तुत करता है, जो एक नवीन विज़ुअल टोकन प्रूनिंग फ्रेमवर्क है जो हॉर्सडॉर्फ डिस्टेंस (Hausdorff distance) और -कवरिंग थ्योरी का लाभ उठाकर एक क्लोज्ड-फॉर्म एरर बाउंड प्राप्त करता है और प्रॉम्प्ट अलाइनमेंट के साथ विज़ुअल प्रिजर्वेशन के बीच गतिशील रूप से संतुलन बनाता है, जिससे विविध मल्टीमॉडल मॉडल्स में न्यूनतम प्रदर्शन हानि के साथ महत्वपूर्ण इन्फरेंस त्वरण प्राप्त होता है।
यह शोध पत्र R1-Code-Interpreter को प्रस्तुत करता है, जो 144 कार्यों के एक विविध डेटासेट पर मल्टी-स्टेज रीइन्फोर्समेंट लर्निंग और सुपरवाइज्ड फाइन-ट्यूनिंग के माध्यम से प्रशिक्षित एक सामान्य-उद्देश्य वाला LLM है, जो तर्क की सटीकता में महत्वपूर्ण सुधार करता है और उभरते हुए सेल्फ-चेकिंग व्यवहारों को सक्षम बनाता है, तथा टेक्स्ट-ओनली और टूल-ऑगमेंटेड GPT-4o मॉडलों दोनों से बेहतर प्रदर्शन करता है।
यह शोध पत्र सुपरवाइज्ड कैलिब्रेशन (SC) को प्रस्तुत करता है, जो एक लॉस-मिनिमाइजेशन फ्रेमवर्क है जो व्यवस्थित पूर्वाग्रहों को सुधारने और निर्णय सीमा के ओरिएंटेशन को बदलने के लिए इष्टतम प्रति-वर्ग अफ़ाइन रूपांतरणों (per-class affine transformations) को सीखकर लार्ज लैंग्वेज मॉडल्स में इन-कॉन्टेक्स्ट लर्निंग को बढ़ाता है, जिससे कई मॉडल्स और डेटासेट्स पर अत्याधुनिक प्रदर्शन प्राप्त होता है।
यह शोध पत्र इस बात की जांच करता है कि कैसे प्राथमिकता मॉडल वास्तविक गुणवत्ता के बजाय लंबाई और शैली जैसे सतही आर्टिफैक्ट्स पर अत्यधिक निर्भर होते हैं, मानवीय प्राथमिकताओं के विरुद्ध इस मिसकैलिब्रेशन को मापता है और यह प्रदर्शित करता है कि एक काउंटरफैक्चुअल डेटा ऑग्मेंटेशन विधि समग्र प्रदर्शन को बनाए रखते हुए इन पूर्वाग्रहों को प्रभावी ढंग से कम करती है।
यह शोध पत्र स्वचालित वाक् पहचान (ऑटोमैटिक स्पीच रिकग्निशन) के लिए एक नवीन संदर्भ बायसिंग (कॉन्टेक्स्ट बायसिंग) विधि प्रस्तावित करता है जो उच्चारण-लेखन विसंगतियों को प्रभावी ढंग से हल करने के लिए प्रतिस्थापन त्रुटियों के उपयोगकर्ता द्वारा प्रदान किए गए ऑन-द-फ्लाई सुधारों का लाभ उठाता है, जिससे समग्र सिस्टम प्रदर्शन से समझौता किए बिना बायस्ड वर्ड एरर रेट में 22% से 34% का सापेक्ष सुधार प्राप्त होता है।