11611 पेपर
यह शोधपत्र MCIF को प्रस्तुत करता है, जो वैज्ञानिक वार्ता (scientific talks) पर आधारित पहला क्रॉसलिंगुअल, मानव-एनोटेटेड बेंचमार्क है, जो निर्देश-अनुपालन क्षमताओं के मौजूदा मूल्यांकनों की कमियों को दूर करने के लिए चार भाषाओं, तीन मोडैलिटीज़ और विभिन्न इनपुट लंबाई के माध्यम से मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स का व्यवस्थित रूप से मूल्यांकन करता है।
यह शोध पत्र FinAuditing प्रस्तुत करता है, जो वास्तविक XBRL फाइलिंग से प्राप्त एक बड़े पैमाने का, वर्गीकरण-संरेखित (taxonomy-aligned) बेंचमार्क है, जो तीन वित्तीय ऑडिटिंग कार्यों में 13 अत्याधुनिक LLMs की क्षमताओं का मूल्यांकन करता है, और संरचना-जागरूक अर्थ संबंधी मिलान (structure-aware semantic matching), संबंध निष्कर्षण (relationship extraction) और गणितीय तर्क (mathematical reasoning) करने की उनकी क्षमता में महत्वपूर्ण अंतराल को प्रकट करता है।
यह शोध पत्र मल्टीमॉडल प्रॉम्प्ट ऑप्टिमाइज़ेशन (MPO) को प्रस्तुत करता है, जो एक एकीकृत ढांचा है जो प्रॉम्प्ट ऑप्टिमाइज़ेशन को टेक्स्ट से आगे बढ़ाते हुए संरेखण-संरक्षण अपडेट (alignment-preserving updates) और बायेसियन चयन (Bayesian selection) का उपयोग करके टेक्स्ट और गैर-टेक्स्ट इनपुट (जैसे कि चित्र, वीडियो और अणु) को संयुक्त रूप से अनुकूलित करता है, जिससे यह मौजूदा टेक्स्ट-ओनली विधियों से बेहतर प्रदर्शन करता है और मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स की पूर्ण क्षमता को उजागर करता है।
यह शोध पत्र छात्रों के तर्कपूर्ण निबंधों में आलोचनात्मक सोच के उप-कौशलों का स्वचालित रूप से मूल्यांकन करने के लिए बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) के उपयोग की व्यवहार्यता की जांच करता है, जिसमें यह पाया गया है कि Llama 3.1 8B का सुपरवाइज्ड फाइन-ट्यूनिंग सबसे अच्छे परिणाम देता है, विशेष रूप से स्पष्ट दक्षता अंतर और संतुलित डेटा वाले उप-कौशलों के लिए, जबकि सूक्ष्म बारीकियों का पता लगाने और असंतुलित लेबल को संभालने में चुनौतियों को भी रेखांकित करता है।
यह शोध पत्र प्रमुख चैट सहायकों की वेब खोज विश्वसनीयता और प्रतिक्रिया की आधारबद्धता (groundedness) का मूल्यांकन करने के लिए एक नवीन कार्यप्रणाली प्रस्तुत करता है, जो महत्वपूर्ण प्रदर्शन अंतरों को प्रकट करता है जहाँ Perplexity उच्चतम स्रोत विश्वसनीयता प्रदर्शित करता है जबकि GPT-4o संवेदनशील विषयों पर गैर-विश्वसनीय स्रोतों को उद्धृत करने की अधिक प्रवृत्ति दिखाता है।
यह शोध पत्र QSTN को प्रस्तुत करता है, जो एक नो-कोड इंटरफेस के साथ एक ओपन-सोर्स पायथन फ्रेमवर्क है जिसे बड़े पैमाने पर LLM-आधारित प्रश्नावली प्रतिक्रियाओं को व्यवस्थित रूप से उत्पन्न करने और मजबूती से मूल्यांकन करने के लिए डिज़ाइन किया गया है, जो यह प्रदर्शित करता है कि प्रॉम्प्ट संरचना और पीढ़ी विधियाँ मानव उत्तरों के साथ संरेखण को महत्वपूर्ण रूप से प्रभावित करती हैं जबकि कंप्यूट लागत को कम करती हैं।
यह शोधपत्र पोस्ट-हॉक फीचर एट्रिब्यूशन विधियों में छिपे हुए लेक्सिकल (lexical) और पोजीशनल (positional) पूर्वाग्रहों को व्यवस्थित रूप से मूल्यांकन करने और प्रकट करने के लिए एक मॉडल- और मेथड-अग्नोस्टिक (model- and method-agnostic) ढांचे को प्रस्तुत करता है, जो विभिन्न मॉडलों में इन पूर्वाग्रहों के बीच एक ट्रेड-ऑफ प्रदर्शित करता है और यह पहचानता है कि विसंगत स्पष्टीकरणों (anomalous explanations) के पक्षपाती होने की संभावना अधिक होती है।
यह शोधपत्र Proof-RM को प्रस्तुत करता है, जो एक स्केलेबल रिवॉर्ड मॉडल है जिसे गणितीय प्रमाणों को विश्वसनीय रूप से मूल्यांकित करने और उन स्थानों पर LLM तर्क क्षमताओं को बढ़ाने के लिए प्रश्न-प्रमाण-जांच (question-proof-check) ट्रिपलेट्स के एक विविध, LLM-जनरेटेड डेटासेट पर प्रशिक्षित किया गया है जहाँ पारंपरिक उत्तर-मिलान सत्यापन विफल हो जाता है।
RoPE-LIME एक कुशल, ओपन-सोर्स फ्रेमवर्क है जो क्लोज्ड-सोर्स LLM आउटपुट्स के लिए एट्रिब्यूशन करने हेतु RoPE-स्पेस लोकैलिटी कर्नेल्स और स्पार्स-K सैंपलिंग को जोड़ता है, जिससे मौजूदा तरीकों की तुलना में API लागतों को काफी कम करते हुए स्थिर, सूचनात्मक टोकन-स्तरीय स्पष्टीकरण उत्पन्न किए जा सकते हैं।
यह शोध पत्र प्रोपेला-1 (propella-1) का परिचय देता है, जो छोटे बहुभाषी एलएलएम (LLMs) का एक परिवार है जो एलएलएम प्रीट्रेनिंग के लिए लचीले, व्याख्या योग्य और बड़े पैमाने पर डेटा क्यूरेशन को सक्षम करने हेतु 18 आयामों में टेक्स्ट दस्तावेजों के लिए संरचित, बहु-गुण (multi-property) एनोटेशन उत्पन्न करता है, जो पारंपरिक एकल-स्कोर दृष्टिकोणों से बेहतर है।