11683 पेपर
यह शोध पत्र DPI का प्रस्ताव करता है, जो कार्य-विशिष्ट मुख्य मापदंडों (core parameters) की पहचान करने, ओवरलैपिंग कार्यों को मिलाने और मल्टी-स्टेज ट्रेनिंग के दौरान प्राप्त मापदंडों को फ्रीज करने के माध्यम से पैरामीटर विषमता (parameter heterogeneity) का लाभ उठाकर सुपरवाइज्ड फाइन-ट्यूनिंग में क्रॉस-टास्क इंटरफेरेंस को कम करता है ताकि निरंतर प्रदर्शन सुधार प्राप्त किया जा सके।
यह शोध पत्र एक गेज़-गाइडेड (दृष्टि-निर्देशित) टेक्स्ट जनरेशन विधि प्रस्तुत करता है जो अनुमानित मानव आई-ट्रैकिंग पैटर्न का लाभ उठाकर नियंत्रित पठन सुगमता वाले टेक्स्ट उत्पन्न करता है, जो लेक्सिकल प्रोसेसिंग को प्रभावित करने वाली विशेषताओं के माध्यम से मूलभाषी और गैर-मूलभाषी अंग्रेजी बोलने वालों, दोनों के लिए पठन समय और कथित कठिनाई को समायोजित करने में अपनी प्रभावशीलता को सफलतापूर्वक प्रदर्शित करता है।
यह शोध पत्र का प्रस्ताव करता है, जो एक मल्टी-व्यू टेक्स्ट एनोमली डिटेक्शन फ्रेमवर्क है जो सिंगल-मॉडल दृष्टिकोण की सीमाओं को दूर करने और विविध डेटासेट्स पर बेहतर प्रदर्शन प्राप्त करने के लिए एक रिकंस्ट्रक्शन मॉडल, कॉन्ट्रास्टिव कोलैबोरेशन और एडेप्टिव एलोकेशन मॉड्यूल के माध्यम से कई प्रीट्रेंड लैंग्वेज मॉडल्स के एम्बेडिंग्स को एकीकृत करता है।
यह शोध पत्र DIETA को प्रस्तुत करता है, जो एक 0.5-बिलियन-पैरामीटर वाला डिकोडर-ओनली ट्रांसफॉर्मर मॉडल है जिसे एक क्यूरेटेड 207-मिलियन-वाक्य इतालवी-अंग्रेजी कॉर्पस और बैक-ट्रांसलेटेड डेटा पर प्रशिक्षित किया गया है, जो बेंचमार्क पर प्रतिस्पर्धी प्रदर्शन प्राप्त करता है और इसके प्रशिक्षण स्क्रिप्ट, मॉडल, डेटा और एक नए मूल्यांकन सेट के सार्वजनिक रिलीज के साथ आता है।
यह शोध पत्र सिंथेटिक प्रशिक्षण डेटा उत्पन्न करने के लिए एक नवीन विधि प्रस्तावित करता है जो हस्त-निर्मित नियमों पर निर्भर हुए बिना भाषाई और तर्क संबंधी विविधता को अनुकूलित करती है, जिसके परिणामस्वरूप फंक्शन-कॉलिंग एजेंटों ने स्टेट-ऑफ-द-आर्ट बेसलाइन की तुलना में BFCL बेंचमार्क पर 7.4% सटीकता वृद्धि और बेहतर आउट-ऑफ-डिस्ट्रीब्यूशन प्रदर्शन प्राप्त किया है।
यह शोध पत्र इस बात की जांच करता है कि बड़े भाषा मॉडल अवलोकन संबंधी डेटा से अमूर्त संरचनात्मक जानकारी को कैसे सीखते और लागू करते, यह प्रकट करते हुए कि हालांकि इस तरह के सीखने का उद्भव जटिल तर्क से सह-संबंधित है, मॉडलों की टेस्ट-टाइम कंपोजिशनल जनरेशन (test-time compositional generation) करने की क्षमता सीमित बनी हुई है।
यह शोध पत्र ShapLoRA का प्रस्ताव करता है, जो एक पैरामीटर-कुशल फाइन-ट्यूनिंग फ्रेमवर्क है जो 'शैपली सेंसिटिविटी' (Shapley sensitivity) नामक अधिक व्याख्यात्मक और विश्वसनीय महत्व माप को पेश करके मौजूदा रैंक आवंटन विधियों में सुधार करता है, जो विभिन्न कार्यों में उत्कृष्ट प्रदर्शन प्राप्त करने के लिए संवेदनशीलता विश्लेषण (sensitivity analysis) को शैपली वैल्यू (Shapley Value) अवधारणाओं के साथ जोड़ता है।
यह शोध पत्र बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) से सांस्कृतिक सामान्य ज्ञान के ग्राफ (कल्चरल कॉमनसेंस नॉलेज ग्राफ्स) निकालने के लिए एक पुनरावृत्ति ढांचे (इटरेटिव फ्रेमवर्क) को प्रस्तुत करता है ताकि अंतर्निहित सांस्कृतिक ज्ञान को संरचित किया जा सके, जो यह दर्शाता है कि हालांकि ये ग्राफ सांस्कृतिक तर्क और सृजन को बेहतर बनाते हैं, फिर भी गैर-अंग्रेजी संस्कृतियों का प्रतिनिधित्व करते समय भी इनमें वर्तमान में अंग्रेजी के प्रति महत्वपूर्ण पूर्वाग्रह दिखता है।
यह शोधपत्र एक प्रॉम्प्ट-संचालित, सत्यापन-केंद्रित ढांचे को प्रस्तुत करता है जो इनपुट सामान्यीकरण, बाधित डिकोडिंग और सख्त नियम-आधारित सत्यापन को एकीकृत करके, फाइन-ट्यूनिंग के बिना बड़े भाषा मॉडल (लार्ज लैंग्वेज मॉडल्स) का लाभ उठाते हुए, असंरचित नाम और पते वाले टेक्स्ट को विश्वसनीय रूप से एक सुसंगत 17-क्षेत्रों वाले स्कीमा में परिवर्तित करता है।
यह शोध पत्र प्रदर्शित करता है कि विज़न-लैंग्वेज मॉडल आउटपुट व्यवहार, एम्बेडिंग ज्योमेट्री और अटेंशन डायनेमिक्स के माध्यम से अपने टेक्स्ट-ओनली समकक्षों की तुलना में भाषाई मूर्तता (linguistic concreteness) के प्रति अधिक मानव-समान संवेदनशीलता प्रदर्शित करते हैं, जो यह सुझाव देता है कि मल्टीमॉडल प्रीट्रेनिंग केवल टेक्स्ट-आधारित प्रॉम्प्ट्स के साथ मूल्यांकन किए जाने पर भी संवेदी ग्राउंडिंग (perceptual grounding) को बढ़ाती है।