24235 पेपर
यह शोध पत्र ए/बी टेस्टिंग में सुदृढ़ अनुक्रमिक प्रयोगात्मक डिजाइन के लिए एक एकीकृत ढांचे का प्रस्ताव करता है जो मॉडल मिसस्पेसिफिकेशन (model misspecification) के तहत भी नमूना दक्षता बनाए रखता है और वर्स्ट-केस मीन स्क्वेयर्ड एरर (worst-case mean squared error) को सीमित करता है, जिसे सिंथेटिक और वास्तविक दुनिया के डेटा पर सैद्धांतिक विश्लेषण और अनुभवजन्य परिणामों के माध्यम से मान्य किया गया है।
VIP-COP एक तेज़, बजट-जागरूक और ब्लैक-बॉक्स संदर्भ अनुकूलन ढांचा है जो एक ऑनलाइन KernelSHAP-आधारित रिग्रेशन के माध्यम से उच्च-मूल्य वाले प्रशिक्षण उदाहरणों और विशेषताओं को स्पष्ट रूप से चुनकर टैबुलर फाउंडेशन मॉडल्स को बेहतर बनाता है, जिससे मॉडल ग्रेडिएंट्स की आवश्यकता के बिना भविष्यवाणी प्रदर्शन और शोर (noise) के विरुद्ध मजबूती में सुधार होता है।
यह शोध पत्र व्यवस्थित रूप से यह प्रदर्शित करता है कि बड़े भाषा मॉडलों के सुपरवाइज्ड फाइन-ट्यूनिंग के लिए इष्टतम डेटा कठिनाई डेटासेट के आकार पर निर्भर करती है, जो सामान्यीकरण (generalization) और एक्सट्रपलेशन (extrapolation) के बीच एक ट्रेड-ऑफ को उजागर करती है जहाँ बड़े डेटा बजट कठिन उदाहरणों से लाभान्वित होते हैं।
यह शोध पत्र सैद्धांतिक रूप से प्रदर्शित करता है कि कमजोर-से-मजबूत सामान्यीकरण (weak-to-strong generalization) एक मजबूत मॉडल को विविध पूर्व-प्रशिक्षित क्षमताओं को संरक्षित करते हुए, फीचर लर्निंग के माध्यम से एक विशिष्ट कार्य को कुशलतापूर्वक सीखने और इसके अंतर्निहित ज्ञान को उद्दीप्त करने में सक्षम बनाता है, जिससे मानक सुपरवाइज्ड फाइन-ट्यूनिंग में अक्सर देखी जाने वाली कैटास्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) से बचा जा सकता है।
यह शोध पत्र लॉन्ग-होरिज़न एलएलएम एजेंटों के लिए डेटासेट एग्रीगेशन (DAgger) का पुनरावलोकन करता है ताकि ऑन-पॉलिसी इंटरेक्शन को डेंस टीचर सुपरविजन के साथ जोड़कर कोवेरिएट शिफ्ट को प्रभावी ढंग से कम किया जा सके, जो सॉफ्टवेयर इंजीनियरिंग कार्यों में महत्वपूर्ण प्रदर्शन लाभ प्रदर्शित करता है जहाँ इस पद्धति के साथ प्रशिक्षित छोटे मॉडल बड़े बेसलाइन सिस्टम से बेहतर प्रदर्शन करते हैं।
यह शोध पत्र SHM-Agents को प्रस्तुत करता है, जो एक मॉड्यूलर जनरलइस्ट-स्पेशलिस्ट सिस्टम है जो विविध स्ट्रक्चरल हेल्थ मॉनिटरिंग कार्यों के प्राकृतिक भाषा-संचालित, एंड-टू-एंड निष्पादन को सक्षम करने के लिए विशेष एल्गोरिदम के साथ लार्ज लैंग्वेज मॉडल्स को एकीकृत करता है और पारंपरिक कार्यान्वयन एवं इंटरऑपरेबिलिटी बाधाओं को दूर करता है।
यह शोधपत्र IV-ICL को प्रस्तुत करता है, जो एक एमोर्टाइज्ड (amortized) बेयसियन इन-कॉन्टेक्स्ट लर्निंग विधि है जो समावेशी KL न्यूनीकरण (inclusive KL minimization) के माध्यम से सीधे मार्जिनल पोस्टीरियर वितरणों को सीखकर कारण प्रभाव सीमाओं (causal effect bounds) को कुशलतापूर्वक पुनर्प्राप्त करती है, जो वैधता, सूचनात्मकता और कम्प्यूटेशनल गति में मौजूदा सेमी-पैरामीट्रिक और बेयसियन बेसलाइन से बेहतर प्रदर्शन करती है और साथ ही रैंडमाइज्ड कंट्रोल्ड ट्रायल्स से यथार्थवादी IV बेंचमार्क उत्पन्न करने के लिए एक नवीन प्रक्रिया का प्रस्ताव करती है।
यह शोध पत्र बाइट-स्तरीय मॉडलिंग को मास्क्ड डिफ्यूजन के साथ संयोजित करने की कम्प्यूटेशनल लागत की जांच करता है, जो यह प्रकट करता है कि संदर्भ भंगुरता (context fragility) के कारण बाद वाला मॉडल ऑटोरेग्रेसिव मॉडलों की तुलना में अधिक तीव्र स्केलिंग दंड (scaling penalty) से ग्रस्त है, जिससे यह सुझाव मिलता है कि भविष्य के मोडैलिटी-अज्ञेय (modality-agnostic) डिजाइनों को कुशल बने रहने के लिए नए संरचनात्मक पूर्वाग्रहों (structural biases) की आवश्यकता है।
यह शोध पत्र CRePE का प्रस्ताव करता है, जो एक नवीन पोजीशनल एनकोडिंग विधि है जो वीडियों जनरेशन में एकीकृत, स्थिर कैमरा नियंत्रण और बाहरी ज्यामिति कंडीशनिंग को सक्षम करने के लिए कर्व्ड रे एक्सपेक्टेशंस (curved ray expectations) और एक ज्योमेट्रिक अटेंशन अडैप्टर का लाभ उठाता है, जो वाइड-एंगल और फिशआई लेंसों के लिए मौजूदा पिनहोल-आधारित एनकोडिंग की सीमाओं को प्रभावी ढंग से संबोधित करता है।
यह शोध पत्र ऑटोरेग्रेसिव लैंग्वेज मॉडलिंग में प्रोबेबिलिस्टिक सर्किट्स और लार्ज लैंग्वेज मॉडल्स के बीच अभिव्यक्ति अंतराल (expressivity gap) की पहचान और विश्लेषण करता है, जो यह प्रकट करता है कि जबकि लॉजिट-स्पेस पैरामीट्राइजेशन और डिकम्पोजेबल आर्किटेक्चर विशिष्ट बाधाओं को कम कर सकते हैं, स्ट्रक्चर्ड-डिकम्पोजेबल पीसी (PCs) की निश्चित रूटिंग संरचना ट्रांसफॉर्मर्स की तुलना में विषम डिपेंडेंसी टोपोलॉजी को मॉडल करने की उनकी क्षमता को मौलिक रूप से सीमित करती है।