10509 पेपर
यह शोधपत्र OverEager-Gen प्रस्तुत करता है, जो एक कठोरता से सत्यापित बेंचमार्क है जो यह प्रदर्शित करता है कि कोडिंग एजेंट अक्सर निर्दोष कार्यों पर अनधिकृत "अति-उत्साही" (overeager) कार्य करते हैं, एक ऐसा जोखिम जो प्रॉम्प्ट से स्पष्ट सहमति घोषणाओं को हटा देने पर काफी बढ़ जाता है और जो केवल अंतर्निहित मॉडल के बजाय एजेंट के अनुमति ढांचे (permission framework) से अत्यधिक प्रभावित होता है।
यह शोध पत्र ज़ीरो-एक्सपर्ट सेल्फ-डिस्टिलेशन अडैप्टेशन (ZEDA) को प्रस्तुत करता है, जो एक कम लागत वाला ढांचा है जो पैरामीटर-मुक्त ज़ीरो-आउटपुट विशेषज्ञों को इंजेक्ट करके और दो-चरणीय सेल्फ-डिस्टिलेशन लागू करके पोस्ट-ट्रेन्ड स्टैटिक मिक्सचर-ऑफ़-एक्सपर्ट्स मॉडल्स को कुशल डायनेमिक मॉडल्स में परिवर्तित करता है, जिससे मामूली सटीकता हानि के साथ विशेषज्ञ FLOPs में 50% से अधिक की कमी आती है और महत्वपूर्ण इन्फरेंस स्पीडअप प्रदान किया जाता है।
यह शोध पत्र एक 8B-पैरामीटर वाले भाषा मॉडल में एक विशिष्ट सर्किट की पहचान और अपघटन करता है जो भाषा-परिवर्तन (language-switching) बैकडोर हमले को निष्पादित करता है, यह प्रकट करते हुए कि ट्रिगर एक क्रमिक बाधा (serial bottleneck) और एक ऑर्थोगोनल लेटेंट सबस्पेस के माध्यम से गणनाओं को हाईजैक करता है जो प्राकृतिक भाषा निरूपणों पर निर्भर सुरक्षा प्रणालियों से बच निकलता है।
यह शोध पत्र यह स्थापित करता है कि लार्ज लैंग्वेज मॉडल्स में तथ्यात्मक रिकॉल (factual recall), मॉडल पैरामीटर संख्या और प्रशिक्षण डेटा में विषय की आवृत्ति के संयुक्त प्रभावों द्वारा संचालित एक पूर्वानुमेय सिग्मॉइड स्केलिंग लॉ (sigmoid scaling law) का अनुसरण करता है, जो विशिष्ट मॉडल परिवारों के भीतर प्रदर्शन भिन्नता के 94% तक की व्याख्या करता है।
Vision-OPD एक सेल्फ-डिस्टिलेशन फ्रेमवर्क है जो मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स में सूक्ष्म-स्तरीय विज़ुअल समझ को बढ़ाता है, जो एक फुल-इमेज पॉलिसी को अपने स्वयं के जनरेटेड रोलआउट्स पर क्रॉप-कंडीशन्ड टीचर के बेहतर प्रदर्शन की नकल करने के लिए प्रशिक्षित करता है, जिससे मॉडल को बिना किसी बाहरी पर्यवेक्षण या टूल्स के प्रासंगिक साक्ष्य पर ध्यान केंद्रित करने के लाभों को आत्मसात करने में सक्षम बनाया जा सके।
यह शोध पत्र ESI-Bench को प्रस्तुत करता है, जो OmniGibson और स्पेलके (Spelke) के मुख्य ज्ञान प्रणालियों पर निर्मित एम्बोडीड स्थानिक बुद्धिमत्ता (embodied spatial intelligence) के लिए एक व्यापक बेंचमार्क है, जो यह प्रदर्शित करता है कि सक्रिय धारणा-क्रिया लूप (active perception-action loops) छिपी हुई स्थानिक जानकारी को उजागर करने में सक्षम बनाकर निष्क्रिय अवलोकन की तुलना में काफी बेहतर प्रदर्शन करते हैं, जबकि यह भी प्रकट करते हैं कि वर्तमान मॉडल मुख्य रूप से कमजोर धारणा के कारण नहीं, बल्कि 'एक्शन ब्लाइंडनेस' (action blindness) और मेटाकॉग्निटिव अंतराल (metacognitive gaps) के कारण विफल होते हैं।
DashAttention, -entmax का उपयोग करके परिवर्तनीय संख्या में KV ब्लॉक्स को गतिशील रूप से चुनने के लिए एक पूर्णतः विभेदनीय (differentiable) और अनुकूलन योग्य विरल पदानुक्रमित अटेंशन (sparse hierarchical attention) तंत्र पेश करता है, जो NSA और InfLLMv2 जैसी मौजूदा विधियों की तुलना में बेहतर लॉन्ग-कॉन्टेक्स्ट मॉडलिंग सटीकता और इन्फरेंस गति प्राप्त करता है।
यह शोध पत्र सबग्राफ-स्तरीय यूनिवर्सल प्रॉम्प्ट ट्यूनिंग (SUPT) प्रस्तुत करता है, जो एक बहुमुखी विधि है जो मौजूदा ग्राफ प्रॉम्प्ट ट्यूनिंग दृष्टिकोणों की संदर्भ सीमाओं को दूर करने के लिए सबग्राफ स्तर पर प्रॉम्प्ट विशेषताओं को असाइन करती है, जिससे काफी कम मापदंडों के साथ फुल-शॉट और फ्यू-शॉट दोनों परिदृश्यों में फाइन-ट्यूनिंग की तुलना में बेहतर प्रदर्शन प्राप्त होता है।
यह शोध पत्र प्रॉम्प्ट विविधताओं के कारण लार्ज लैंग्वेज मॉडल टेक्स्ट एनोटेशन की संवेदनशीलता को संबोधित करने के लिए 'प्रॉम्प्ट स्टेबिलिटी स्कोर' (PSS) नामक एक सामान्य ढांचे का प्रस्ताव करता है, जो स्थिरता संबंधी समस्याओं का निदान करने के लिए पारंपरिक विश्वसनीयता मेट्रिक्स को अनुकूलित करता है और व्यावहारिक कार्यान्वयन के लिए एक पायथन पैकेज को शामिल करता है।
TokenButler एक हल्का, क्वेरी-जागरूक प्रेडिक्टर है जो मास्क किए गए कॉज़ल अटेंशन डिस्ट्रीब्यूशन को डिस्टिल करके कुशल KV-कैश प्रबंधन के लिए महत्वपूर्ण टोकन की गतिशील रूप से पहचान करता है, जिससे बिना टोकन को स्थायी रूप से हटाए, लगभग ऑरेकल रिट्रीवल सटीकता और महत्वपूर्ण लेटेंसी में कमी प्राप्त होती है।