10965 पेपर
यह शोध पत्र पोजीशन-एडेप्टिव स्पेक्ट्रल टेपरिंग (PoST) प्रस्तुत करता है, जो एक आर्किटेक्चर-अज्ञेय (architecture-agnostic) ढांचा है जो मिनिमैक्स अनुकूलतम दीर्घ-रेंज मेमोरी प्राप्त करने के लिए स्पेक्ट्रल रीपैरामीट्राइजेशन और पोजीशन-एडेप्टिव स्केलिंग के माध्यम से लीनियर रिकरेंट मॉडल्स के डिके स्पेक्ट्रा को अनुकूलित करता है, जिसके परिणामस्वरूप विभिन्न अत्याधुनिक आर्किटेक्चर में लैंग्वेज मॉडलिंग और लॉन्ग-कॉन्टेक्स्ट रिट्रीवल में निरंतर सुधार होता है।
यह शोध पत्र 'कीज़ टू नॉलेज' (K2K) प्रस्तुत करता है, जो एक नवीन ढांचा है जो गणनात्मक रूप से गहन बाहरी रिट्रीवल (external retrieval) को कुशल, एक्टिवेशन-गाइडेड आंतरिक की-वैल्यू मेमोरी एक्सेस से बदलकर स्वास्थ्य सेवा भविष्यवाणी को बढ़ाता है, जिससे न्यूनतम इन्फरेंस लेटेंसी के साथ अत्याधुनिक प्रदर्शन प्राप्त होता है।
IatroBench जीवन रक्षक चिकित्सा मार्गदर्शन को आम उपयोगकर्ताओं से व्यवस्थित रूप से रोकते हुए और चिकित्सकों को सटीक सलाह प्रदान करते हुए, अग्रिम (फ्रंटियर) एआई मॉडलों के पूर्व-पंजीकृत साक्ष्य प्रस्तुत करता है, जो एक महत्वपूर्ण पहचान-आधारित सुरक्षा विफलता को प्रकट करता है जहाँ सुरक्षा उपाय अनजाने में उन लोगों के लिए आवश्यक जानकारी तक पहुँच को बाधित करके आयट्रोजेनिक (रोगजनक) हानि का कारण बनते हैं जिन्होंने मानक संदर्भों को समाप्त कर दिया है।
यह शोध पत्र Squeeze Evolve को प्रस्तुत करता है, जो एक एकीकृत मल्टी-मॉडल ऑर्केस्ट्रेशन फ्रेमवर्क है जो विविधता और लागत-दक्षता को संतुलित करने के लिए मॉडल क्षमताओं को गतिशील रूप से आवंटित करके वर्िफायर-मुक्त विकासवादी अनुमान (evolutionary inference) को अनुकूलित करता है, जिससे विविध बेंचमार्क में काफी कम API लागत और बढ़ी हुई थ्रूपुट के साथ अत्याधुनिक प्रदर्शन प्राप्त होता है।
यह शोध पत्र लार्ज लैंग्वेज मॉडल्स को मिसअलाइन (misalign) करने और पुनः अलाइन (realign) करने में फाइन-ट्यूनिंग विधियों की विषम प्रभावकारिता की जांच करता है, जो यह प्रकट करता है कि जहाँ ऑड्स रेशियो प्रिफरेंस ऑप्टिमाइजेशन (ORPO) मिसअलाइनमेंट उत्पन्न करने के लिए सबसे प्रभावी है, वहीं डायरेक्ट प्रिफरेंस ऑप्टिमाइजेशन (DPO) मॉडल की उपयोगिता से समझौता करने के बावजूद रीयलाइनमेंट में उत्कृष्ट है।
यह शोध पत्र Oracle-SWE को प्रस्तुत करता है, जो सॉफ्टवेयर इंजीनियरिंग एजेंट के प्रदर्शन पर विभिन्न प्रासंगिक सूचना संकेतों (contextual information signals) के व्यक्तिगत प्रभाव को अलग करने और मापने के लिए एक एकीकृत विधि है, जिसका उद्देश्य स्वायत्त कोडिंग प्रणालियों के लिए अनुसंधान प्राथमिकता निर्धारण में मार्गदर्शन करना है।
यह शोध पत्र TEMPER को प्रस्तुत करता है, जो एक ऐसा बेंचमार्क और ढांचा है जो यह प्रदर्शित करता है कि मात्रात्मक तर्क (क्वांटिटेटिव रीजनिंग) कार्यों में भावनात्मक फ्रेमिंग, संख्यात्मक सामग्री को सुरक्षित रखते हुए भी, लार्ज लैंग्वेज मॉडल के प्रदर्शन को महत्वपूर्ण रूप से कम कर देती है, जबकि यह भी दिखाता है कि ऐसी भावनात्मक भाषा को तटस्थ करने से सटीकता प्रभावी रूप से पुनः प्राप्त हो जाती है।
AsyncTLS एक पदानुक्रमित स्पार्स अटेंशन सिस्टम है जो फुल-अटेंशन-लेवल सटीकता प्राप्त करने के लिए कोर्स-ग्रेन्ड ब्लॉक फ़िल्टरिंग को फाइन-ग्रेन्ड टोकन चयन और एक एसिंक्रोनस ऑफलोडिंग इंजन के साथ जोड़ता है, जिससे लॉन्ग-कॉन्टेक्स्ट LLM इन्फरेंस के लिए ऑपरेटर स्पीड और एंड-टू-एंड थ्रूपुट में महत्वपूर्ण सुधार होता है।
यह शोध पत्र यह प्रकट करता है कि एलएलएम (LLM) क्षमता में वृद्धि शून्य-लागत परिदृश्यों में सहयोगात्मक व्यवहार की गारंटी नहीं देती है, क्योंकि उन्नत मॉडल भी अक्सर स्पष्ट प्रोटोकॉल या प्रोत्साहन के बिना सहयोग करने में विफल रहते हैं, जो मल्टी-एजेंट सिस्टम में जानबूझकर किए गए सहकारी डिजाइन की आवश्यकता को रेखांकित करता है।
यह शोधपत्र प्रदर्शित करता है कि रिकरेंट-डेप्थ ट्रांसफॉर्मर्स इटरेटिव कम्प्यूटेशन का लाभ उठाकर इम्प्लिसिट रीजनिंग कार्यों में मानक ट्रांसफॉर्मर्स की कंपोजिशनल जनरलाइजेशन और डेप्थ एक्सट्रपलेशन सीमाओं को दूर करते हैं, जो व्यवस्थित जनरलाइजेशन के लिए एक तीन-चरणीय "ग्रोकिंग" प्रक्रिया को सुगम बनाता है और स्केल्ड इन्फरेंस-टाइम रिकरेंस के माध्यम से गहन तर्क को सक्षम बनाता है, हालांकि इसके बदले में "ओवरथिंकिंग" की घटना के साथ एक समझौता भी होता है।