10660 पेपर
यह शोध पत्र RACER को प्रस्तुत करता है, जो एक वितरण रूप से सुदृढ़ अनुकूलन (distributionally robust optimization) समस्या को हल करके एक निश्चित बजट के तहत रीजनिंग और नॉन-रीजनिंग LLM जजों के बीच गतिशील रूप से चयन करने वाला एक सुदृढ़ अनुकूली रूटिंग ढांचा है, जिससे वितरण बदलावों (distribution shifts) को ध्यान में रखते हुए बेहतर सटीकता-लागत संतुलन प्राप्त होता है।
यह शोध पत्र SLIM को प्रस्तुत करता है, जो एक प्लग-एंड-प्ले फ्रेमवर्क है जो स्पार्स ऑटोएन्कोडर (Sparse Autoencoder) के माध्यम से हिडन स्टेट्स को स्पार्स, व्याख्या योग्य फीचर्स में विघटित करके लार्ज लैंग्वेज मॉडल्स में प्रॉपर्टी-डायरेक्टेड मॉलिक्यूलर एडिटिंग को बेहतर बनाता है, जिससे मॉडल के पैरामीटर्स को संशोधित किए बिना सटीक स्टीयरिंग संभव होती है जो एडिटिंग की सफलता दर को महत्वपूर्ण रूप से बढ़ा देती है।
यह शोध पत्र DISCA को प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त (training-free), ब्लैक-बॉक्स इन्फरेंस-टाइम विधि है, जो मॉडल आउटपुट को फाइन-ट्यूनिंग के बिना सुधारने के लिए वर्ल्ड वैल्यूज सर्वे-आधारित व्यक्तित्व मतभेदों (persona disagreements) का लाभ उठाकर बड़े भाषा मॉडलों (LLMs) को विविध सांस्कृतिक प्राथमिकताओं के साथ संरेखित करती है।
यह शोध पत्र सेल्फ-ऑप्टिमाइज़िंग लैंग्वेज मॉडल्स (SOL) को प्रस्तुत करता है, जो एक फ्रोजन (frozen) LLM को एक हल्के पॉलिसी नेटवर्क के साथ जोड़ता है ताकि स्पर्सिटी (sparsity), प्रूनिंग और क्वांटाइजेशन को समायोजित करके प्रति टोकन परिवर्तनीय कंप्यूटेशन बजट को गतिशील रूप से आवंटित किया जा सके, जिससे स्टेटिक एलोकेशन रणनीतियों की तुलना में इन्फरेंस गुणवत्ता और दक्षता में उल्लेखनीय सुधार होता है।
RubricEM एक मेटा-रीइन्फोर्समेंट लर्निंग फ्रेमवर्क है जो चरणवार नीति अपघटन (stagewise policy decomposition) को संरचित करने के लिए रूब्रिक्स को एक केंद्रीय इंटरफ़ेस के रूप में उपयोग करके, स्टेज-स्ट्रक्चर्ड GRPO के माध्यम से सघन सिमेंटिक फीडबैक प्रदान करके, और एक रिफ्लेक्शन मेटा-पॉलिसी को विकसित करके डीप रिसर्च एजेंटों को उन्नत करता है, जिससे लंबे शोध बेंचमार्क पर प्रोप्रायटरी सिस्टम के तुलनीय प्रदर्शन को प्राप्त किया जाता है।
यह शोध पत्र DECO को प्रस्तुत करता है, जो एक स्पार्स Mixture-of-Experts आर्किटेक्चर है जो ReLU-आधारित रूटिंग, लर्नेबल एक्सपर्ट-वाइज स्केलिंग और एक नवीन NormSiLU एक्टिवेशन फंक्शन का लाभ उठाकर केवल 20% एक्सपर्ट एक्टिवेशन और एंड-साइड डिवाइसेस पर 3.00× इन्फरेंस स्पीडअप के साथ डेंस-तुलनीय प्रदर्शन प्राप्त करता है।
यह शोध पत्र एम्बेडेड लैंग्वेज फ्लोज़ (ELF) को प्रस्तुत करता है, जो एक निरंतर-समय फ्लो मैचिंग मॉडल है जो डिस्क्रीट टोकन में मैप करने से पहले मुख्य रूप से निरंतर एम्बेडिंग स्पेस में कार्य करता है, और मौजूदा डिस्क्रीट और निरंतर डिफ्यूजन लैंग्वेज मॉडल्स की तुलना में बेहतर जनरेशन गुणवत्ता और दक्षता प्रदर्शित करता है।
यह शोध पत्र बेयसियन अटेंशन मैकेनिज्म (BAM) प्रस्तुत करता है, जो एक संभाव्य ढांचा है जो मौजूदा पोजीशनल एनकोडिंग विधियों को एकीकृत करता है और अत्याधुनिक लॉन्ग-कॉन्टेक्स्ट जनरलाइजेशन प्राप्त करने के लिए एक जनरलाइज्ड गॉसियन प्रायोर (Generalized Gaussian prior) का प्रस्ताव करता है, जिससे न्यूनतम पैरामीटर ओवरहेड के साथ प्रशिक्षण संदर्भ लंबाई के 500 गुना पर सटीक सूचना पुनर्प्राप्ति सक्षम होती है।
यह सर्वेक्षण कंपाउंड एआई सिस्टम्स को एक उभरते हुए प्रतिमान के रूप में परिभाषित करता है जो लार्ज लैंग्वेज मॉडल्स को रिट्रीवर्स और एजेंट्स जैसे बाहरी घटकों के साथ एकीकृत करता है, जो वर्तमान विखंडन को संबोधित करने और सिस्टम-स्तरीय आर्टिफिशियल इंटेलिजेंस में भविष्य के अनुसंधान को निर्देशित करने के लिए आरएजी (RAG) और एलएलएम (LLM) एजेंट्स जैसे मौलिक प्रतिमानों का एक एकीकृत वर्गीकरण और विश्लेषण प्रस्तावित करता है।
यह शोध पत्र VIDEE को प्रस्तुत करता है, जो एक मानव-एजेंट सहयोगात्मक प्रणाली है जो प्रवेश स्तर के विश्लेषकों को अपघटन (decomposition), निष्पादन (execution) और मूल्यांकन (evaluation) के तीन-चरणीय वर्कफ़्लो के माध्यम से उन्नत टेक्स्ट एनालिटिक्स करने में सक्षम बनाती है, और विशेषज्ञता के विभिन्न स्तरों पर इसकी प्रभावशीलता और उपयोगिता का प्रदर्शन करती है।