24054 पेपर
यह शोध पत्र एन्हांस्ड रैंकड मेमोरी ऑगमेंटेड रिट्रीवल (ERMAR) फ्रेमवर्क प्रस्तुत करता है, जो लॉन्ग-कॉन्टेक्स्ट लैंग्वेज मॉडलिंग कार्यों में स्टेट-ऑफ-द-आर्ट प्रदर्शन और स्केलेबिलिटी प्राप्त करने के लिए एक नवीन प्रासंगिकता स्कोरिंग तंत्र और की-वैल्यू एम्बेडिंग्स के पॉइंटवाइज री-रैंकिंग का लाभ उठाते हुए दीर्घकालिक स्मृति को गतिशील रूप से प्रबंधित करता है।
LogQuant ने एक नवीन लॉग-डिस्ट्रीब्यूटेड 2-बिट क्वांटाइजेशन तकनीक पेश की है जो KV कैश के लिए, न्यूनतम मेमोरी फुटप्रिंट बनाए रखते हुए, बड़े भाषा मॉडलों (LLMs) के लिए इन्फरेंस थ्रूपुट, बैच साइज और टास्क सटीकता में महत्वपूर्ण सुधार करती है।
यह अध्ययन अनुभवजन्य रूप से यह प्रदर्शित करता है कि छोटे, स्थानीय रूप से तैनात किए जा सकने वाले एलएलएम (LLMs) अक्सर रोजमर्रा के संगठनात्मक कार्यों के लिए बड़े मॉडलों की तुलना में एक टिकाऊ और लागत प्रभावी विकल्प प्रदान करते हैं, जो प्रदर्शन-अधिकतम करने वाले बेंचमार्क से संदर्भ-जागरूक पर्याप्तता आकलन की ओर बदलाव का समर्थन करते हैं।
यह अध्ययन प्रदर्शित करता है कि जबकि रोग संबंधी वाणी (pathological speech) का स्वचालित अनामिकीकरण (automatic anonymization) कथित गुणवत्ता को काफी कम कर देता है और श्रोताओं द्वारा अत्यधिक पता लगाने योग्य बना रहता है, यह नैदानिक गंभीरता रेटिंग को काफी हद तक सुरक्षित रखता है, जो मानक कम्प्यूटेशनल गोपनीयता मेट्रिक्स और संवेदी परिणामों के बीच एक महत्वपूर्ण अलगाव को प्रकट करता है जिसके लिए नैदानिक तैनाती हेतु विकार-वार और श्रोता-स्तरीकृत मूल्यांकन की आवश्यकता है।
यह शोध पत्र RAP को प्रस्तुत करता है, जो एक सुदृढीकरण लर्निंग (reinforcement learning) द्वारा संचालित फ्रेमवर्क है जो बदलते मेमोरी बजट और वर्कलोड स्थितियों के तहत उपयोगिता को अधिकतम करने के लिए मॉडल वेट्स और KV-कैशे रिटेंशन को संयुक्त रूप से अनुकूलित करके, वास्तविक समय में LLM इन्फरेंस प्रूनिंग रणनीतियों को गतिशील रूप से अनुकूलित करता है।
यह शोध पत्र SIPO को प्रस्तुत करता है, जो डिफ्यूजन मॉडल के लिए एक स्थिर और उन्नत प्राथमिकता अनुकूलन (preference optimization) ढांचा है, जो एक नवीन ग्रेडिएंट क्लिपिंग तंत्र और टाइमस्टेप-अवेयर इम्पॉर्टेंस रीवेटिंग के माध्यम से प्रशिक्षण अस्थिरता और ऑफ-पॉलिसी पूर्वाग्रह को संबोधित करता है, तथा इमेज और वीडियो जनरेशन कार्यों में बेहतर प्रदर्शन प्रदर्शित करता है।
यह शोध पत्र यह प्रदर्शित करता है कि मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) भाषा मॉडल, एक इष्टतम सक्रियण दर (activation rate) की पहचान करके जो विभिन्न मॉडल आकारों में सुसंगत रहती है, समान संसाधन बाधाओं (कुल पैरामीटर, कंप्यूट, और डेटा) के तहत अपने डेंस समकक्षों से बेहतर प्रदर्शन कर सकते हैं, एक ऐसा निष्कर्ष जिसे लगभग 250 मॉडलों को प्रशिक्षित करने और 50 ट्रिलियन टोकन को प्रोसेस करने के व्यापक प्रयोगों के माध्यम से मान्य किया गया है।
यह शोध पत्र छह मुख्य मूल्य विषयों (value themes) की पहचान करके एआई संरेखण (AI alignment) के मूल्यांकन के लिए एक स्केलेबल, आउटपुट-आधारित ढांचे को प्रस्तुत करता है, जो यह प्रदर्शित करता है कि जबकि 75 एलएलएम (LLMs) लगातार मानवीय मूल्य क्रम को पुनरुत्पादित करते हैं, वे अक्सर मूल्य अंशांकन (value calibration) में भिन्न होते हैं, जिसमें प्रोफाइल फिडेलिटी (profile fidelity) मॉडल के आकार या क्षमता से स्वतंत्र रूप से भिन्न होती है।
यह शोध पत्र OSWorld-Human प्रस्तुत करता है, जो एक मैन्युअल रूप से एनोटेट किया गया बेंचमार्क है जो यह प्रकट करता है कि वर्तमान कंप्यूटर-उपयोग एजेंट अत्यधिक विलंबता (latency) और अक्षमता से ग्रस्त हैं, जिसका मुख्य कारण योजना बनाने और चिंतन (reflection) के लिए अत्यधिक मॉडल कॉल्स हैं, जिसके परिणामस्वरूप उन्हें कार्य पूरा करने में मनुष्यों की तुलना में 2.7 से 4.3 गुना अधिक कदम उठाने पड़ते हैं।
CooT एक नवीन ढांचा है जो इन-कॉन्टेक्स्ट लर्निंग का लाभ उठाकर मल्टी-एजेंट सिस्टम को बिना पैरामीटर अपडेट के अपरिचित पार्टनर्स के प्रति तेजी से और मजबूती से अनुकूलित होने में सक्षम बनाता है, जो ओवरकुक्ड (Overcooked) और गूगल रिसर्च फुटबॉल (Google Research Football) जैसे बेंचमार्क पर मौजूदा पॉपुलेशन-आधारित, फाइन-ट्यूनिंग और मेटा-आरएल (Meta-RL) दृष्टिकोणों से बेहतर प्रदर्शन करता है।