10509 पेपर
यह शोध पत्र डाइलेटेड अनमास्किंग शेड्यूलर (DUS) का परिचय देता है, जो एक केवल-अनुमान (inference-only) विधि है जो संयुक्त एंट्रॉपी लाभ को न्यूनतम करने के लिए अनुक्रम स्थितियों को गैर-समीपवर्ती समूहों में विभाजित करके समानांतर अनमास्किंग करती है, जिससे गुणवत्ता से समझौता किए बिना या अंतर्निहित डिनोइज़र को संशोधित किए बिना मास्क किए गए डिफ्यूजन लैंग्वेज मॉडल्स में 5.8 गुना तक तेज़ टेक्स्ट जनरेशन प्राप्त किया जाता है।
यह शोध पत्र FLEXITOKENS को प्रस्तुत करता है, जो बाइट-लेवल लैंग्वेज मॉडल्स के लिए एक लचीली टोकेनाइजेशन विधि है, जो फिक्स्ड टोकेनाइजर्स की कठोरता को दूर करने के लिए एक सरलीकृत प्रशिक्षण उद्देश्य के साथ एक सीखने योग्य बाउंड्री प्रेडिक्टर का उपयोग करती है, जिससे ओवर-फ्रैगमेंटेशन कम होता है और विविध भाषाओं एवं कार्यों में 10% तक प्रदर्शन सुधार प्राप्त होता है।
यह शोध पत्र रेयर डिज़ीज़ माइनिंग एजेंट्स (RDMA) को प्रस्तुत करता है, जो एक एजेंटिक फ्रेमवर्क है जो विशिष्ट उपकरणों के साथ छोटे, क्वांटाइज्ड LLMs का लाभ उठाता है ताकि बिना किसी टास्क-विशिष्ट प्रशिक्षण के असंरचित इलेक्ट्रॉनिक स्वास्थ्य रिकॉर्ड से दुर्लभ रोग संबंधी जानकारी को सटीक रूप से निकाला जा सके, जिससे फाइन-ट्यून्ड या RAG-आधारित बेसलाइन की तुलना में बेहतर प्रदर्शन और महत्वपूर्ण लागत कटौती प्राप्त होती है और साथ ही निजी, ऑन-प्रिमाइज़ परिनियोजन को सक्षम बनाया जाता है।
CADDesigner एक LLM-संचालित एजेंट है जो टेक्स्ट और स्केच के माध्यम से संवादात्मक संवाद, पुनरावृत्ति दृश्य फीडबैक और निरंतर ज्ञान संचय के माध्यम से उच्च-गुणवत्ता वाले वैचारिक CAD मॉडल उत्पन्न करने के लिए एक नवीन एक्सप्लिसिट कॉन्टेक्स्ट इम्पैरेटिव पैराडाइम (ECIP) का लाभ उठाता है।
यह शोध पत्र कॉप्टिक का फ्रांसीसी में अनुवाद करने पर पहला व्यवस्थित अध्ययन प्रस्तुत करता है, जो यह प्रदर्शित करता है कि शैलीगत रूप से विविध और शोर-जागरूक (noise-aware) कॉर्पस के साथ फाइन-ट्यूनिंग करने से अनुवाद की गुणवत्ता में महत्वपूर्ण सुधार होता है और कम-संसाधन वाली प्राचीन भाषाओं के लिए बहुमूल्य अंतर्दृष्टि प्रदान होती है।
GLASS एक प्रशिक्षण-मुक्त (training-free) फ्रेमवर्क है जो रैंक एकत्रीकरण (rank aggregation) के माध्यम से स्थानीय प्रॉम्प्ट-विशिष्ट सक्रियणों (local prompt-specific activations) और वैश्विक मॉडल-अंतर्निहित पूर्वग्रहों (global model-intrinsic priors) को एकत्रित करके बड़े भाषा मॉडलों के लिए इन्फरेंस-टाइम स्पारसिफिकेशन (inference-time sparsification) में सुधार करता है, जिससे डायनेमिक FFN प्रूनिंग स्थिर होती है और विशेष रूप से लघु-प्रॉम्प्ट, दीर्घ-रूप परिदृश्यों में जनरेशन फिडेलिटी और डिकोडिंग गति में उल्लेखनीय वृद्धि होती है।
यह शोध पत्र एक एकीकृत मल्टी-स्पीकर एनकोडर (UME) प्रस्तुत करता है जो एक साझा मौलिक वास्तुकला और रेसिडुअल वेटेड-सम एनकोडिंग के माध्यम से स्पीकर डायराइजेशन, स्पीच सेपरेशन और मल्टी-स्पीकर ASR को संयुक्त रूप से सीखता है, जो इंटर-टास्क डिपेंडेंसीज़ का प्रभावी ढंग से लाभ उठाकर ओवरलैपिंग स्पीच डेटासेट्स पर अत्याधुनिक प्रदर्शन प्राप्त करता है।
यह सर्वेक्षण 33 बहुभाषी विजन-लैंग्वेज मॉडलों और 23 बेंचमार्क की समीक्षा करता है ताकि भाषा-तटस्थ क्रॉस-लिंगुअल प्रतिनिधित्व प्राप्त करने और सांस्कृतिक जागरूकता बनाए रखने के बीच के महत्वपूर्ण तनाव को उजागर किया जा सके, साथ ही वर्तमान प्रशिक्षण उद्देश्यों और मूल्यांकन पद्धतियों के बीच महत्वपूर्ण अंतराल की पहचान की जा सके।
यह शोध पत्र \ourmethod का प्रस्ताव करता है, जो एक नवीन रक्षा ढांचा (defense framework) है जो ट्रिगर के पूर्व ज्ञान के बिना, प्रतिनिधित्व स्थान (representation space) में इंजेक्ट किए गए ज्ञात बैकडोर्स के साथ अज्ञात बैकडोर्स को एकत्रित करके और उसके बाद रिकवरी फाइन-ट्यूनिंग करके बड़े भाषा मॉडलों (large language models) में अज्ञात बैकडोर्स को समाप्त करता है, जिससे मॉडल की उपयोगिता को बनाए रखते हुए हमले की सफलता दर में महत्वपूर्ण कमी आती है।
यह शोध पत्र हायर-ऑर्डर लीनियर अटेंशन (HLA) को प्रस्तुत करता है, जो एक स्केलेबल, कॉज़ल मैकेनिज्म है जो कॉम्पैक्ट प्रीफ़िक्स पर्याप्त सांख्यिकी (prefix sufficient statistics) को बनाए रखकर लीनियर टाइम कॉम्प्लेक्सिटी के साथ हायर-ऑर्डर इंटरैक्शन प्राप्त करता है, जिससे रिकरेंट आर्किटेक्चर की अभिव्यक्ति क्षमता को संरक्षित करते हुए मानक अटेंशन की क्वाड्रेटिक लागत पर विजय प्राप्त की जा सकती है।