10125 पेपर
यह शोध पत्र NeUQI का प्रस्ताव करता है, जो एक सरलीकृत स्केल-ओनली ऑप्टिमाइज़ेशन के माध्यम से निकट-इष्टतम (near-optimal) इनिशियलाइज़ेशन पैरामीटर्स प्राप्त करके लार्ज लैंग्वेज मॉडल्स के लिए लो-बिट यूनिफॉर्म क्वांटिज़ेशन में सुधार करता है, जिससे यह मौजूदा तकनीकों और यहाँ तक कि संसाधन-गहन डिस्टिलेशन दृष्टिकोणों को भी पीछे छोड़ देता है।
यह शोध पत्र ऑर्थोगोनल सबस्पेस फॉर रोबस्ट मॉडल मर्जिंग (OSRM) का प्रस्ताव करता है, जो एक ऐसी विधि है जो टास्क इंटरफेरेंस को कम करने और कई LoRA-अनुकूलित लैंग्वेज मॉडल्स को मर्ज करने के प्रदर्शन और मजबूती में महत्वपूर्ण रूप से सुधार करने के लिए फाइन-ट्यूनिंग से पहले LoRA सबस्पेस को बाधित करती है।
यह शोधपत्र Eso-LMs को प्रस्तुत करता है, जो डिफ्यूजन लैंग्वेज मॉडल्स का एक नवीन परिवार है जो अनकंडीशनल जनरेशन के लिए स्पीड-क्वालिटी पारेटो फ्रंटियर पर एक नया स्टेट-ऑफ-द-आर्ट स्थापित करने हेतु KV कैशिंग और पैरेलल जनरेशन को सक्षम करने के लिए कॉज़ल अटेंशन का उपयोग करते हुए ऑटोरेग्रेसिव और मास्क्ड डिफ्यूजन प्रतिमानों को समाहित करता है।
यह शोध पत्र लार्ज लैंग्वेज मॉडल्स में विभिन्न इन्फरेंस-टाइम अनिश्चितता मापों का मूल्यांकन करता है, जिसमें यह पाया गया है कि कई मेट्रिक्स मानव अनिश्चितता के साथ मजबूत संरेखण और मध्यम-से-मजबूत मॉडल अंशांकन (कैलिब्रेशन) प्रदर्शित करते हैं, भले ही वे मानव उत्तर प्राथमिकताओं के साथ सहसंबंध नहीं रखते हों।
यह शोध पत्र GEM-Bench प्रस्तुत करता है, जो जनरेटिव इंजन मार्केटिंग में विज्ञापन-इंजेक्टेड प्रतिक्रिया निर्माण के लिए पहला व्यापक बेंचमार्क है, जो क्यूरेटेड डेटासेट, एक बहु-आयामी मूल्यांकन मीट्रिक और बेसलाइन समाधान प्रदान करता है ताकि वर्तमान विधियों में जुड़ाव (engagement) और उपयोगकर्ता संतुष्टि के बीच के ट्रेड-ऑफ को उजागर किया जा सके और भविष्य के अनुसंधान को निर्देशित किया जा सके।
सह-पंजीकृत (co-registered) EEG और आई-ट्रैकिंग डेटा का उपयोग करते हुए, यह अध्ययन प्रदर्शित करता है कि पदानुक्रमित वाक्य संरचना (hierarchical syntactic structure) व्यवहारिक और तंत्रिका संबंधी दोनों स्तरों पर ऑनलाइन पठन बोध को पूर्वसूचक रूप से निर्देशित कर सकती है, जिसका सापेक्ष प्रभाव विभिन्न मापों में इस प्रकार भिन्न होता है कि यह कुछ संदर्भों में सांख्यिकीय कारकों की तुलना में स्कैनपाथ और तंत्रिका गतिविधि को अधिक मजबूती से संचालित करती है, लेकिन अन्य संदर्भों में सामान्यतः लेक्सिकल सरप्राइज़ल (lexical surprisal) से कमजोर होती है।
यह शोध पत्र तर्क देता है कि मैकेनिस्टिक इंटरप्रिटेबिलिटी (mechanistic interpretability) मौलिक रूप से एक सांख्यिकीय अनुमान समस्या है जो कॉज़ल मीडिएशन स्कोर्स (causal mediation scores) में उच्च अंतर्निहित विचरण (high intrinsic variance) से ग्रस्त है, जिसके कारण सर्किट डिस्कवरी पाइपलाइन अस्थिर और नाजुक परिणाम उत्पन्न करती हैं जो कठोर सांख्यिकीय सुदृढ़ता और स्थिरता रिपोर्टिंग की ओर बदलाव को आवश्यक बनाती हैं।
यह शोध पत्र PLSemanticsBench को प्रस्तुत करता है ताकि यह प्रदर्शित किया जा सके कि समकालीन लार्ज लैंग्वेज मॉडल्स मुख्य रूप से प्रदान की गई औपचारिक प्रोग्राम सिमेंटिक्स (program semantics) पर व्यवस्थित रूप से आधारित होने के बजाय पूर्व-प्रशिक्षित लेक्सिकल एसोसिएशंस (lexical associations) पर निर्भर करते हैं, जैसा कि सिमेंटिक म्यूटेशन (semantic mutations), नवीन प्रतीकों (novel symbols) और लंबे निष्पादन ट्रेसेस (execution traces) का सामना करने पर उनके प्रदर्शन में आई तीव्र गिरावट से सिद्ध होता है।
SAC-Opt एक बैकवर्ड-गाइडेड करेक्शन फ्रेमवर्क पेश करता है जो उत्पन्न कोड को मूल समस्या के अर्थों (semantics) के साथ पुनरावृत्ति से संरेखित करके LLM-आधारित अनुकूलन मॉडलिंग को बढ़ाता है, जिससे बिना किसी अतिरिक्त प्रशिक्षण के मॉडल की सटीकता और मजबूती में महत्वपूर्ण सुधार होता है।
यह शोध पत्र ईयरफ़ोन से स्केलेबल, कार्य-अज्ञेय (task-agnostic) इलेक्ट्रोफिजियोलॉजिकल निगरानी को सक्षम करने के लिए फिजियोलॉजी-इन्फॉर्म्ड मल्टी-बैंड टोकेनाइजेशन (PiMT) और डेलीसेंस (DailySense) डेटासेट प्रस्तुत करता है, जो अत्याधुनिक तरीकों की तुलना में विविध कार्यों में बेहतर प्रदर्शन प्रदर्शित करता है।