26236 पेपर
यह शोध पत्र SOCKET को प्रस्तुत करता है, जो एक नवीन स्पार्स अटेंशन मैकेनिज्म है जो कुशल, मेमोरी-लाइट टोकन चयन को सक्षम करने के लिए पारंपरिक हार्ड लोकैलिटी-सेंसिटिव हैशिंग को एक संभाव्य सॉफ्ट कोलिजन कर्नेल से बदल देता है और लॉन्ग-कॉन्टेक्स्ट इन्फरेंस के दौरान FlashAttention की तुलना में 1.5x तक अधिक थ्रूपुट प्राप्त करता है।
यह शोध पत्र एक नवीन डायनेमिक क्लिपिंग तंत्र का प्रस्ताव देकर 'वेरिफिएबल रिवार्ड्स के साथ रीइन्फोर्समेंट लर्निंग' (RLVR) में एंट्रॉपी कोलैप्स को संबोधित करता है, जो पॉलिसी एंट्रॉपी को सटीक रूप से नियंत्रित करने के लिए एक ग्रेडिएंट-प्रिजर्विंग परिप्रेक्ष्य का लाभ उठाता है, जिससे समयपूर्व अति-आत्मविश्वास को रोका जा सके और एलएलएम (LLM) तर्क प्रदर्शन को बढ़ाया जा सके।
यह शोध पत्र प्रदर्शित करता है कि पदानुक्रमित (hierarchical) थ्योरम प्रूवर, शिक्षक ट्रेस (teacher traces) से पुन: प्रयोज्य प्रमाण संरचनाओं को सीखकर, फ्लैट प्रूवर्स की तुलना में सैंपल कॉम्प्लेक्सिटी (sample complexity) में घातीय कमी प्राप्त करते हैं, जिससे वे फ्लैटेड निरूपणों (flattened representations) में निहित कठिन उप-प्रमाणों की अनावश्यक पुनरावृत्ति से बच जाते हैं।
यह शोध पत्र AMORTIX को प्रस्तुत करता है, जो एक एमोर्टाइज्ड (amortized) ग्राफ ट्रांसफार्मर मॉडल है जो विविध संरचनात्मक बाधाओं और प्रारंभिक संरचनाओं में प्रशिक्षण को स्थिर करने के लिए ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (Group Relative Policy Optimization) का उपयोग करके, बिना इन्फरेंस-टाइम ओरकल कॉल्स के, कुशल, सिंगल-पास मॉलिक्यूलर ऑप्टिमाइजेशन प्राप्त करता है।
यह शोध पत्र SCOPE का प्रस्ताव करता है, जो एक संरचित आत्मविश्वास-जागरूक प्रोटोटाइप-निर्देशित ढांचा है जो कोहोर्ट-स्तरीय पर्यवेक्षण और एक हल्के प्रोटोटाइप-कंडीशन्ड एडैप्टर के माध्यम से ओवरकॉन्फिडेंट मिसकैलिब्रेशन और रिप्रेजेंटेशन ड्रिफ्ट को कम करके लेबल-सीमित सेटिंग्स में EEG फाउंडेशन मॉडल्स को अनुकूलित करने की चुनौतियों का समाधान करता है।
यह शोध पत्र MAST को प्रस्तुत करता है, जो एक स्थानिक रूप से अनुकूलन योग्य मल्टी-फिडेलिटी सरोगेट मॉडलिंग पद्धति है जो दूरी-आधारित वेटिंग और स्पष्ट विसंगति मॉडलिंग के माध्यम से कम-फिडेलिटी डेटा को विरल उच्च-फिडेलिटी अवलोकनों के साथ गतिशील रूप से मिश्रित करती है, जिससे मौजूदा अत्याधुनिक तकनीकों की तुलना में सीमित कम्प्यूटेशनल बजट के तहत बेहतर सुदृढ़ता और सटीकता प्राप्त होती है।
यह शोध पत्र प्रकट करता है कि INT4 क्वांटाइजेशन मशीन अनलर्निंग में विस्मृत डेटा को व्यवस्थित रूप से पुनर्स्थापित करता है, जो भूलने (forgetting), उपयोगिता (utility) और सुदृढ़ता (robustness) के बीच एक मौलिक व्यापार-संतुलन (trade-off) को उजागर करता है, और उच्च एवं निम्न-परिशुद्धता (high- and low-precision) दोनों तरह के परिनियोजन में स्थिर अनलर्निंग प्राप्त करने के लिए DURABLEUN-SAF पद्धति का प्रस्ताव करता है।
यह शोध पत्र विजन-लैंग्वेज मॉडल्स में मशीन अनलर्निंग के मूल्यांकन के लिए मानक मेट्रिक्स के बीच महत्वपूर्ण विसंगतियों को प्रकट करने वाला पहला व्यवस्थित विश्लेषण प्रस्तुत करता है, और स्थिर एवं विश्वसनीय रैंकिंग प्रदान करने के लिए ओरैकल सहसंबंधों (oracle correlations) से व्युत्पन्न एक सिद्धांतपूर्ण यूनिफाइड क्वालिटी स्कोर (UQS) का प्रस्ताव करता है।
यह अध्ययन 33 फ्रंटियर एलएलएम (LLMs) के माध्यम से 1,500 एमएमएलयू (MMLU) मदों का विश्लेषण करता है ताकि यह प्रकट किया जा सके कि समग्र मेटाकॉग्निटिव मॉनिटरिंग स्कोर महत्वपूर्ण, स्थिर डोमेन-स्तरीय विविधताओं को छिपा देते हैं, जिसमें प्रयुक्त ज्ञान (applied knowledge) की निगरानी करना औपचारिक तर्क या प्राकृतिक विज्ञान की तुलना में विश्वसनीय रूप से आसान है, जिससे मॉडल परिनियोजन से पहले डोमेन-विशिष्ट स्क्रीनिंग के उपयोग का समर्थन मिलता है।
RateQuant रेट-डिस्टॉर्शन थ्योरी का लाभ उठाकर, प्रति-क्वांटाइज़र डिस्टॉर्शन मॉडल को फिट करने और क्लोज्ड-फॉर्म रिवर्स वॉटरफिलिंग के माध्यम से इष्टतम बिट आवंटन के लिए समाधान निकालकर, नैव (naive) मिक्स्ड-प्रिसिजन KV कैश क्वांटाइजेशन की कमियों को दूर करता है, जिससे न्यूनतम कैलिब्रेशन ओवरहेड के साथ महत्वपूर्ण परप्लेक्सिटी (perplexity) में कमी आती है।