23911 पेपर
यह शोध पत्र DiDi-Merging को प्रस्तुत करता है, जो एक कॉम्पैक्ट डायनेमिक मॉडल मर्जिंग फ्रेमवर्क है जो विजन, लैंग्वेज और मल्टीमॉडल कार्यों में मौजूदा तरीकों की तुलना में काफी कम मापदंडों के साथ बेहतर सटीकता-दक्षता ट्रेड-ऑफ प्राप्त करने के लिए डिफरेंशिएबल रैंक एलोकेशन और डेटा-फ्री रिफाइनमेंट का उपयोग करता है।
यह शोध पत्र समाधान की नियमितता (regularity) को इनपुट विवक्तीकरण (discretization) से जोड़ने वाले विश्लेषणात्मक बंधों को व्युत्पन्न करके और 1D और 2D बेंचमार्क पर अनुभवजन्य प्रयोगों के माध्यम से इन निष्कर्षों को मान्य करके, स्टेट स्पेस मॉडल-आधारित और फूरियर न्यूरल ऑपरेटर्स के विवक्तीकरण त्रुटि और स्थिरता के लिए सैद्धांतिक गारंटी स्थापित करता है।
यह शोध पत्र HTell को प्रस्तुत करता है, जो एक तेज़ और हल्का, डेटा-मुक्त बैकडोर डिटेक्शन मेथड है जो रैंडम लेटेंट प्रोब्स के तहत प्रेडिक्शन हेड में असामान्य रिस्पॉन्स कंसन्ट्रेशन का विश्लेषण करके समझौता किए गए मॉडल्स की पहचान करता है, और बिना किसी वास्तविक डेटा, ग्रेडिएंट्स या इटरेटिव ऑप्टिमाइज़ेशन के उच्च सटीकता और दक्षता प्राप्त करता है।
यह शोध पत्र तर्क देता है कि वर्तमान ट्रांसफॉर्मर आर्किटेक्चर मौलिक रूप से "वर्णनात्मक अनिश्चितता" (descriptive uncertainty) तक सीमित हैं जो अनुकूलन योग्य व्यवहार को संचालित करने में विफल रहती है क्योंकि उनकी टोकन-स्तरीय एंट्रॉपी कार्य की सटीकता के बावजूद सांख्यिकीय रूप से अपरिवर्तनीय बनी रहती है, जो यह सिद्ध करता है कि वास्तविक "नियामक अनिश्चितता" (regulatory uncertainty) के लिए एपिस्टेमिक त्रुटि और ऊष्मप्रवैगिकी ऊर्जा लागत के बीच एक भौतिक जुड़ाव की आवश्यकता होती है जो विच्छेदित डिजिटल प्रणालियों में अनुपस्थित है।
यह शोध पत्र WILDFIRE-FM को प्रस्तुत करता है, जो विशेष रूप से जंगल की आग की भविष्यवाणी के लिए प्रीट्रेन किया गया पहला फाउंडेशन मॉडल है, और एक फिक्स्ड-कॉन्ट्रैक्ट मूल्यांकन ढांचे का प्रस्ताव करता है ताकि यह प्रदर्शित किया जा सके कि वाइल्डफायर ट्रांसफर निष्कर्ष मूल्यांकन डिजाइन और कार्य निर्माण के प्रति अत्यधिक संवेदनशील होते हैं।
यह शोध पत्र ऑब्सेसिव एक्सपीरियंस पॉइज़निंग (OEP) को प्रस्तुत करता है, जो एक लो-प्रिविलेज ब्लैक-बॉक्स हमला है जो मेमोरी-ऑगमेंटेड LLM एजेंटों को स्थानीय रूप से सही लेकिन गैर-हस्तांतरणीय अनुभवों के साथ समझौता करके बाधित करता है, जिनमें गंभीर काल्पनिक परिणाम शामिल होते हैं, जिससे एजेंट स्व-विकास के दौरान हानिकारक नियमों में अत्यधिक सामान्यीकरण करने लगते हैं।
हाइपरग्राफफॉर्मर (HypergraphFormer) एक नवीन, एलएलएम-आधारित (LLM-based) दृष्टिकोण है जो हाइपरग्राफ निरूपणों को सीखकर संपादन योग्य फ्लोर प्लान तैयार करता है, जो सटीकता, डेटा दक्षता और मनमाने सीमाओं के अनुकूलनशीलता में अत्याधुनिक तरीकों से बेहतर प्रदर्शन करता है।
यह शोध पत्र टेनरी वेट क्वांटाइजेशन (ternary weight quantization) के प्रति प्री-नॉर्म ट्रांसफॉर्मर्स की मजबूती के लिए एक ज्यामितीय स्पष्टीकरण प्रदान करता है, जो यह प्रदर्शित करता है कि ReLU-प्रेरित दिशात्मक विषमता (directional asymmetry) और RMSNorm के प्रोजेक्शन गुणों का संयोजन साइन-फ्लिप गड़बड़ी (sign-flip perturbations) को परिमाण गड़बड़ी (magnitude perturbations) की तुलना में काफी अधिक आउटपुट ऊर्जा उत्पन्न करने के लिए प्रेरित करता है, जबकि वास्तविक मॉडलों में आउटलायर फीचर्स इस सैद्धांतिक सीमा से विचलन के लिए उत्तरदायी होते हैं।
यह शोधपत्र O'Prior को प्रस्तुत करता है, जो एक कंपोजिशनल रियलिज्म प्रायर (compositional realism prior) है जो अत्यधिक आदर्शित सिंथेटिक प्रीट्रेनिंग डिस्ट्रीब्यूशन के स्थान पर एक अधिक जटिल, स्ट्रेस-टेस्टेड जनरेशन प्रोटोकॉल का उपयोग करके टैबुलर फाउंडेशन मॉडल्स की सटीकता और मजबूती को महत्वपूर्ण रूप से बढ़ाता है, जो वास्तविक दुनिया के डेटा की अनियमितताओं की बेहतर नकल करता है।
यह शोध पत्र TabQL का प्रस्ताव करता है, जो एक सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जो शून्य या कुछ-शॉट (zero- or few-shot) Q-वैल्यू अनुमान के माध्यम से तीव्र, इन-कॉन्टेक्स्ट अनुकूलन और बेहतर सैंपल दक्षता को सक्षम करने के लिए डीप Q-लर्निंग में पैरामीट्रिक Q-नेटवर्क को एक टैबुलर फाउंडेशन मॉडल से बदल देता है।