24528 पेपर
यह शोधपत्र फ्री एनर्जी मैनिफोल्ड (FEM) को प्रस्तुत करता है, जो एक स्कोर-प्रशिक्षित कंडीशनल एनर्जी मॉडल है जो कंडीशनल फैक्टर्स को एनर्जी लैंडस्केप के रूप में निरूपित करके और मल्टीमॉडल एवं कंपोजिशनल सेटिंग्स में पोस्टीरियर सटीकता में उल्लेखनीय सुधार करने के लिए वैली रेगुलराइजेशन के माध्यम से "मोड-ब्रिज आर्टिफैक्ट" को संबोधित करके हाइब्रिड बायेसियन नेटवर्क में प्रभावी इन्फरेंस को सक्षम बनाता है।
यह शोध पत्र 'मेटाकॉग्निटिव प्रोब' (Metacognitive Probe) को प्रस्तुत करता है, जो एक पांच-कार्य वाला नैदानिक उपकरण है जो पांच अलग-अलग आयामों में LLMs के आत्मविश्वास व्यवहारों का मूल्यांकन करता है ताकि अति-आत्मविश्वास के उन छिपे हुए क्षेत्रों को उजागर किया जा सके जिन्हें एग्रीगेट बेंचमार्क छोड़ देते हैं, जो एक मॉडल की कार्य-विशिष्ट अंशांकन (calibration) और उसकी क्रॉस-टास्क कठिनाई भविष्यवाणी क्षमताओं के बीच 47-अंकों का महत्वपूर्ण विचलन प्रदर्शित करता है।
यह शोध पत्र एक्सप्लोरेशन-ड्रिवन ऑप्टिमाइजेशन (EDO) का प्रस्ताव करता है, जो एक नवीन ढांचा है जो iDPO और GRPO जैसी पुनरावृत्ति पोस्ट-ट्रेनिंग विधियों में विविधता-बढ़ाने वाले एक्सप्लोरेशन उद्देश्यों को एकीकृत करता है ताकि इन्फरेंस-टाइम सैंपलिंग विविधता और RL-प्रेरित वितरण शार्पनिंग के बीच के तनाव को हल किया जा सके, जिससे इन-डिस्ट्रीब्यूशन और आउट-ऑफ-डिस्ट्रीब्यूशन दोनों कार्यों में LLM रीजनिंग प्रदर्शन और स्थिरता को बढ़ाया जा सके।
यह शोध पत्र एक एकीकृत ढांचे का प्रस्ताव करके उन कमजोर रूप से पर्यवेक्षित शिक्षण (weakly supervised learning) परिवेशों में मल्टीकैलिब्रेशन की चुनौती को संबोधित करता है जहाँ स्वच्छ लेबल उपलब्ध नहीं होते हैं, जो मल्टीकैलिब्रेशन त्रुटियों का अनुमान लगाने और उन्हें सुधारने के लिए कंटैमिनेशन-मैट्रिक्स रिराइट्स (contamination-matrix rewrites) को विटनेस-आधारित बाधाओं (witness-based constraints) के साथ जोड़ता है, और साथ ही 'वीक-लेबल मल्टीकैलिब्रेशन बूस्ट' (WLMC) नामक एक जेनेरिक पोस्ट-हॉक एल्गोरिदम प्रदान करता है जो परिमित-नमूना गारंटी (finite-sample guarantees) देता है।
यह शोधपत्र UFO का प्रस्ताव करता है, जो एक एकीकृत प्रवाह-उन्मुख (flow-oriented) ढांचा है जो रिप्ले के लिए प्रवाह-आधारित जनरेटिव मॉडलिंग और दूषित ज्ञान को कम करने के लिए इंस्टेंस-स्तरीय विश्वसनीयता स्कोरिंग का उपयोग करके निरंतर ग्राफ लर्निंग में कैटास्ट्रोफिक फॉरगेटिंग और शोरयुक्त सुपरविजन की दोहरी चुनौतियों का समाधान करता है।
यह शोध पत्र प्रदर्शित करता है कि ट्रांसफॉर्मर्स को निरंतर लेटेंट कॉन्टेक्स्ट टोकन (continuous latent context tokens) से सुसज्जित करने से वे वेटेड मेजॉरिटी (weighted majority) और क्यू-लर्निंग (Q-learning) जैसे ऑनलाइन लर्निंग एल्गोरिदम को कुशलतापूर्वक लागू करने में सक्षम होते हैं, जिससे छोटे मॉडल दीर्घकालिक अनुकूली कार्यों (long-term adaptive tasks) पर काफी बड़े एलएलएम (LLMs) से बेहतर प्रदर्शन कर पाते हैं।
यह शोध पत्र की-वैल्यू मीन्स (KVM) को प्रस्तुत करता है, जो अटेंशन के लिए एक नवीन ब्लॉक-रिकरेंस तंत्र है जो ट्रांसफॉर्मर्स और लीनियर RNNs के लाभों को एकीकृत करता है, जिससे मानक ऑपरेशन्स और न्यूनतम अतिरिक्त पैरामीटर्स का उपयोग करते हुए कुशल, चंक-पैरेललाइज़ेबल ट्रेनिंग के साथ लचीले स्टेट ग्रोथ और सबक्वाड्रेटिक प्रीफिल टाइम को सक्षम बनाया जा सके।
यह शोध पत्र टॉप क्वार्क टैगिंग के लिए एक पार्टिकल ट्रांसफॉर्मर पर मैकेनिस्टिक इंटरप्रिटेबिलिटी तकनीकों को लागू करता है, जिससे यह प्रकट होता है कि एक स्पार्स सिक्स-हेड सर्किट, 2-प्रोंग सबस्ट्रक्चर की पहचान करने के लिए एक एनर्जी कोरिलेटर-आधारित प्रतिनिधित्व का उपयोग करके पूर्ण मॉडल के प्रदर्शन को प्रभावी रूप से दोहराता है, जिससे यह सिद्ध होता है कि ग्रेडिएंट डिसेंट बिना किसी पर्यवेक्षण के जेट भौतिकी में भौतिक रूप से सार्थक विशेषताओं को पुनः खोज सकता है।
यह शोध पत्र यह प्रदर्शित करता है कि न्यूरल नेटवर्क परतों में स्पार्स ऑटोएनकोडर्स (sparse autoencoders) के स्केलिंग लॉ सार्वभौमिक नहीं हैं, बल्कि वे सक्रियता मैनिफोल्ड (activation manifold) की अंतर्निहित ज्यामितीय संरचना, विशेष रूप से इसकी वक्रता (curvature) और आंतरिक आयाम (intrinsic dimension) द्वारा निर्धारित होते हैं, जो विभिन्न मॉडलों में एक हस्तांतरणीय (transferable) तरीके से पुनर्निर्माण त्रुटि फर्श (reconstruction error floors) और चौड़ाई घातांकों (width exponents) को पूर्वानुमानित रूप से निर्देशित करते हैं।
यह शोधपत्र "ऑब्जर्वेबल वासरस्टीन डिस्टेंस" (observable Wasserstein distance) प्रस्तुत करता है, जो एक गणनात्मक रूप से कुशल ढांचा है जो 1-लिप्सचिट्ज़ ऑब्जर्वेबल्स के माध्यम से प्रायिकता मापों को वास्तविक रेखा पर प्रक्षेपित करके वासरस्टीन दूरी पर निचली सीमाएं व्युत्पन्न करता है, जो एक सैद्धांतिक पदानुक्रम स्थापित करता है जो माप के समर्थन के मेट्रिक कविंग आयाम के आधार पर अद्वितीय रिकवरी की गारंटी देता है।