26236 पेपर
यह शोध पत्र यह पहचान करता है कि वेट ग्रेडिएंट्स (Wgrad) का क्वांटाइजेशन बड़े भाषा मॉडलों के फुल-पाइपलाइन FP4 प्रशिक्षण में अस्थिरता का प्राथमिक कारण है और यह प्रदर्शित करता है कि अभिसरण स्थिरता (convergence stability) को बहाल करने के लिए स्टोकेस्टिक राउंडिंग के बजाय डिटरमिनिस्टिक हेडामार्ड रोटेशन आवश्यक हैं।
यह शोध पत्र CryoSampler को प्रस्तुत करता है, जो एक नवीन विधि है जो सटीक परमाणु संरचनात्मक एंसेम्बल (conformational ensembles) उत्पन्न करने के लिए टेस्ट-टाइम सुपरविजन के माध्यम से कच्चे क्रायो-ईएम (cryo-EM) डेंसिटी मैप्स पर सीधे Boltz-2 जैसे प्री-ट्रेंड स्टैटिक स्ट्रक्चर प्रेडिक्शन मॉडल्स को फाइन-ट्यून करता है, जिससे पारंपरिक दो-चरणीय मॉडल बिल्डिंग को दरकिनार किया जा सके और इन-डोमेन सामान्यीकरण (in-domain generalization) की क्षमता प्रदर्शित की जा सके।
यह शोध पत्र रेट और वर्गीकरण बाधाओं के तहत स्रोत-पुनर्निर्माण युग्मन शक्ति को अधिकतम करने वाले सीमित न्यूनतम एंट्रॉपी युग्मन पर आधारित एक क्रॉस-डोमेन लॉस्य संपीड़न ढांचे का प्रस्ताव करता है, जो सैद्धांतिक विश्लेषण और तंत्रिका प्रयोगों दोनों के माध्यम से यह प्रदर्शित करता है कि उच्च दर वर्गीकरण सटीकता और पुनर्निर्माण गुणवत्ता में सुधार करती है।
यह शोध पत्र सिंथेटिक डेटा उत्पन्न करने के लिए उपयोग किए जाने वाले AI-प्रेरित नियम को सुधारकर विश्वसनीय AI-सूचित प्रायों (priors) के निर्माण के लिए एक रूपरेखा प्रस्तावित करता है, जिससे मॉडल त्रुटि प्रसार को कम किया जा सके, पूर्वाग्रह को घटाया जा सके और डेटा-सीमित सेटिंग्स में अनुमान प्रदर्शन में सुधार किया जा सके।
यह शोधपत्र फ्री एनर्जी मैनिफोल्ड (FEM) को प्रस्तुत करता है, जो एक स्कोर-प्रशिक्षित कंडीशनल एनर्जी मॉडल है जो कंडीशनल फैक्टर्स को एनर्जी लैंडस्केप के रूप में निरूपित करके और मल्टीमॉडल एवं कंपोजिशनल सेटिंग्स में पोस्टीरियर सटीकता में उल्लेखनीय सुधार करने के लिए वैली रेगुलराइजेशन के माध्यम से "मोड-ब्रिज आर्टिफैक्ट" को संबोधित करके हाइब्रिड बायेसियन नेटवर्क में प्रभावी इन्फरेंस को सक्षम बनाता है।
यह शोध पत्र 'मेटाकॉग्निटिव प्रोब' (Metacognitive Probe) को प्रस्तुत करता है, जो एक पांच-कार्य वाला नैदानिक उपकरण है जो पांच अलग-अलग आयामों में LLMs के आत्मविश्वास व्यवहारों का मूल्यांकन करता है ताकि अति-आत्मविश्वास के उन छिपे हुए क्षेत्रों को उजागर किया जा सके जिन्हें एग्रीगेट बेंचमार्क छोड़ देते हैं, जो एक मॉडल की कार्य-विशिष्ट अंशांकन (calibration) और उसकी क्रॉस-टास्क कठिनाई भविष्यवाणी क्षमताओं के बीच 47-अंकों का महत्वपूर्ण विचलन प्रदर्शित करता है।
यह शोध पत्र एक्सप्लोरेशन-ड्रिवन ऑप्टिमाइजेशन (EDO) का प्रस्ताव करता है, जो एक नवीन ढांचा है जो iDPO और GRPO जैसी पुनरावृत्ति पोस्ट-ट्रेनिंग विधियों में विविधता-बढ़ाने वाले एक्सप्लोरेशन उद्देश्यों को एकीकृत करता है ताकि इन्फरेंस-टाइम सैंपलिंग विविधता और RL-प्रेरित वितरण शार्पनिंग के बीच के तनाव को हल किया जा सके, जिससे इन-डिस्ट्रीब्यूशन और आउट-ऑफ-डिस्ट्रीब्यूशन दोनों कार्यों में LLM रीजनिंग प्रदर्शन और स्थिरता को बढ़ाया जा सके।
यह शोध पत्र एक एकीकृत ढांचे का प्रस्ताव करके उन कमजोर रूप से पर्यवेक्षित शिक्षण (weakly supervised learning) परिवेशों में मल्टीकैलिब्रेशन की चुनौती को संबोधित करता है जहाँ स्वच्छ लेबल उपलब्ध नहीं होते हैं, जो मल्टीकैलिब्रेशन त्रुटियों का अनुमान लगाने और उन्हें सुधारने के लिए कंटैमिनेशन-मैट्रिक्स रिराइट्स (contamination-matrix rewrites) को विटनेस-आधारित बाधाओं (witness-based constraints) के साथ जोड़ता है, और साथ ही 'वीक-लेबल मल्टीकैलिब्रेशन बूस्ट' (WLMC) नामक एक जेनेरिक पोस्ट-हॉक एल्गोरिदम प्रदान करता है जो परिमित-नमूना गारंटी (finite-sample guarantees) देता है।
यह शोधपत्र UFO का प्रस्ताव करता है, जो एक एकीकृत प्रवाह-उन्मुख (flow-oriented) ढांचा है जो रिप्ले के लिए प्रवाह-आधारित जनरेटिव मॉडलिंग और दूषित ज्ञान को कम करने के लिए इंस्टेंस-स्तरीय विश्वसनीयता स्कोरिंग का उपयोग करके निरंतर ग्राफ लर्निंग में कैटास्ट्रोफिक फॉरगेटिंग और शोरयुक्त सुपरविजन की दोहरी चुनौतियों का समाधान करता है।
यह शोध पत्र प्रदर्शित करता है कि ट्रांसफॉर्मर्स को निरंतर लेटेंट कॉन्टेक्स्ट टोकन (continuous latent context tokens) से सुसज्जित करने से वे वेटेड मेजॉरिटी (weighted majority) और क्यू-लर्निंग (Q-learning) जैसे ऑनलाइन लर्निंग एल्गोरिदम को कुशलतापूर्वक लागू करने में सक्षम होते हैं, जिससे छोटे मॉडल दीर्घकालिक अनुकूली कार्यों (long-term adaptive tasks) पर काफी बड़े एलएलएम (LLMs) से बेहतर प्रदर्शन कर पाते हैं।