26002 पेपर
यह शोध पत्र CaRE का प्रस्ताव करता है, जो 300 से अधिक कार्यों के अत्यंत लंबे टास्क अनुक्रमों को प्रभावी ढंग से संभालने के लिए एक द्वि-स्तरीय रूटिंग मिक्सचर-ऑफ-एक्सपर्ट्स तंत्र का उपयोग करने वाला एक स्केलेबल कॉन्टिनुअल लर्निंग फ्रेमवर्क है, जिसके साथ मूल्यांकन के लिए चुनौतीपूर्ण OmniBenchmark-1K डेटासेट का परिचय भी दिया गया है।
यह शोध पत्र प्रदर्शित करता है कि 2D दृश्यों में अनुक्रमिक टोकन की भविष्यवाणी करने के लिए प्रशिक्षित एक रिकरेंट न्यूरल नेटवर्क स्वतः ही पाथ इंटीग्रेशन और डायनेमिक ऑब्जेक्ट-लोकेशन बाइंडिंग तंत्र विकसित कर लेता है, जो लचीले इन-कॉन्टेक्स्ट लर्निंग और नवीन दृश्यों के सुदृढ़ पूर्वानुमान को सक्षम बनाता है।
यह शोध पत्र मैनिफोल्ड रैंडम फीचर्स (MRFs) को प्रस्तुत करता है, जो एक नवीन प्रतिमान (पैराडाइम) है जो सामान्य मैनिफोल्ड्स पर द्वि-चर (bi-variate) फलनों के धनात्मक, परिबद्ध (bounded), निरंतर सन्निकटन उत्पन्न करने के लिए मैनिफोल्ड विविक्तीकरण (discretization) और ग्राफ रैंडम फीचर्स का लाभ उठाता है, जबकि विविक्त (discrete) और निरंतर रैंडम फीचर्स के बीच एक गहरा सैद्धांतिक संबंध स्थापित करता है और लीनियर-अटेंशन ट्रांसफॉर्मर्स जैसे अनुप्रयोगों के लिए गॉसियन कर्नेल सन्निकटन को सरल बनाता है।
यह शोध पत्र अनुकूल नियंत्रण सिद्धांत (optimal control theory) का उपयोग करके रैंडम फीचर मॉडल्स के लिए इष्टतम लर्निंग रेट शेड्यूल्स को सैद्धांतिक रूप से व्युत्पन्न और मान्य करता है, जो विशिष्ट "आसान" और "कठिन" प्रशिक्षण चरणों की पहचान करता है जो यह निर्धारित करते हैं कि मानक बेंचमार्क की तुलना में पॉलीनोमियल डिके या वॉर्मअप-स्टेबल-डिके रणनीतियाँ बेहतर प्रदर्शन प्रदान करती हैं।
यह शोध पत्र SOCKET को प्रस्तुत करता है, जो एक नवीन स्पार्स अटेंशन मैकेनिज्म है जो कुशल, मेमोरी-लाइट टोकन चयन को सक्षम करने के लिए पारंपरिक हार्ड लोकैलिटी-सेंसिटिव हैशिंग को एक संभाव्य सॉफ्ट कोलिजन कर्नेल से बदल देता है और लॉन्ग-कॉन्टेक्स्ट इन्फरेंस के दौरान FlashAttention की तुलना में 1.5x तक अधिक थ्रूपुट प्राप्त करता है।
यह शोध पत्र एक नवीन डायनेमिक क्लिपिंग तंत्र का प्रस्ताव देकर 'वेरिफिएबल रिवार्ड्स के साथ रीइन्फोर्समेंट लर्निंग' (RLVR) में एंट्रॉपी कोलैप्स को संबोधित करता है, जो पॉलिसी एंट्रॉपी को सटीक रूप से नियंत्रित करने के लिए एक ग्रेडिएंट-प्रिजर्विंग परिप्रेक्ष्य का लाभ उठाता है, जिससे समयपूर्व अति-आत्मविश्वास को रोका जा सके और एलएलएम (LLM) तर्क प्रदर्शन को बढ़ाया जा सके।
यह शोध पत्र प्रदर्शित करता है कि पदानुक्रमित (hierarchical) थ्योरम प्रूवर, शिक्षक ट्रेस (teacher traces) से पुन: प्रयोज्य प्रमाण संरचनाओं को सीखकर, फ्लैट प्रूवर्स की तुलना में सैंपल कॉम्प्लेक्सिटी (sample complexity) में घातीय कमी प्राप्त करते हैं, जिससे वे फ्लैटेड निरूपणों (flattened representations) में निहित कठिन उप-प्रमाणों की अनावश्यक पुनरावृत्ति से बच जाते हैं।
यह शोध पत्र AMORTIX को प्रस्तुत करता है, जो एक एमोर्टाइज्ड (amortized) ग्राफ ट्रांसफार्मर मॉडल है जो विविध संरचनात्मक बाधाओं और प्रारंभिक संरचनाओं में प्रशिक्षण को स्थिर करने के लिए ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (Group Relative Policy Optimization) का उपयोग करके, बिना इन्फरेंस-टाइम ओरकल कॉल्स के, कुशल, सिंगल-पास मॉलिक्यूलर ऑप्टिमाइजेशन प्राप्त करता है।
यह शोध पत्र SCOPE का प्रस्ताव करता है, जो एक संरचित आत्मविश्वास-जागरूक प्रोटोटाइप-निर्देशित ढांचा है जो कोहोर्ट-स्तरीय पर्यवेक्षण और एक हल्के प्रोटोटाइप-कंडीशन्ड एडैप्टर के माध्यम से ओवरकॉन्फिडेंट मिसकैलिब्रेशन और रिप्रेजेंटेशन ड्रिफ्ट को कम करके लेबल-सीमित सेटिंग्स में EEG फाउंडेशन मॉडल्स को अनुकूलित करने की चुनौतियों का समाधान करता है।
यह शोध पत्र MAST को प्रस्तुत करता है, जो एक स्थानिक रूप से अनुकूलन योग्य मल्टी-फिडेलिटी सरोगेट मॉडलिंग पद्धति है जो दूरी-आधारित वेटिंग और स्पष्ट विसंगति मॉडलिंग के माध्यम से कम-फिडेलिटी डेटा को विरल उच्च-फिडेलिटी अवलोकनों के साथ गतिशील रूप से मिश्रित करती है, जिससे मौजूदा अत्याधुनिक तकनीकों की तुलना में सीमित कम्प्यूटेशनल बजट के तहत बेहतर सुदृढ़ता और सटीकता प्राप्त होती है।