24528 पेपर
यह शोध पत्र प्रस्तावित करता है कि बैलेंस्ड एडम (balanced Adam) में मोमेंटम पैरामीटर को एक निश्चित स्थिरांक के बजाय एक मेमोरी-स्केल वेरिएबल के रूप में माना जाना चाहिए, जिसमें एक रिफ्रेश नियम () पेश किया गया है जो ऑप्टिमाइज़र के सांख्यिकीय मेमोरी क्षितिज (statistical memory horizon) को प्रभावी शिक्षण क्षितिज (effective learning horizon) के साथ संरेखित करके 11 विजन और लैंग्वेज प्रयोगों में प्रशिक्षण की मजबूती में महत्वपूर्ण सुधार करता है।
यह शोध पत्र पोस्ट-रिकरेंट मॉड्यूल (PRM) को प्रस्तुत करता है, जो रिकरेंट न्यूरल नेटवर्क में एकीकृत एक नवीन परत है, जो P300-आधारित ब्रेन-कंप्यूटर इंटरफेस प्रदर्शन में 9% का महत्वपूर्ण सुधार करती है और मॉडल के निर्णयों को स्थापित न्यूरोफिज़ियोलॉजिकल पैटर्न के साथ संरेखित करने के लिए दोहरी वैश्विक और स्थानीय व्याख्यात्मकता प्रदान करती है।
यह शोध पत्र फेज-कोहेरेंट ट्रांसफार्मर (PCT) को प्रस्तुत करता है, जो एक नवीन आर्किटेक्चर है जो फेज सूचना को संरक्षित करने के लिए मानक सॉफ्टमैक्स अटेंशन को L2-नॉर्मलाइज्ड कॉम्प्लेक्स सिमिलरिटीज़ पर एक स्मूथ, एलिमेंट-इंडिपेंडेंट गेटिंग मैकेनिज्म से बदल देता है, जिससे वास्तविक-मान वाले और मौजूदा कॉम्प्लेक्स-वैल्यूड बेसलाइन्स दोनों की तुलना में विविध लॉन्ग-रेंज और कॉम्प्लेक्स-वैल्यूड कार्यों में बेहतर सामान्यीकरण और प्रदर्शन प्राप्त होता है।
यह शोध पत्र PFN-TS का प्रस्ताव करता है, जो एक थॉम्पसन सैंपलिंग एल्गोरिदम है जो शोर वाले भविष्य कहनेवाला वितरणों (predictive distributions) को सबसैम्पल्ड सेंट्रल लिमिट थ्योरम के माध्यम से माध्य-पुरस्कार नमूनों (mean-reward samples) में परिवर्तित करके, एकल फॉरवर्ड पास में बेयसियन पोस्टीरियर्स (Bayesian posteriors) को अनुमानित करने के लिए प्रायर-डेटा फिटेड नेटवर्क्स (Prior-Data Fitted Networks) का लाभ उठाता है, जिससे विभिन्न कॉन्टेक्स्टुअल बैंडिट बेंचमार्क पर मजबूत अनुभवजन्य प्रदर्शन और सैद्धांतिक रिग्रेट बाउंड्स प्राप्त होते हैं।
jNO एक एकीकृत, JAX-नेटिव लाइब्रेरी है जो डेटा-संचालित और भौतिकी-सूचित (physics-informed) दृष्टिकोणों को एक एकल प्रतीकात्मक ट्रेसिंग सिस्टम (symbolic tracing system) में एकीकृत करके न्यूरल ऑपरेटर्स और फाउंडेशन मॉडल्स के प्रशिक्षण को सुव्यवस्थित करती है, जिससे बिना किसी कोड पुनर्गठन के ऑपरेटर रिग्रेशन, मेश-अवेयर रेसिडुअल इवैल्यूएशन और PDE-प्रतिबंधित अनुकूलन (PDE-constrained optimization) के बीच निर्बाध संक्रमण सक्षम होता है।
यह शोध पत्र OUIDecay को प्रस्तुत करता है, जो CNNs के लिए एक अनुकूली वेट डिके शेड्यूलर (adaptive weight decay scheduler) है, जो एक्टिवेशन-आधारित ओवरफिटिंग-अंडरफिटिंग संकेतकों (Overfitting-Underfitting Indicators) का उपयोग करके ऑनलाइन रूप से लेयर-विशिष्ट रेगुलराइजेशन स्ट्रेंथ को गतिशील रूप से समायोजित करता है, और बिना वैलिडेशन डेटा की आवश्यकता के कई आर्किटेक्चर और डेटासेट्स पर बेहतर वैलिडेशन प्रदर्शन प्राप्त करता है।
यह शोध पत्र चक्रों वाले उच्च-आयामी रैखिक गैर-गाऊसी मॉडलों से निम्न-आयामी कारणत्मक DAGs सीखने के लिए एक विधि प्रस्तावित करता है, जो यह प्रदर्शित करता है कि ऐसे सारांश पहचान योग्य, प्रेक्षण तुल्यता वर्गों (observational equivalence classes) में अपरिवर्तनीय और स्पष्ट नमूना जटिलता सीमाओं के साथ घनीय समय (cubic time) में गणनीय हैं।
यह शोध पत्र डेंस एसोसिएटिव मेमोरीज (Dense Associative Memories) के लिए हाइपरपैरामीटर ट्रांसफर विधियों की कमी को संबोधित करता है, जो साझा भार (shared weights) और अद्वितीय सक्रियण फलनों (unique activation functions) द्वारा जटिल बनाई गई एक कार्य के लिए छोटे से बड़े मॉडलों तक हाइपरपैरामीटरों को सफलतापूर्वक स्केल करने हेतु स्पष्ट सैद्धांतिक नुस्खे व्युत्पन्न करता है, और इन निष्कर्षों को मजबूत अनुभवजन्य सहमति के साथ मान्य करता है।
यह शोध पत्र लॉस-इक्वेटेड SAM (LE-SAM) का प्रस्ताव करता है, जो एक नवीन अनुकूलन विधि है जो शार्पनेस-अवेयर मिनिमाइजेशन के निश्चित पैरामीटर-स्पेस त्रिज्या को एक निश्चित लॉस-स्पेस बजट से बदल देती है ताकि फ्लैट मिनिमा की वक्रता-आधारित प्रकृति के साथ बेहतर तालमेल बिठाया जा सके, जिससे विविध बेंचमार्क पर अत्याधुनिक सामान्यीकरण प्रदर्शन प्राप्त किया जा सके।
यह शोध पत्र TRACE का प्रस्ताव करता है, जो एक टोकन-रूटेड सेल्फ-डिस्टिलेशन विधि है जो सत्यापन योग्य पुरस्कारों (verifiable rewards) के साथ सुदृढीकरण शिक्षण (reinforcement learning) के दौरान एनोटेटर द्वारा चिह्नित महत्वपूर्ण स्पैन (critical spans) पर चुनिंदा रूप से KL डाइवर्जेंस लागू करती है, जिससे ग्रेडिएंट बर्बादी और विशेषाधिकार प्राप्त सूचना रिसाव (privileged-information leakage) को कम किया जाता है, जिससे मानक GRPO और फुल-रिस्पॉन्स सेल्फ-डिस्टिलेशन बेसलाइनों की तुलना में लॉन्ग-हॉरइजन मैथ रीजनिंग और आउट-ऑफ-डिस्ट्रीब्यूशन जनरलाइजेशन में महत्वपूर्ण सुधार होता है।