28152 पेपर
यह शोध पत्र SymADiT को प्रस्तुत करता है, जो ऑल-एटम डिफ्यूजन ट्रांसफॉर्मर का एक सममिति-जागरूक (symmetry-aware) संस्करण है, जो लेटेंट स्पेस में विकऑफ स्थितियों (Wyckoff positions) का लाभ उठाकर स्थिर, यथार्थवादी क्रिस्टलीय सामग्रियाँ उत्पन्न करता है जो उनकी स्पेस ग्रुप सममितियों का कड़ाई से पालन करती हैं।
यह शोध पत्र प्रस्तावित करता है कि बैलेंस्ड एडम (balanced Adam) में मोमेंटम पैरामीटर को एक निश्चित स्थिरांक के बजाय एक मेमोरी-स्केल वेरिएबल के रूप में माना जाना चाहिए, जिसमें एक रिफ्रेश नियम () पेश किया गया है जो ऑप्टिमाइज़र के सांख्यिकीय मेमोरी क्षितिज (statistical memory horizon) को प्रभावी शिक्षण क्षितिज (effective learning horizon) के साथ संरेखित करके 11 विजन और लैंग्वेज प्रयोगों में प्रशिक्षण की मजबूती में महत्वपूर्ण सुधार करता है।
यह शोध पत्र पोस्ट-रिकरेंट मॉड्यूल (PRM) को प्रस्तुत करता है, जो रिकरेंट न्यूरल नेटवर्क में एकीकृत एक नवीन परत है, जो P300-आधारित ब्रेन-कंप्यूटर इंटरफेस प्रदर्शन में 9% का महत्वपूर्ण सुधार करती है और मॉडल के निर्णयों को स्थापित न्यूरोफिज़ियोलॉजिकल पैटर्न के साथ संरेखित करने के लिए दोहरी वैश्विक और स्थानीय व्याख्यात्मकता प्रदान करती है।
यह शोध पत्र फेज-कोहेरेंट ट्रांसफार्मर (PCT) को प्रस्तुत करता है, जो एक नवीन आर्किटेक्चर है जो फेज सूचना को संरक्षित करने के लिए मानक सॉफ्टमैक्स अटेंशन को L2-नॉर्मलाइज्ड कॉम्प्लेक्स सिमिलरिटीज़ पर एक स्मूथ, एलिमेंट-इंडिपेंडेंट गेटिंग मैकेनिज्म से बदल देता है, जिससे वास्तविक-मान वाले और मौजूदा कॉम्प्लेक्स-वैल्यूड बेसलाइन्स दोनों की तुलना में विविध लॉन्ग-रेंज और कॉम्प्लेक्स-वैल्यूड कार्यों में बेहतर सामान्यीकरण और प्रदर्शन प्राप्त होता है।
यह शोध पत्र PFN-TS का प्रस्ताव करता है, जो एक थॉम्पसन सैंपलिंग एल्गोरिदम है जो शोर वाले भविष्य कहनेवाला वितरणों (predictive distributions) को सबसैम्पल्ड सेंट्रल लिमिट थ्योरम के माध्यम से माध्य-पुरस्कार नमूनों (mean-reward samples) में परिवर्तित करके, एकल फॉरवर्ड पास में बेयसियन पोस्टीरियर्स (Bayesian posteriors) को अनुमानित करने के लिए प्रायर-डेटा फिटेड नेटवर्क्स (Prior-Data Fitted Networks) का लाभ उठाता है, जिससे विभिन्न कॉन्टेक्स्टुअल बैंडिट बेंचमार्क पर मजबूत अनुभवजन्य प्रदर्शन और सैद्धांतिक रिग्रेट बाउंड्स प्राप्त होते हैं।
jNO एक एकीकृत, JAX-नेटिव लाइब्रेरी है जो डेटा-संचालित और भौतिकी-सूचित (physics-informed) दृष्टिकोणों को एक एकल प्रतीकात्मक ट्रेसिंग सिस्टम (symbolic tracing system) में एकीकृत करके न्यूरल ऑपरेटर्स और फाउंडेशन मॉडल्स के प्रशिक्षण को सुव्यवस्थित करती है, जिससे बिना किसी कोड पुनर्गठन के ऑपरेटर रिग्रेशन, मेश-अवेयर रेसिडुअल इवैल्यूएशन और PDE-प्रतिबंधित अनुकूलन (PDE-constrained optimization) के बीच निर्बाध संक्रमण सक्षम होता है।
यह शोध पत्र OUIDecay को प्रस्तुत करता है, जो CNNs के लिए एक अनुकूली वेट डिके शेड्यूलर (adaptive weight decay scheduler) है, जो एक्टिवेशन-आधारित ओवरफिटिंग-अंडरफिटिंग संकेतकों (Overfitting-Underfitting Indicators) का उपयोग करके ऑनलाइन रूप से लेयर-विशिष्ट रेगुलराइजेशन स्ट्रेंथ को गतिशील रूप से समायोजित करता है, और बिना वैलिडेशन डेटा की आवश्यकता के कई आर्किटेक्चर और डेटासेट्स पर बेहतर वैलिडेशन प्रदर्शन प्राप्त करता है।
यह शोध पत्र चक्रों वाले उच्च-आयामी रैखिक गैर-गाऊसी मॉडलों से निम्न-आयामी कारणत्मक DAGs सीखने के लिए एक विधि प्रस्तावित करता है, जो यह प्रदर्शित करता है कि ऐसे सारांश पहचान योग्य, प्रेक्षण तुल्यता वर्गों (observational equivalence classes) में अपरिवर्तनीय और स्पष्ट नमूना जटिलता सीमाओं के साथ घनीय समय (cubic time) में गणनीय हैं।
यह शोध पत्र डेंस एसोसिएटिव मेमोरीज (Dense Associative Memories) के लिए हाइपरपैरामीटर ट्रांसफर विधियों की कमी को संबोधित करता है, जो साझा भार (shared weights) और अद्वितीय सक्रियण फलनों (unique activation functions) द्वारा जटिल बनाई गई एक कार्य के लिए छोटे से बड़े मॉडलों तक हाइपरपैरामीटरों को सफलतापूर्वक स्केल करने हेतु स्पष्ट सैद्धांतिक नुस्खे व्युत्पन्न करता है, और इन निष्कर्षों को मजबूत अनुभवजन्य सहमति के साथ मान्य करता है।
यह शोध पत्र लॉस-इक्वेटेड SAM (LE-SAM) का प्रस्ताव करता है, जो एक नवीन अनुकूलन विधि है जो शार्पनेस-अवेयर मिनिमाइजेशन के निश्चित पैरामीटर-स्पेस त्रिज्या को एक निश्चित लॉस-स्पेस बजट से बदल देती है ताकि फ्लैट मिनिमा की वक्रता-आधारित प्रकृति के साथ बेहतर तालमेल बिठाया जा सके, जिससे विविध बेंचमार्क पर अत्याधुनिक सामान्यीकरण प्रदर्शन प्राप्त किया जा सके।