652 पेपर
EvoMem एक LLM-संचालित विकासवादी कोड खोज (evolutionary code search) के लिए एक निरंतर स्मृति (persistent memory) आर्किटेक्चर है जो सफल उत्परिवर्तन रणनीतियों (mutation strategies) को संरचित, कार्य-जागरूक सलाह के रूप में कैप्चर और पुन: उपयोग करता है ताकि रेडंडेंट अन्वेषण को कम किया जा सके और विविध कार्यों में अनुकूलन (optimization) में सुधार किया जा सके।
यह शोध पत्र प्रदर्शित करता है कि गहरे बाइनरी और स्पार्स टर्नरी ReLU नेटवर्क प्रभावी रूप से -Hölder फलनों का सन्निकटन कर सकते हैं और एक लॉगरिदमिक कारक तक, -स्मूथ रिग्रेशन के लिए मिनिमैक्स प्रेडिक्शन रेट प्राप्त कर सकते हैं।
यह शोधपत्र प्रदर्शित करता है कि जैविक रूप से प्रशंसनीय हेवी-टेल्ड (heavy-tailed) सिनैप्टिक वेट्स वाले रिकरेंट न्यूरल नेटवर्क, परिमित-आकार के सिस्टम में अराजकता (chaos) की ओर एक धीमी, सुदृढ़ संक्रमण प्रदर्शित करते हैं, जो एक ऐसा ट्रेडऑफ प्रदान करता है जहाँ अराजकता के किनारे के पास बढ़ी हुई गतिशील स्थिरता, गॉसियन नेटवर्कों की तुलना में कम प्रभावी आयाम (dimensionality) की लागत पर प्राप्त होती है।
यह शोध पत्र प्रेडिक्टिव कोडिंग नेटवर्क्स की अनंत चौड़ाई और गहराई की सीमाओं की जांच करता है, जो प्रशिक्षण विस्फोटों को रोकने के लिए स्थिर पैरामीटराइजेशन को व्युत्पन्न करता है और यह प्रदर्शित करता है कि प्रेडिक्टिव कोडिंग ग्रेडिएंट्स चौड़े नेटवर्क्स में बैकप्रोपैगेशन ग्रेडिएंट्स की ओर अभिसरित होते हैं, जिससे वे गहरे आर्किटेक्चर के लिए एक जैविक रूप से प्रशंसनीय स्थानीय शिक्षण तंत्र प्रदान करते हैं।
यह शोधपत्र MOSAIC को प्रस्तुत करता है, जो एक ग्रिड-आधारित प्रतिकूल सह-विकास (adversarial co-evolution) ढांचा है जो एक क्वालिटी-डायवर्सिटी आर्काइव के भीतर विशेषज्ञ ह्यूरिस्टिक्स (specialist heuristics) और विभेदक समस्या उदाहरणों (discriminative problem instances) को एक साथ विकसित करने के लिए लार्ज लैंग्वेज मॉडल्स का लाभ उठाता है, जिससे स्केलर फीडबैक और निश्चित डेटासेट की सीमाओं को पार करते हुए मजबूत, पूरक ह्यूरिस्टिक पोर्टफोलियो का उत्पादन किया जा सके जो अत्याधुनिक स्वचालित डिजाइन विधियों से बेहतर प्रदर्शन करते हैं।
DarwinX एक जनसंख्या-आधारित प्राकृतिक चयन ढांचे को पेश करता है जो 'प्रिजर्व-एंड-एक्सटेंड' अनुबंध और पुनर्संयोजन (recombination) के माध्यम से LLM एजेंट हार्नेस को विकसित करता है, जिससे मौजूदा कार्यों पर प्रतिगमन (regression) किए बिना या मॉडल को पुन: प्रशिक्षित किए बिना, विविध बेंचमार्क में महत्वपूर्ण, सामान्यीकरण योग्य प्रदर्शन लाभ प्राप्त होता है।
यह शोध पत्र SU(d) सममित स्थानों (symmetric spaces) पर सामान्यीकृत हॉपफील्ड नेटवर्क (Generalized Hopfield Networks) प्रस्तुत करता है जो पारंपरिक वेक्टर नेटवर्क की तुलना में क्रिटिकल मेमोरी कैपेसिटी में लगभग एक क्रम के परिमाण (order-of-magnitude) की वृद्धि प्राप्त करने के लिए ली बीजगणितीय विधियों (Lie algebraic methods) का उपयोग करते हैं, साथ ही लैंडौ-लिफ़्श्विट्ज़-गिल्बर्ट डायनेमिक्स के माध्यम से सुदृढ़ रिकॉल प्रदर्शित करते हैं और क्वांटाइजेशन पर सचदेव-ये ग्लास मॉडल (Sachdev-Ye glassy models) के साथ संबंधों को प्रकट करते हैं।
यह शोध पत्र SuperNeuroMAT को प्रस्तुत करता है, जो एक ओपन-सोर्स, अत्यधिक कुशल पायथन-आधारित सिम्युलेटर है जो मानक हार्डवेयर पर तेज़, स्केलेबल स्पाइकिंग न्यूरल नेटवर्क सिमुलेशन को सक्षम करने के लिए एक नवीन मैट्रिक्स-आधारित दृष्टिकोण का उपयोग करता है, जो मशीन लर्निंग से लेकर सामान्य-उद्देश्यीय कंप्यूटिंग तक विविध अनुप्रयोगों का समर्थन करते हुए गति और मेमोरी उपयोग में मौजूदा उपकरणों से बेहतर प्रदर्शन करता है।
यह शोध पत्र स्पैटियली कॉन्टिग्युअस लोकल अटेंशन विद बाउंड्री कॉन्टिन्यूटी पाथवे (SCLA-BCP) को प्रस्तुत करता है, जो एक नवीन विधि है जो नॉन-ओवरलैपिंग लोकल अटेंशन को एक लाइटवेट क्रॉस-बाउंड्री पाथवे और एक पदानुक्रमित परिनियोजन रणनीति के साथ जोड़कर स्पाइकिंग ट्रांसफॉर्मर्स में स्थानिक स्थानीयता (स्पेशियल लोकैलिटी) की कमी को संबोधित करती है, जिससे न्यूनतम ओवरहेड के साथ विभिन्न दृश्य कार्यों में महत्वपूर्ण प्रदर्शन लाभ प्राप्त होता है।
यह शोध पत्र उनके प्रोग्रामेटिक कार्यान्वयन के हैल्डस्टैड वॉल्यूम (Halstead volume) और एंट्रॉपी (entropy) की गणना करके अनुकूलन समस्याओं (optimization problems) को अभिलक्षणित करने के एक नवीन दृष्टिकोण का प्रस्ताव करता है, जो यह प्रदर्शित करता है कि ये कोड-आधारित जटिलता माप एल्गोरिदम चयन के लिए प्रभावी, सैंपलिंग-मुक्त भविष्य कहनेवाला मेटा-विशेषताएं (predictive meta-features) के रूप में कार्य करते हैं।