19863 पेपर
NeuronSoup एक नवीन न्यूरल आर्किटेक्चर है जो बैकप्रोपैगेशन के बिना एक एसिंक्रोनस, साझा-न्यूरॉन टेम्पोरल ग्राफ को विकसित करने के लिए एक जेनेटिक एल्गोरिदम का उपयोग करता है, जो डायनेमिक सिग्नल इंटरफेरेंस और एडेप्टिव कंप्यूटेशन डेप्थ को सक्षम करके MNIST पर 85.9% सटीकता प्राप्त करता है।
यह शोध पत्र एक इन-प्लेस टोकेनाइज़र एक्सपेंशन विधि प्रस्तुत करता है जो एक बहुभाषी कॉर्पस पर BPE मर्ज को जारी रखकर और सब-टोकेन एवरेजिंग के माध्यम से नए एम्बेडिंग्स को इनिशियलाइज़ करके प्री-ट्रेंड LLMs को अपग्रेड करती है, जिससे मॉडल की गुणवत्ता से समझौता किए बिना हिंदी और वियतनामी जैसी भाषाओं के लिए टोकन काउंट को काफी कम किया जाता है और डिकोड गति में सुधार किया जाता है।
यह शोध पत्र गतिशील नवीन दृश्य संश्लेषण (डायनेमिक नोवेल व्यू सिंथेसिस) के लिए एक ऑनलाइन न्यूरल स्पेस-टाइम मेमोरी फ्रेमवर्क प्रस्तावित करता है जो आवधिक मेमोरी अपडेट को प्रति-फ्रेम अनुप्रयोग से अलग करके वास्तविक समय का प्रदर्शन प्राप्त करता है, जिससे सख्त कम्प्यूटेशनल बाधाओं के साथ निरंतर दीर्घकालिक पुनर्निर्माण को संतुलित किया जा सके।
यह शोध पत्र MeanFlowNFT प्रस्तुत करता है, जो एक नवीन ढांचा है जो एक प्रेरित तात्कालिक-वेग भविष्यवक्ता (induced instantaneous-velocity predictor) का निर्माण करके फॉरवर्ड-प्रोसेस सुदृढीकरण शिक्षण (Reinforcement Learning) विधि DiffusionNFT को MeanFlow जनरेटरों के अनुकूल बनाता है, जिससे कुशल रिवॉर्ड ऑप्टिमाइज़ेशन सक्षम होता है जो तेज़ कुछ-चरणों वाले सैंपलिंग को सुरक्षित रखते हुए इमेज और वीडियो जनरेशन में मौजूदा कुछ-चरणों और यहाँ तक कि बहु-चरण RL-ट्यून्ड मॉडल्स से भी काफी बेहतर प्रदर्शन करता है।
यह शोध पत्र RoboTTT को प्रस्तुत करता है, जो एक रोबोट नीति ढांचा (robot policy framework) है जो विज़ुओमोटर संदर्भ (visuomotor context) को 8,000 टाइमस्टेप्स तक स्केल करने के लिए टेस्ट-टाइम ट्रेनिंग (Test-Time Training) को एकीकृत करता है, जिससे वन-शॉट इमिटेशन (one-shot imitation), ऑन-द-फ्लाई सुधार, और लॉन्ग-होरिज़ॉन कार्यों पर काफी बेहतर प्रदर्शन सक्षम होता है, जो इन्फरेंस लेटेंसी (inference latency) को बढ़ाए बिना फास्ट वेट्स (fast weights) में हिस्ट्री को कंप्रेस करता है।
डार्विनएलएम (DarwinLM) एक प्रशिक्षण-जागरूक संरचित प्रूनिंग विधि है जो इष्टतम गैर-समान मॉडल उप-संरचनाओं की पहचान करने के लिए हल्के मल्टीस्टेप प्रशिक्षण के साथ एक विकासवादी खोज प्रक्रिया का उपयोग करती है, जिससे विभिन्न बड़े भाषा मॉडलों पर अत्याधुनिक प्रदर्शन प्राप्त होता है और संपीड़न के बाद प्रशिक्षण डेटा की आवश्यकताओं में महत्वपूर्ण रूप से कमी आती है।
यह शोधपत्र विविक्तकरण त्रुटियों (discretization errors) और अनुमान पूर्वाग्रहों (estimation biases) जैसी चुनौतियों पर विजय प्राप्त करके निरंतर -Max कॉम्बिनेटोरियल मल्टी-आर्म्ड बैंडिट्स के लिए पहला सबलीनियर रिग्रेट बाउंड प्राप्त करने हेतु DCK-UCB एल्गोरिदम प्रस्तुत करता है, साथ ही एक MLE-Exp एल्गोरिदम का भी प्रस्ताव करता है जो एक्सपोनेंशियल वितरणों के लिए निकट-इष्टतम रिग्रेट प्राप्त करता है।
NSNQuant एक कैलिब्रेशन-मुक्त वेक्टर क्वांटाइजेशन विधि है जो LLM KV कैश के लिए एक अद्वितीय "नॉर्मलाइज़-शिफ्ट-नॉर्मलाइज़" ट्रांसफॉर्मेशन को हैडामार्ड ट्रांसफॉर्म के साथ जोड़कर उपयोग करती है ताकि टोकन वितरण को एक मानक सामान्य वितरण के साथ संरेखित किया जा सके, जिससे बिना किसी कैलिब्रेशन डेटासेट पर निर्भर रहे मजबूत लो-बिट कंप्रेशन और 3x तक थ्रूपुट लाभ प्राप्त होता है।
यह शोध पत्र गहरे भारित बहुपद सन्निकटों (deep weighted polynomial approximants) के एक वर्ग को प्रस्तुत करता है जो असीमित डोमेन पर असममित वृद्धि और क्षय वाले फलनों को कॉम्पैक्ट अंतराल सन्निकटन में बदलकर प्रभावी ढंग से संभालते हैं, और एक स्थिर फाइन-ट्यूनिंग अनुकूलन रणनीति प्रस्तावित करता है जो यूनिफॉर्म और त्रुटियों दोनों में मानक बहुपद बेसलाइन से बेहतर प्रदर्शन करती है।
यह शोध पत्र AODL का प्रस्ताव करता है, जो मल्टी-डिक्शनरी लर्निंग के लिए एक अल्टरनेटिंग कॉनवेक्स ऑप्टिमाइज़ेशन फ्रेमवर्क है जो मौजूदा बेसलाइनों की तुलना में काफी अधिक स्पार्स समाधान और बेहतर डेटा पुनर्निर्माण प्राप्त करने के लिए एक लो-रैंक स्पार्स कोडिंग मॉडल का उपयोग करता है, साथ ही सामान्यीकरण के लिए आवश्यक सैंपल कॉम्प्लेक्सिटी पर सैद्धांतिक सीमाएं भी प्रदान करता है।