26875 पेपर
यह शोध पत्र "कर्नेल-ग्रेडिएंट ड्रिफ्टिंग" (kernel-gradient drifting) को प्रस्तुत करता है, जो एक वन-स्टेप जनरेटिव फ्रेमवर्क है जो निश्चित विस्थापन (fixed displacements) को कर्नेल-प्रेरित ग्रेडिएंट दिशाओं से बदलकर मानक ड्रिफ्टिंग मॉडलों को मनमाने कर्नेल और गैर-यूक्लिडियन स्थानों के लिए सामान्यीकृत करता है, जिससे प्रीट्रेन्ड डिफ्यूजन मॉडलों से डिस्टिलेशन की आवश्यकता के बिना विविध प्रकार के डेटा पर अत्याधुनिक प्रदर्शन प्राप्त किया जा सके।
AdaPaD एक एडेप्टिव पैरेलल डिफ्लेशन फ्रेमवर्क पेश करता है जो PEFT के लिए, जो स्व-सुधारात्मक त्रुटि अभिसरण (self-correcting error convergence) और गतिशील रैंक खोज (dynamic rank discovery) के साथ रैंक-1 घटकों को एक साथ प्रशिक्षित करता है, मौजूदा LoRA विधियों की तुलना में काफी छोटे एडेप्टर आकारों के साथ प्रतिस्पर्धी प्रदर्शन प्राप्त करता है।
यह शोधपत्र FedMITR का प्रस्ताव करता है, जो विजन ट्रांसफॉर्मर्स के लिए एक नवीन वन-शॉट फेडरेटेड लर्निंग फ्रेमवर्क है जो सिमेंटिक रूप से संरेखित सिंथेटिक डेटा उत्पन्न करने के लिए स्पार्स मॉडल इनवर्जन को टोकन रीलेबलिंग रणनीति के साथ जोड़ता है ताकि प्रेडिक्शन रोबस्टनेस को बढ़ाया जा सके, जिससे नॉन-IID सेटिंग्स के तहत बेहतर प्रदर्शन और कड़े जनरलाइजेशन बाउंड्स प्राप्त किए जा सकें।
यह शोध पत्र रीइन्फोर्स एडजॉइंट मैचिंग (RAM) को प्रस्तुत करता है, जो डिफ्यूजन और फ्लो-मैचिंग मॉडल्स के लिए एक स्केलेबल आरएल (RL) पोस्ट-ट्रेनिंग विधि है, जो एक सरल कंसिस्टेंसी लॉस (consistency loss) व्युत्पन्न करके रिवॉर्ड्स के साथ बेहतर अलाइनमेंट प्राप्त करता है जो बिना किसी महंगी एसडीई (SDE) रोलआउट्स, बैकवर्ड एडजॉइंट स्वीप्स, या रिवॉर्ड ग्रेडिएंट्स के प्रीट्रेनिंग लक्ष्यों को ठीक करता है।
यह शोध पत्र यह सिद्ध करके कि सभी गैर-वैश्विक लघुतम (non-global minimizers) अस्थिर हैं, सीमित गैर-रैखिकता (bounded nonlinearities) और वेक्टर आउटपुट वेट्स वाले वाइड शैलो न्यूरल नेटवर्क के लिए निरंतर-समय ग्रेडिएंट डिसेंट की वैश्विक अभिसरण (global convergence) को स्थापित करता है, जिससे ReLU और स्केलर-आउटपुट सिग्मॉइड नेटवर्क पर पिछले परिणामों का विस्तार मल्टी-हेड अटेंशन लेयर्स को सम्मिलित करने के लिए किया गया है।
यह शोधपत्र DLR-Lock को प्रस्तुत करता है, जो एक रक्षा तंत्र है जो मानक MLPs को डीप लो-रैंक रेसिडुअल नेटवर्क्स से बदलकर ओपन-वेट लैंग्वेज मॉडल्स को अनधिकृत फाइन-ट्यूनिंग से सुरक्षित करता है, जो मॉडल के प्रदर्शन को बनाए रखते हुए अनुकूलनशील हमलावरों के लिए निषेधात्मक मेमोरी और ऑप्टिमाइज़ेशन बाधाएं उत्पन्न करने हेतु इन्फरेंस-ट्रेनिंग विषमता (inference-training asymmetry) का लाभ उठाता है।
यह शोध पत्र "रिप्रेजेंटेशन डिग्रेडेशन" (प्रतिनिधित्व क्षरण) को डिफ्यूजन मॉडल्स में एक प्रमुख प्रशिक्षण बाधा के रूप में पहचानता है जो बेमेल लक्ष्य रिकवरेबिलिटी (पुनर्प्राप्ति क्षमता) के कारण होता है और एलुसिडेटेड रिप्रेजेंटेशन डिफ्यूजन (ERD) का प्रस्ताव करता है, जो एक प्लग-एंड-प्ले फ्रेमवर्क है जो सीखने को स्थिर करने और अभिसरण (कन्वर्जेंस) को तेज करने के लिए अनुकूलन प्रयास को गतिशील रूप से पुनर्वितरित करता है।
यह शोध पत्र एक स्थिर, एकल-नेटवर्क अनुकूलतम परिवहन (ऑप्टिमल ट्रांसपोर्ट) ढांचे को प्रस्तुत करता है जो कांतोरोविच द्वैत (केंटोरोविच ड्यूल) को एक प्रॉक्सिमल फिक्स्ड-पॉइंट समस्या के रूप में पुनर्गठित करता है, जो प्रतिकूल अनुकूलन (एडवर्सरियल ऑप्टिमाइज़ेशन) या निहित अवकलन (इम्प्लिसिट डिफरेंशिएशन) के बिना कुशल प्रशिक्षण को सक्षम बनाता है और विविध उच्च-आयामी कार्यों में परिवहन मानचित्रों को सटीक रूप से पुनर्प्राप्त करता है।
यह शोध पत्र रैखिक साहचर्य स्मृतियों (linear associative memories) की भंडारण क्षमता को सटीक रूप से चित्रित करने के लिए सांख्यिकीय भौतिकी का उपयोग करता है, जो यह प्रदर्शित करता है कि मूल प्रणाली के समकक्ष एक विच्छेदित मॉडल (decoupled model) तक साहचर्यों को संग्रहीत कर सकता है और यह प्रकट करता है कि इष्टतम समाधान संरेखणों को व्यापक रूप से बढ़ाने के बजाय प्रतिस्पर्धी आउटपुट की चरम-मान सीमा (extreme-value threshold) से ठीक ऊपर सही स्कोर बढ़ाकर इसे प्राप्त करते हैं।
यह शोध पत्र Muown को पेश करता है, जो एक ड्रॉप-इन ऑप्टिमाइज़र है जो Muon में स्पेक्ट्रल नॉर्म ड्रिफ्ट (spectral norm drift) को रोकने के लिए स्पष्ट रूप से रो-मैग्निट्यूड वेक्टर्स (row-magnitude vectors) को नियंत्रित करता है, जिससे प्रशिक्षण स्थिरता में सुधार होता है, वेट डिके (weight decay) के प्रति संवेदनशीलता कम होती है, और विभिन्न मॉडल स्केल्स पर बेहतर परप्लेक्सिटी (perplexity) प्राप्त होती है।