28152 पेपर
यह शोधपत्र FedMITR का प्रस्ताव करता है, जो विजन ट्रांसफॉर्मर्स के लिए एक नवीन वन-शॉट फेडरेटेड लर्निंग फ्रेमवर्क है जो सिमेंटिक रूप से संरेखित सिंथेटिक डेटा उत्पन्न करने के लिए स्पार्स मॉडल इनवर्जन को टोकन रीलेबलिंग रणनीति के साथ जोड़ता है ताकि प्रेडिक्शन रोबस्टनेस को बढ़ाया जा सके, जिससे नॉन-IID सेटिंग्स के तहत बेहतर प्रदर्शन और कड़े जनरलाइजेशन बाउंड्स प्राप्त किए जा सकें।
यह शोध पत्र रीइन्फोर्स एडजॉइंट मैचिंग (RAM) को प्रस्तुत करता है, जो डिफ्यूजन और फ्लो-मैचिंग मॉडल्स के लिए एक स्केलेबल आरएल (RL) पोस्ट-ट्रेनिंग विधि है, जो एक सरल कंसिस्टेंसी लॉस (consistency loss) व्युत्पन्न करके रिवॉर्ड्स के साथ बेहतर अलाइनमेंट प्राप्त करता है जो बिना किसी महंगी एसडीई (SDE) रोलआउट्स, बैकवर्ड एडजॉइंट स्वीप्स, या रिवॉर्ड ग्रेडिएंट्स के प्रीट्रेनिंग लक्ष्यों को ठीक करता है।
यह शोध पत्र यह सिद्ध करके कि सभी गैर-वैश्विक लघुतम (non-global minimizers) अस्थिर हैं, सीमित गैर-रैखिकता (bounded nonlinearities) और वेक्टर आउटपुट वेट्स वाले वाइड शैलो न्यूरल नेटवर्क के लिए निरंतर-समय ग्रेडिएंट डिसेंट की वैश्विक अभिसरण (global convergence) को स्थापित करता है, जिससे ReLU और स्केलर-आउटपुट सिग्मॉइड नेटवर्क पर पिछले परिणामों का विस्तार मल्टी-हेड अटेंशन लेयर्स को सम्मिलित करने के लिए किया गया है।
यह शोधपत्र DLR-Lock को प्रस्तुत करता है, जो एक रक्षा तंत्र है जो मानक MLPs को डीप लो-रैंक रेसिडुअल नेटवर्क्स से बदलकर ओपन-वेट लैंग्वेज मॉडल्स को अनधिकृत फाइन-ट्यूनिंग से सुरक्षित करता है, जो मॉडल के प्रदर्शन को बनाए रखते हुए अनुकूलनशील हमलावरों के लिए निषेधात्मक मेमोरी और ऑप्टिमाइज़ेशन बाधाएं उत्पन्न करने हेतु इन्फरेंस-ट्रेनिंग विषमता (inference-training asymmetry) का लाभ उठाता है।
यह शोध पत्र "रिप्रेजेंटेशन डिग्रेडेशन" (प्रतिनिधित्व क्षरण) को डिफ्यूजन मॉडल्स में एक प्रमुख प्रशिक्षण बाधा के रूप में पहचानता है जो बेमेल लक्ष्य रिकवरेबिलिटी (पुनर्प्राप्ति क्षमता) के कारण होता है और एलुसिडेटेड रिप्रेजेंटेशन डिफ्यूजन (ERD) का प्रस्ताव करता है, जो एक प्लग-एंड-प्ले फ्रेमवर्क है जो सीखने को स्थिर करने और अभिसरण (कन्वर्जेंस) को तेज करने के लिए अनुकूलन प्रयास को गतिशील रूप से पुनर्वितरित करता है।
यह शोध पत्र एक स्थिर, एकल-नेटवर्क अनुकूलतम परिवहन (ऑप्टिमल ट्रांसपोर्ट) ढांचे को प्रस्तुत करता है जो कांतोरोविच द्वैत (केंटोरोविच ड्यूल) को एक प्रॉक्सिमल फिक्स्ड-पॉइंट समस्या के रूप में पुनर्गठित करता है, जो प्रतिकूल अनुकूलन (एडवर्सरियल ऑप्टिमाइज़ेशन) या निहित अवकलन (इम्प्लिसिट डिफरेंशिएशन) के बिना कुशल प्रशिक्षण को सक्षम बनाता है और विविध उच्च-आयामी कार्यों में परिवहन मानचित्रों को सटीक रूप से पुनर्प्राप्त करता है।
यह शोध पत्र रैखिक साहचर्य स्मृतियों (linear associative memories) की भंडारण क्षमता को सटीक रूप से चित्रित करने के लिए सांख्यिकीय भौतिकी का उपयोग करता है, जो यह प्रदर्शित करता है कि मूल प्रणाली के समकक्ष एक विच्छेदित मॉडल (decoupled model) तक साहचर्यों को संग्रहीत कर सकता है और यह प्रकट करता है कि इष्टतम समाधान संरेखणों को व्यापक रूप से बढ़ाने के बजाय प्रतिस्पर्धी आउटपुट की चरम-मान सीमा (extreme-value threshold) से ठीक ऊपर सही स्कोर बढ़ाकर इसे प्राप्त करते हैं।
यह शोध पत्र Muown को पेश करता है, जो एक ड्रॉप-इन ऑप्टिमाइज़र है जो Muon में स्पेक्ट्रल नॉर्म ड्रिफ्ट (spectral norm drift) को रोकने के लिए स्पष्ट रूप से रो-मैग्निट्यूड वेक्टर्स (row-magnitude vectors) को नियंत्रित करता है, जिससे प्रशिक्षण स्थिरता में सुधार होता है, वेट डिके (weight decay) के प्रति संवेदनशीलता कम होती है, और विभिन्न मॉडल स्केल्स पर बेहतर परप्लेक्सिटी (perplexity) प्राप्त होती है।
यह शोध पत्र PhyGround को प्रस्तुत करता है, जो 250 क्यूरेटेड प्रॉम्प्ट्स, एक 13-नियम वर्गीकरण (taxonomy) और एक विशेषीकृत VLM जज (PhyJudge-9B) से युक्त एक व्यापक बेंचमार्क है, जो बड़े पैमाने पर, गुणवत्ता-नियंत्रित मानव एनोटेशन के माध्यम से जनरेटिव वीडियो मॉडल्स की भौतिक तर्क क्षमताओं का कठोरता से मूल्यांकन और निदान करता है।
यह शोध पत्र एक स्व-पर्यवेक्षित (self-supervised) बेंचमार्क प्रस्तुत करता है जो यह मूल्यांकन करता है कि क्या गणितीय पाठ के निरंतरता के मॉडल-जनित पूर्वानुमान, केवल संदर्भ-आधारित नियंत्रणों की तुलना में संभावना स्कोर (likelihood scores) में सुधार करते हैं, जो प्रभावी रूप से मॉडल की क्षमताओं और तर्क संबंधी प्रयासों को अलग करता है तथा स्कोरिंग तंत्रों में संभावित शॉर्टकट कमजोरियों की पहचान करता है।