24832 पेपर
यह शोध पत्र मॉडल-टू-डेटा (M2D) डिस्टिलेशन पेश करता है, जो एक ऐसा ढांचा है जो मॉडल की जटिलता को डेटा स्पेस में स्थानांतरित करके ग्राफ न्यूरल नेटवर्क की पारदर्शिता को बढ़ाता है, जिससे सरल स्टूडेंट मॉडल शिक्षक के प्रदर्शन से मेल खा सकते हैं और साथ ही वास्तुशिल्प लाभों और अंतर्निहित तंत्रों को सीधे निरीक्षण योग्य बनाते हैं।
यह शोधपत्र एक एकीकृत माप-सैद्धांतिक (measure-theoretic) ढांचा प्रस्तुत करता है जो यह प्रकट करता है कि डिफ्यूजन मॉडल, स्कोर-आधारित जनरेटिव मॉडल और फ्लो मैचिंग, एक संदर्भ वितरण को डेटा वितरण तक ले जाने के लिए समय-निर्भर वेक्टर क्षेत्रों को सीखने के उदाहरण हैं, जिससे उनकी साझा गणितीय संरचना, व्यावहारिक ट्रेडऑफ़ और सैद्धांतिक संबंधों को स्पष्ट किया जा सके।
यह शोध पत्र ProtSent को पेश करता है, जो एक कंट्रास्टिव फाइन-ट्यूनिंग फ्रेमवर्क है जो प्रोटीन लैंग्वेज मॉडल्स को सामान्य-उद्देश्य वाले एम्बेडिंग मॉडल्स में अनुकूलित करता है, जिससे कार्य-विशिष्ट पर्यवेक्षण की आवश्यकता के बिना प्रोटीन कार्य, संरचना और विकास से संबंधित 23 डाउनस्ट्रीम कार्यों में प्रदर्शन में महत्वपूर्ण सुधार होता है।
यह शोध पत्र सैद्धांतिक रूप से प्रदर्शित करता है कि DDIM की नियत प्रकृति (deterministic nature) इसे गॉसियन मिश्रण लक्ष्यों (Gaussian mixture targets) के बीच फंसने और मतिभ्रम (hallucinate) करने के लिए मजबूर करती है, जबकि DDPM की स्टोकेस्टिसिटी (stochasticity) इसे इन क्षेत्रों से बाहर निकलने में सक्षम बनाती है, एक ऐसा निष्कर्ष जो यह सुझाव देता है कि DDIM की नमूना गुणवत्ता (sampling quality) में सुधार करने के लिए स्टोकेस्टिक चरणों को शामिल किया जा सकता है।
यह शोध पत्र शैडो मास्क डिस्टिलेशन (Shadow Mask Distillation) प्रस्तुत करता है, जो एक नवीन विधि है जिसे सुदृढीकरण अधिगम (Reinforcement Learning) पोस्ट-ट्रेनिंग के दौरान रोलआउट चरण में KV कैश संपीड़न (KV cache compression) लागू करने से होने वाले गंभीर ऑफ-पॉलिसी बायस (off-policy bias) और ग्रेडिएंट वेरिएंस को कम करने के लिए डिज़ाइन किया गया है, जिससे लंबी-संदर्भ तर्क (long-context reasoning) कार्यों के लिए मेमोरी-कुशल संरेखण सक्षम होता है।
यह शोध पत्र यह तर्क देता है कि जनरेटिव एआई के मजबूत बेंचमार्क प्रदर्शन और इसकी सीमित वास्तविक दुनिया की उपयोगिता के बीच का अंतर त्रुटिपूर्ण मूल्यांकन प्रथाओं से उत्पन्न होता है, और विशिष्ट परिनियोजन संदर्भों के भीतर मानव परिणामों में निरंतर सुधार को मापने की ओर मूल्यांकन को स्थानांतरित करने के लिए SCU-GenEval ढांचे का प्रस्ताव करता है।
यह शोध पत्र 3D मेडिकल इमेजिंग के लिए क्रॉस-डोमेन नॉलेज ट्रांसफर में एसिमेट्रिक, पावर-लॉ स्केलिंग व्यवहारों की पहचान करता है और एक ट्रांसफर-अवेयर डेटा एलोकेशन रणनीति प्रस्तावित करता है जो मानक आनुपातिक सैंपलिंग की तुलना में काफी मजबूत रिप्रेजेंटेशन प्राप्त करने के लिए प्रीट्रेनिंग मिश्रण को अनुकूलित करती है।
यह शोध पत्र क्रिस्टोफेल-डीपीएस (Christoffel-DPS) प्रस्तुत करता है, जो क्रिस्टोफेल फलन (Christoffel function) पर आधारित एक वितरण-मुक्त इष्टतम सेंसर प्लेसमेंट ढांचा है जो डिफ्यूजन पोस्टीरियर सैंपलिंग का उपयोग करके मनमाने, गैर-गाऊसी (non-Gaussian) वितरणों के लिए प्रभावी अवस्था अनुमान (state estimation) को सक्षम बनाता है, और कम-सेंसर-बजट वाली स्थितियों में शास्त्रीय गाऊसी-आधारित विधियों और मौजूदा जनरेटिव-मॉडल दृष्टिकोणों दोनों से बेहतर प्रदर्शन करता है।
यह शोध पत्र क्लोज्ड लार्ज लैंग्वेज मॉडल्स के लिए पहले प्रुवेबल (provable) डेटासेट वॉटरमार्किंग पद्धति को प्रस्तुत करता है, जो यादृच्छिक रूप से चयनित शब्द युग्मों की सह-उपस्थिति आवृत्ति बढ़ाकर पता लगाने योग्य संकेत सम्मिलित करता है और सफलतापूर्वक उन्हें मॉडल आउटपुट में पहचान लेता है, भले ही वॉटरमार्क किया गया डेटा फाइन-ट्यूनिंग टोकन का केवल 1% हो, और यह सब डेटासेट की उपयोगिता को बनाए रखते हुए किया जाता है।
यह शोध पत्र i.i.d. और मार्कोवियन सैंपलिंग व्यवस्थाओं के तहत एसिंक्रोनस, सिंगल-स्टेट कैटेगोरिकल टेम्पोरल-डिफरेंस लर्निंग के लिए नॉन-एसिम्प्टोटिक अभिसरण गारंटी स्थापित करके मौजूदा फाइनाइट-इटरेशन थ्योरी और व्यावहारिक कार्यान्वयन के बीच के अंतर को पाटता है।