24234 पेपर
यह शोध पत्र LightGP को प्रस्तुत करता है, जो गॉसियन प्रोसेस रिग्रेशन के लिए एक हल्का, डिपेंडेंसी-फ्री C++17 लाइब्रेरी है, जो विभिन्न डेटासेट आकारों की एक विस्तृत श्रृंखला में GPyTorch जैसे मौजूदा पायथन-आधारित फ्रेमवर्क की तुलना में महत्वपूर्ण गति प्राप्त करने के लिए अनुकूलित CPU, Metal और CUDA बैकएंड का लाभ उठाता है।
यह शोध पत्र DCFold को पेश करता है, जो एक सिंगल-स्टेप जनरेटिव मॉडल है जो एक नवीन ड्यूल कंसिस्टेंसी ट्रेनिंग फ्रेमवर्क और टेम्पोरल जियोडेसिक मैचिंग शेड्यूलर के माध्यम से इन्फरेंस को 15 गुना तेज करते हुए, प्रोटीन संरचना भविष्यवाणी और बाइंडर डिजाइन में AlphaFold3-स्तर की सटीकता प्राप्त करता है।
यह शोध पत्र यह स्थापित करता है कि जैकोबियन सपोर्ट पैटर्न (Jacobian support pattern) पर संरचनात्मक विरलता (structural sparsity) को लागू करके केवल एक एकल युग्मित एंकर नमूने (single paired anchor sample) के साथ डोमेन ट्रांसफर को पहचानने योग्य बनाया जा सकता है, जो एक स्केलेबल समाधान प्रदान करता है जिसके लिए पूर्व विधियों की तुलना में काफी कम पर्यवेक्षण की आवश्यकता होती है।
यह शोध पत्र AdaptiveLoad को प्रस्तुत करता है, जो एक अनुकूलन ढांचा (optimization framework) है जिसमें ड्यूल-कन्स्ट्रेंट लोड बैलेंसिंग और एक फ्यूज्ड LayerNorm-Modulate CUDA कर्नल शामिल है, जो परिवर्तनशील अनुक्रम लंबाई (variable sequence lengths) के कारण होने वाले कम्प्यूटेशनल असंतुलन को संबोधित करके बड़े पैमाने के वीडियो डिफ्यूजन ट्रांसफॉर्मर्स के लिए प्रशिक्षण दक्षता और GPU उपयोगिता को महत्वपूर्ण रूप से बढ़ाता है।
यह शोध पत्र OpenAI कार रेसिंग वातावरण के लिए डीप रिइन्फोर्समेंट लर्निंग में ट्रांसफर लर्निंग के अनुप्रयोग का अन्वेषण करता है, जो यह प्रदर्शित करता है कि मॉडल-आधारित दृष्टिकोण मॉडल-मुक्त दृष्टिकोणों से बेहतर प्रदर्शन करते हैं और एक स्रोत सर्किट से ज्ञान को स्थानांतरित करना अनुकूलित लक्ष्य वातावरणों में प्रदर्शन और सीखने की दक्षता को महत्वपूर्ण रूप से बढ़ाता है।
यह शोधपत्र InfoFlow प्रस्तुत करता है, जो एक सैद्धांतिक ढांचा है जो यह प्रदर्शित करता है कि मल्टी-लेयर ट्रांसफॉर्मर, उन संरचनात्मक तंत्रों का लाभ उठाकर कुछ रिट्रीवल कार्यों के लिए सिंगल-लेयर की तुलना में काफी अधिक कुशल सन्निकटन (approximation) प्राप्त करते हैं जो सॉफ्टमैक्स अटेंशन और युग्मित सूचना डिकोडिंग से जुड़ी घातांकीय पैरामीटर लागतों को दूर करते हैं।
यह शोध पत्र एक नई तकनीक प्रस्तुत करता है जो व्याकरणिक रूप से स्वाभाविक यूनिवर्सल एडवरसैरियल ट्रिगर्स (universal adversarial triggers) उत्पन्न करने के लिए पार्ट्स-ऑफ-स्पीच फ़िल्टरिंग और परप्लेक्सिटी-आधारित लॉस को जोड़ती है, जो सेंटीमेंट एनालिसिस सटीकता को नाटकीय रूप से कम करने में अपनी प्रभावशीलता प्रदर्शित करती है और साथ ही यह भी दिखाती है कि इन ट्रिगर्स के साथ एडवरसैरियल ट्रेनिंग मॉडल की मजबूती (robustness) में महत्वपूर्ण रूप से सुधार करती है।
यह शोध पत्र डिसेंटेंगल्ड विजुअल टोकेनाइजेशन (DiVT) का प्रस्ताव करता है, जो एक नवीन विधि है जो इमेज पैच एम्बेडिंग्स को सुसंगत सिमेंटिक इकाइयों में क्लस्टर करती है और इमेज की जटिलता के आधार पर टोकन बजट को गतिशील रूप से समायोजित करती है, जिससे मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स को काफी कम मेमोरी और लेटेंसी लागत के साथ विजुअल इनपुट्स को अधिक कुशलता से और अनुकूल रूप से प्रोसेस करने में सक्षम बनाया जा सके।
यह शोध पत्र CodeThinker को प्रस्तुत करता है, जो एक निरंतरता-संचालित सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जो स्टेपवाइज रीजनिंग-अवेयर ट्रेनिंग, डायनेमिक बीम सैंपलिंग और एक निरंतरता पुरस्कार तंत्र को शामिल करके LLM कोड तर्क क्षमता को बढ़ाता है ताकि स्पार्स रिवॉर्ड्स और रिवॉर्ड हैकिंग की चुनौतियों को दूर किया जा सके, जिससे बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त होता है और डाउनस्ट्रीम कार्यों में सुधार होता है।
यह शोधपत्र MARR का प्रस्ताव करता है, जो लो-बिट पोस्ट-ट्रेनिंग क्वांटाइजेशन के लिए एक मॉड्यूल-एडेप्टिव रेसिडुअल रिकंस्ट्रक्शन विधि है, जो एलएलएम (LLMs) और वीआईटी (ViTs) के प्रदर्शन को महत्वपूर्ण रूप से सुधारने के लिए संचित-त्रुटि सुधार (accumulated-error correction) और हेसियन-अनुमान पूर्वाग्रह (Hessian-approximation bias) को प्रभावी ढंग से संतुलित करने हेतु मॉड्यूल-विशिष्ट स्केलिंग गुणांकों को गतिशील रूप से असाइन करने के लिए एक PID-आधारित रणनीति का उपयोग करता है।