21502 पेपर
यह शोध पत्र CreativityNeuro को प्रस्तुत करता है, जो एक डेटा-मुक्त विधि है जो भाषा मॉडल के भार (weights) को इस प्रकार निर्देशित करती है जिससे बिना पुनप्रशिक्षण या व्यवहार संबंधी डेटा के विभिन्न रचनात्मकता कार्यों में विचलनशील सोच (divergent thinking) को महत्वपूर्ण रूप से बढ़ाया जा सके और मोड कोलैप्स (mode collapse) को कम किया जा सके।
यह शोध पत्र रेडियोलॉजी रिपोर्ट ड्राफ्टिंग के लिए अनुकूलित एक डिस्क्रीट डिफ्यूजन लैंग्वेज मॉडल प्रस्तुत करता है जो न केवल मेडिकल बेंचमार्क पर ऑटोरेग्रेसिव मॉडल्स के प्रदर्शन के बराबर या उससे बेहतर प्रदर्शन करता है और तेज़ डिकोडिंग प्रदान करता है, बल्कि अनूठे रूप से किसी भी क्रम में टेक्स्ट इनफिल (text infill) को सक्षम बनाता है, जिससे चिकित्सक द्वि-दिशीय (bidirectional) तरीके से रिपोर्ट के अंशों को निर्बाध रूप से संपादित और पूर्ण कर सकते हैं।
यह शोध पत्र ज्योमेट्री-अवेयर आर-स्ट्रक्चर्ड कोल्मोगोरोव-आर्नोल्ड नेटवर्क (GRS-KAN) प्रस्तुत करता है, जो एक हाइब्रिड आर्किटेक्चर है जो ज्यामितीय बाधाओं और तार्किक ऑपरेशन्स को विश्लेषणात्मक रूप से एनकोड करने के लिए KANs में डिफरेंशिएबल आर-फंक्शंस को एकीकृत करता है, जिससे विच्छिन्नता (discontinuities) वाले समस्याओं के लिए भविष्यवाणात्मक सटीकता और बाउंड्री लोकलाइजेशन में महत्वपूर्ण सुधार होता है और मॉडल की व्याख्यात्मकता (interpretability) बढ़ती है।
यह शोधपत्र एम्बर (Ember) को प्रस्तुत करता है, जो एक हल्का ऑप्टिमाइज़र है जो एम्बेडिंग और एलएम-हेड (LM-head) मैट्रिसेस की अद्वितीय ग्रेडिएंट ज्यामिति का लाभ उठाकर विभिन्न कार्यों में वीआरएएम (VRAM) के उपयोग को काफी कम करता है और प्रशिक्षण दक्षता में सुधार करता है, साथ ही न्यूरल नेटवर्क अनुकूलन परिदृश्यों के पारंपरिक दृष्टिकोण को चुनौती देता है।
यह शोध पत्र FedCGNM प्रस्तुत करता है, जो एक नवीन क्लाइंट-साइड ऑप्टिमाइज़र है जो फेडरेटेड लर्निंग में ग्रेडिएंट असंतुलन को संबोधित करने के लिए क्लास-ग्रुपड नॉर्मलाइज्ड मोमेंटम का उपयोग करता है, साथ ही FedHOO, जो रिसैंपलिंग दरों को अनुकूलित करने के लिए एक कुशल X-आर्म्ड-बैंडिट एल्गोरिदम है, ये दोनों ही मौजूदा बेसलाइनों की तुलना में लॉन्ग-टेल्ड डेटासेट्स पर बेहतर प्रदर्शन प्रदर्शित करते हैं।
यह शोध पत्र एक "तीन-पद" (three-term) स्केलिंग लॉ का प्रस्ताव करता है जो प्रशिक्षण डेटा को चरणों (steps) और बैच आकार (batch size) में स्पष्ट रूप से विभाजित करता है, जिससे इष्टतम बैच आकार स्केलिंग की सुदृढ़ रिकवरी और काफी कम प्रशिक्षण रन का उपयोग करके उप-इष्टतम सेटिंग्स के लिए नियमों का व्युत्पन्न संभव हो पाता है।
यह शोध पत्र FADE पेश करता है, जो एक स्व-अनुकूलनकारी लाभ फलन (self-adapting advantage function) है जो प्रशिक्षण गतिकी का विश्लेषण करके ग्रेडिएंट भार को गतिशील रूप से शेड्यूल करता है ताकि एंट्रॉपी और नमूना फोकस के बीच के समझौतों को हल किया जा सके, जिससे बड़े भाषा मॉडलों के लिए सुदृढीकरण शिक्षण (reinforcement learning) में अभिसरण को गति मिलती है और सटीकता-विविधता के बीच के संतुलन में सुधार होता है।
यह शोध पत्र बायज़ेंटाइन-रोबस्ट (Byzantine-robust) डिस्ट्रिब्यूटेड लर्निंग में गोपनीयता और सामान्यीकरण (generalization) के बीच एक गैर-एकदिष्ट (non-monotonic) संबंध को प्रकट करता है, यह प्रदर्शित करते हुए कि जहाँ मजबूत गोपनीयता (उच्च शोर) मजबूती के साथ तनाव को समाप्त करके सामान्यीकरण में सुधार करती है, वहीं कमजोर गोपनीयता (कम शोर) इस ट्रेड-ऑफ को पुन: स्थापित करती है और प्रदर्शन को कम करती है।
यह शोध पत्र दो-खिलाड़ी शून्य-योग (zero-sum) अपूर्ण-सूचना वाले खेलों में नीति डेटासेट बनाने, नीति एम्बेडिंग सीखने और डाउनस्ट्रीम कार्यों के माध्यम से उनकी प्रभावशीलता का मूल्यांकन करने के लिए एक ढांचे का परिचय देता है, जो यह प्रदर्शित करता है कि कुह्न (Kuhn) और लेड्यूक (Leduc) पोकर पर स्व-पर्यवेक्षित (self-supervised) तकनीकों का उपयोग करके उपयोगी व्यवहार संबंधी प्रतिनिधित्व सीखे जा सकते हैं।
यह शोध पत्र Semi-CoT को प्रस्तुत करता है, जो एक अर्ध-पर्यवेक्षित (semi-supervised) शिक्षण ढांचा है जो सिमेंटिक एंट्रॉपी फ़िल्टरिंग के माध्यम से उच्च-परिशुद्धता वाले छद्म तर्क श्रृंखलाओं (pseudo reasoning chains) को उत्पन्न करने के लिए अनलेबल प्रश्नों का लाभ उठाता है, जो विविध गणितीय बेंचमार्क में प्रदर्शन लाभ को अधिकतम करने के लिए चयन और प्रशिक्षण रणनीतियों में सुधार की आवश्यकता पर प्रकाश डालते हुए प्रभावी प्रशिक्षण संकेतों के रूप में उनकी क्षमता को प्रदर्शित करता है।